# 实验一：Web服务器的初步实现 > [!info] 实验信息 > - **课程**: 操作系统实践 > - **实验编号**: 实验一 > - **实验类型**: 综合性实验 > - **关联理论**: [[09_网络编程基础]]、[[10_并发服务器]]、[[18_程序代码优化]] --- ## 一、实验目的 1. 掌握 Linux 系统下网络编程开发环境的搭建 2. 实现简单的单进程 Web 服务器 3. 进行性能测试，掌握网络编程的基本技术 4. 初步掌握 Web 服务器的编程实现和测试技术 --- ## 二、实验环境 | 项目 | 说明 | |------|------| | 操作系统 | Ubuntu / CentOS (Linux) | | 编译器 | GCC | | 测试工具 | http_load、ab、wrk | | 监控工具 | vmstat、iostat、gprof | | 服务器端口 | 8088 | --- ## 三、源代码文件清单 ``` . ├── common.h # 公共头文件、函数声明、常量定义（由wrapper.h简化而来） ├── common.c # RIO函数库和打开网络连接函数源代码 ├── webclient.c # web客户端源代码 ├── webserver.c # web服务器源代码（即weblet.c） ├── togglec.c # toggle客户端源代码 ├── togglesi.c # 迭代式toggle服务器源代码 ├── cgi-bin/ │ └── add.c # CGI程序 ├── Makefile # 构建脚本 ├── index.html # 测试主页 ├── test.html # 测试页面 └── urls # http_load测试用URL列表 ``` > [!tip] 文件说明 > - `common.h` / `common.c` 封装了网络编程常用的包装函数（Socket、Bind、Listen、Accept 等），是对 `wrapper.h` 的简化版本 > - `togglec.c` / `togglesi.c` 用于演示迭代式客户-服务器模型 > - `weblet.c` 是核心的单进程 Web 服务器实现 --- ## 四、服务器架构 ### 4.1 整体架构图 ```mermaid graph TD subgraph 客户端 Browser["浏览器 / Web客户端"] end subgraph Web服务器 - weblet Main["main() 主循环"] Accept["accept() 接受连接"] PT["process_trans() 处理HTTP事务"] Close["close() 关闭连接"] end subgraph 请求处理流程 RR["读取请求行"] Judge["判断静态/动态请求"] Parse["解析URI"] Send["发送响应"] Err["错误处理"] end subgraph 响应模块 FS["feed_static() 静态内容"] FD["feed_dynamic() 动态内容"] ER["error_request() 错误响应"] end Browser -->|"HTTP请求"| Main Main --> Accept Accept --> PT PT --> RR RR --> Judge Judge -->|"静态请求"| Parse Judge -->|"动态请求"| Parse Parse --> Send Send --> FS Send --> FD Send --> ER FS -->|"HTTP响应"| Browser FD -->|"HTTP响应"| Browser ER -->|"错误页面"| Browser PT --> Close Close -->|"等待下一个连接"| Accept ``` ### 4.2 HTTP请求处理流程 ```mermaid flowchart TD Start(["开始: accept() 获取连接"]) --> ReadReq["1.读取请求行 read_requesthdrs()"] ReadReq --> ParseReq["2.解析请求方法、URI、版本"] ParseReq --> IsStatic{"3.is_static() 判断请求类型"} IsStatic -->|"静态请求"| ParseStatic["4a.parse_static_uri() 解析静态文件URI"] IsStatic -->|"动态请求"| ParseDynamic["4b.parse_dynamic_uri() 解析CGI程序URI"] ParseStatic --> OpenFile["5a.打开请求的文件"] ParseDynamic --> ExecCGI["5b.执行CGI程序"] OpenFile --> FileExist{"文件是否存在?"} FileExist -->|"是"| FeedStatic["6a.feed_static() 发送静态文件响应"] FileExist -->|"否"| ErrorReq["6c.error_request() 返回404错误"] ExecCGI --> FeedDynamic["6b.feed_dynamic() 发送CGI执行结果"] FeedStatic --> Done(["结束: close()"]) FeedDynamic --> Done ErrorReq --> Done ``` --- ## 五、核心源码分析 ### 5.1 主函数结构 (`weblet.c`) ```c /* * weblet.c - 一个简单的单进程迭代式Web服务器 * 服务端口: 8088 */ int main(int argc, char **argv) { int listen_sock, conn_sock; int hit; /* 创建监听套接字 */ listen_sock = open_listen_sock(port); /* 主循环：迭代式处理每个请求 */ for (hit = 1; ; hit++) { /* 接受客户端连接 */ conn_sock = accept(listen_sock, (struct sockaddr *)&client_addr, &client_len); /* 处理一个HTTP事务 */ process_trans(conn_sock, hit); /* 关闭连接，等待下一个请求 */ close(conn_sock); } } ``` > [!warning] 迭代式服务器的局限 > 该服务器是**单进程迭代式**的，一次只能处理一个客户端请求。当某个请求处理耗时较长时，后续请求会被阻塞等待。改进方案参见 [[10_并发服务器]] 中的多进程和多线程服务器。 ### 5.2 HTTP事务处理函数 (`process_trans`) ```c /* * process_trans - 处理一个HTTP事务 * @fd: 连接套接字描述符 * @hit: 请求计数 */ void process_trans(int fd, int hit) { int is_static; /* 是否为静态请求 */ struct stat sbuf; /* 文件状态 */ char buf[MAXLINE]; /* 读缓冲区 */ char method[MAXLINE]; /* 请求方法: GET */ char uri[MAXLINE]; /* 请求URI */ char version[MAXLINE]; /* HTTP版本 */ char filename[MAXLINE]; /* 文件路径 */ char cgiargs[MAXLINE]; /* CGI参数 */ /* 1. 读取并解析请求行 */ read_requesthdrs(buf); /* 2. 解析请求行: GET /index.html HTTP/1.1 */ sscanf(buf, "%s %s %s", method, uri, version); /* 3. 判断是否为静态请求 */ is_static = is_static(uri); /* 4. 解析URI，提取文件名和CGI参数 */ if (is_static) { parse_static_uri(uri, filename, cgiargs); } else { parse_dynamic_uri(uri, filename, cgiargs); } /* 5. 检查文件是否存在 */ if (stat(filename, &sbuf) < 0) { error_request(fd, filename, "404", "Not Found"); return; } /* 6. 发送响应 */ if (is_static) { feed_static(fd, filename, sbuf.st_size); } else { feed_dynamic(fd, filename, cgiargs); } } ``` ### 5.3 RIO函数库 (`common.c`) ```c /* * RIO (Robust I/O) 健壮的I/O函数库 * 解决了Unix I/O的不足: * - 短读(short read)问题 * - 被信号中断(interrupted read)问题 */ /* 无缓冲的RIO读取 */ ssize_t rio_readn(int fd, void *usrbuf, size_t n); ssize_t rio_writen(int fd, void *usrbuf, size_t n); /* 带缓冲的RIO读取 */ void rio_readinitb(rio_t *rp, int fd); ssize_t rio_readlineb(rio_t *rp, void *usrbuf, size_t maxlen); ssize_t rio_readnb(rio_t *rp, void *usrbuf, size_t n); /* 网络连接函数 */ int open_listen_sock(int port); /* 创建监听套接字 */ int open_client_sock(char *host, int port); /* 创建客户端连接 */ ``` --- ## 六、MIME类型支持 服务器根据文件扩展名返回对应的 `Content-Type`： | 扩展名 | MIME类型 | |--------|----------| | `.gif` | `image/gif` | | `.jpg` / `.jpeg` | `image/jpeg` | | `.png` | `image/png` | | `.ico` | `image/x-icon` | | `.zip` | `application/zip` | | `.gz` / `.tar` | `application/x-tar` | | `.htm` / `.html` | `text/html` | --- ## 七、实验任务 ### 任务1：运行验证迭代式服务器（togglec / togglesi） > [!example] 操作步骤 ```bash # 终端1: 启动迭代式toggle服务器 $ ./togglesi # 终端2: 运行toggle客户端 $ ./togglec localhost ``` 此任务演示了[[09_网络编程基础]]中的基本客户-服务器通信模型。`togglesi` 是一个迭代式服务器，一次只服务一个客户端。 ### 任务2：编写跨计算机文件传输程序 实现 `ftps.c`（服务器）和 `ftpc.c`（客户端），支持以下命令： - `put <文件名>` —— 客户端上传文件到服务器 - `get <文件名>` —— 客户端从服务器下载文件 > [!abstract] 设计要点 > 1. 使用 Socket API 建立 TCP 连接 > 2. 先传输文件名和文件大小（协议头），再传输文件内容 > 3. 使用 RIO 函数处理短读问题 > 4. 服务器端需处理文件不存在的情况 ### 任务3：运行验证 Web 服务器 ```bash # 编译 $ make # 启动Web服务器 (端口8088) $ ./weblet 8088 # 在浏览器中访问 # http://localhost:8088/index.html # http://localhost:8088/test.html # 使用curl测试 $ curl -v http://localhost:8088/index.html ``` ### 任务4：使用 http_load 进行性能测试 ```bash # 准备URL列表文件 (urls) $ cat urls http://localhost:8088/index.html http://localhost:8088/test.html # 并行度5，总请求数50 $ http_load -parallel 5 -fetches 50 urls # 并行度10，总请求数50 $ http_load -parallel 10 -fetches 50 urls # 并行度5，持续20秒 $ http_load -parallel 5 -seconds 20 urls # 并行度10，持续20秒 $ http_load -parallel 10 -seconds 20 urls ``` > [!note] http_load 输出指标 > - **fetches/sec**: 每秒完成的请求数（吞吐量） > - **bytes/sec**: 每秒传输的字节数 > - **msecs/connect**: 平均连接建立时间 > - **msecs/first-response**: 首字节响应时间 ### 任务5：使用 vmstat、iostat、gprof 收集性能数据 ```bash # ---- vmstat: 监控系统资源 ---- # 每2秒采样一次，共10次 $ vmstat 2 10 # 重点关注: # r - 运行队列长度 # us - 用户态CPU占比 # sy - 内核态CPU占比 # wa - I/O等待占比 # free - 空闲内存 # ---- iostat: 监控磁盘I/O ---- # 以KB为单位，每2秒采样一次，共10次 $ iostat -k 2 10 # 重点关注: # tps - 每秒传输次数 # kB_read/s - 每秒读取量 # kB_wrtn/s - 每秒写入量 # ---- gprof: 函数级性能分析 ---- # 编译时加 -pg 选项 $ gcc -pg -o weblet weblet.c common.c # 运行服务器并处理若干请求后终止 $ ./weblet 8088 # 生成性能分析报告 $ gprof ./weblet gmon.out > perf.txt $ cat perf.txt ``` ### 任务6：优化 Web 服务器 > [!tip] 优化方向 — 参见 [[18_程序代码优化]] **抑制调试输出**：将 `printf` 等调试输出替换为条件编译或日志级别控制。 ```c /* 优化前: 每个请求都输出调试信息 */ void process_trans(int fd, int hit) { printf("Request %d: processing...\n", hit); // ... } /* 优化后: 仅在DEBUG模式下输出 */ #ifdef DEBUG #define DBG_LOG(fmt, ...) printf(fmt, ##__VA_ARGS__) #else #define DBG_LOG(fmt, ...) /* nothing */ #endif void process_trans(int fd, int hit) { DBG_LOG("Request %d: processing...\n", hit); // ... } ``` ```bash # 编译优化版本 (关闭调试输出) $ gcc -O2 -o weblet_opt weblet.c common.c # 重新进行性能测试，对比优化前后结果 $ http_load -parallel 10 -fetches 50 urls ``` ### 任务7：优化服务器部署（跨节点测试） ```bash # 服务器端 (节点A: 192.168.1.100) $ ./weblet 8088 # 客户端 (节点B: 192.168.1.200) # 修改urls文件中的地址 $ cat urls http://192.168.1.100:8088/index.html http://192.168.1.100:8088/test.html # 跨节点压测 $ http_load -parallel 10 -seconds 20 urls # 使用ab进行压测 $ ab -n 1000 -c 100 http://192.168.1.100:8088/ # 使用wrk进行压测 $ wrk -t4 -c100 -d10s http://192.168.1.100:8088/ ``` --- ## 八、性能测试命令汇总 ```bash # ===== http_load ===== http_load -parallel 5 -fetches 50 urls # 并行5，50次请求 http_load -parallel 10 -fetches 50 urls # 并行10，50次请求 http_load -parallel 5 -seconds 20 urls # 并行5，持续20秒 http_load -parallel 10 -seconds 20 urls # 并行10，持续20秒 # ===== vmstat ===== vmstat 2 10 # 每2秒采样，共10次 # ===== iostat ===== iostat -k 2 10 # KB为单位，每2秒采样 # ===== gprof ===== gprof ./weblet gmon.out > perf.txt # 生成函数调用分析 # ===== ab (Apache Bench) ===== ab -n 1000 -c 100 http://127.0.0.1:8080/ # 1000请求，并发100 # ===== wrk ===== wrk -t4 -c100 -d10s http://127.0.0.1:8088/ # 4线程，并发100，持续10秒 ``` --- ## 九、Makefile 示例 ```makefile CC = gcc CFLAGS = -Wall -O2 DEBUG_CFLAGS = -Wall -g -pg -DDEBUG all: weblet togglec togglesi webclient weblet: weblet.c common.c common.h $(CC) $(CFLAGS) -o weblet weblet.c common.c togglec: togglec.c common.c common.h $(CC) $(CFLAGS) -o togglec togglec.c common.c togglesi: togglesi.c common.c common.h $(CC) $(CFLAGS) -o togglesi togglesi.c common.c webclient: webclient.c common.c common.h $(CC) $(CFLAGS) -o webclient webclient.c common.c debug: weblet.c common.c common.h $(CC) $(DEBUG_CFLAGS) -o weblet_debug weblet.c common.c clean: rm -f weblet togglec togglesi webclient weblet_debug gmon.out perf.txt ``` --- ## 十、实验结果与分析 ### 10.1 性能对比记录表 | 测试条件 | 并行度 | fetches/sec | bytes/sec | 备注 | |----------|--------|-------------|-----------|------| | 原始版本 | 5 | - | - | | | 原始版本 | 10 | - | - | | | 优化版本(关闭调试) | 5 | - | - | | | 优化版本(关闭调试) | 10 | - | - | | | 跨节点测试 | 10 | - | - | | ### 10.2 gprof 分析要点 > [!abstract] 关键发现 > 1. 识别 CPU 时间占比最高的函数 > 2. 分析系统调用（`read`、`write`、`accept`）的耗时 > 3. 对比优化前后函数调用次数和耗时变化 ### 10.3 分析与思考 1. **迭代式服务器的瓶颈**：单进程模型下，请求串行处理，并发性能受限。改进方案可参考 [[10_并发服务器]] 中的多进程 fork 模型、多线程 pthread 模型。 2. **调试输出对性能的影响**：频繁的 `printf` 会触发系统调用和缓冲区刷新，在高并发场景下成为性能瓶颈。 3. **网络传输 vs 本地测试**：跨节点测试引入了网络延迟，更接近真实场景，但本地测试更能反映服务器本身的处理能力。 --- ## 十一、知识点总结 ```mermaid mindmap root((Web服务器实现)) 网络编程基础 Socket API socket/bind/listen/accept connect/read/write RIO函数库 健壮的I/O操作 带缓冲读取 服务器架构 迭代式服务器 单进程串行处理 简单但并发性差 并发式服务器 多进程fork模型 多线程pthread模型 HTTP协议 请求行解析 GET / URI / HTTP/1.1 MIME类型 Content-Type头部 静态/动态内容 文件服务 vs CGI 性能测试 压测工具 http_load ab / wrk 系统监控 vmstat / iostat 代码分析 gprof 函数级分析 ``` --- ## 十二、课后思考 1. 如何将迭代式 Web 服务器改造为[[10_并发服务器|并发服务器]]？比较 `fork`、`pthread`、`select`/`epoll` 等方案的优劣。 2. RIO 函数库解决了标准 I/O 的哪些问题？为什么不能直接使用 `read()` / `write()`？ 3. 如何通过 [[18_程序代码优化|代码优化]] 进一步提升 Web 服务器性能？（减少系统调用、零拷贝、内存映射等） 4. 试分析 `gprof` 输出中各函数的调用关系和时间占比，找出性能热点。 --- > [!quote] 参考资料 > - 《深入理解计算机系统》(CSAPP) 第11章：网络编程 > - 《Unix网络编程》(UNP) 卷1：套接字联网API > - man pages: `socket(2)`, `bind(2)`, `listen(2)`, `accept(2)`, `connect(2)`