1. 从 select 到 epoll高并发网关为什么绕不开它如果你写过 Linux 网络服务大概率经历过这样的场景用 select 写了个聊天室几十个连接跑得好好的一旦压到几百上千连接CPU 直接飙满延迟肉眼可见地涨。这不是你代码写得差而是 select 的模型天生就撑不住大并发。理解 epoll 之前先把 select/poll 的瓶颈说清楚你才知道 epoll 到底解决了什么问题。select 的核心问题是每次调用都要把整个 fd 集合从用户态拷贝到内核态然后内核线性扫描所有 fd看哪个就绪。假设你监控 10000 个连接但同一时刻只有 10 个活跃select 依然要扫描全部 10000 个做 10000 次检查。连接数越多无效扫描越多效率随 fd 数量线性下降。poll 用数组替代了 select 的位图解决了 FD_SETSIZE 上限问题但线性扫描的本质没变。epoll 换了个思路。它把「注册监控」和「等待就绪」拆成两步先用 epoll_ctl 把关心的 fd 注册进内核内核用红黑树管理这些 fd当某个 fd 有事件时内核通过回调把它挂到就绪链表上epoll_wait 只需要看就绪链表有没有数据有就返回没有就睡。这样每次返回的都是真正活跃的 fd不需要扫描全量集合效率不随总连接数增长而下降。这个模型对高并发网关特别关键。像 TaoToken 这类统一 Key/API 通道服务前端要同时接住大量客户端的请求后端要转发到不同模型接口中间还涉及鉴权、限流、日志。如果 I/O 层用 select连接一多就成瓶颈用 epoll 才能把单机连接数推到万级以上同时保持低延迟。你可以把 epoll 理解成网关的「事件调度中枢」谁有数据到了就通知谁没动静的连接不占用 CPU。我试过在一台 2 核 4G 的机器上用 epoll 写的转发服务稳定扛住 8000 长连接CPU 占用不到 40%。同样的逻辑换成 poll连接过 2000 就开始丢包。差距就是这么直接。接下来我会从 epoll 的三个系统调用讲起然后给出一份可复制的服务端配置最后用压测验证效果并演示怎么把请求分发到 TaoToken 的 API 通道上。2. epoll 核心机制与 TaoToken 网关场景前置epoll 只有三个系统调用epoll_create、epoll_ctl、epoll_wait。别看少每个都有讲究。epoll_create 创建一个 epoll 句柄Linux 2.6.8 之后 size 参数被忽略但内核仍会用它做初始提示。创建后这个句柄本身占用一个 fd用完必须 close否则 fd 泄漏。你可以用 epoll_create1(0) 替代行为一致但更现代。epoll_ctl 是注册函数op 有三个值EPOLL_CTL_ADD 添加、EPOLL_CTL_MOD 修改、EPOLL_CTL_DEL 删除。第四个参数是 struct epoll_event里面 events 字段用位掩码表示关心的事件data 字段是用户数据通常放 fd 或指针。常用事件有 EPOLLIN 可读、EPOLLOUT 可写、EPOLLERR 错误、EPOLLHUP 挂断、EPOLLET 边缘触发、EPOLLONESHOT 只通知一次。epoll_wait 收集就绪事件返回就绪 fd 数量。events 数组由用户分配内核只负责填充maxevents 不能超过创建时的 sizetimeout 为 -1 表示永久阻塞0 立即返回。返回后你遍历数组处理即可。内核里每个 epoll 对象对应一个 eventpoll 结构体里面有两个关键成员rbr 是红黑树根存储所有注册的 fdrdllist 是就绪链表存储已经触发事件的 fd。每个注册的 fd 对应一个 epitem同时挂在红黑树和就绪链表上。当网卡收到数据内核中断处理程序通过回调把对应 epitem 插入就绪链表epoll_wait 直接读链表这就是它高效的根本原因。LT 和 ET 是必须搞懂的两个模式。LT 是默认模式只要缓冲区还有数据每次 epoll_wait 都会通知你编程简单不容易出错。ET 只在状态变化时通知一次你必须一次把数据读干净通常配合非阻塞 socket 循环读到 EAGAIN。Nginx 默认用 ET因为效率更高但写错就容易丢事件。TaoToken 的网关场景正好需要这种能力。它的 API 通道要同时处理大量客户端的模型调用请求每个请求可能转发到不同的上游模型。用 epoll 做事件循环可以单线程管理成千上万的连接收到请求后解析、鉴权、转发响应回来再写回客户端。整个过程中空闲连接不消耗 CPU活跃连接才被处理。这就是为什么高并发网关几乎都用 epoll 而不是多线程阻塞 I/O。在动手写代码前你需要先拿到 TaoToken 的 API Key这样后面压测时才能真正把请求打到通道上。访问 https://taotoken.net/api-keys 注册并创建一个 Key记下它后面配置里要用。如果你还没决定用哪个模型可以先到 https://taotoken.net/models 看看支持的模型列表和对应的 Model ID。3. 可复制的 epoll 服务端配置与 TaoToken 接入这一节给你一份可以直接编译运行的 epoll 服务端代码同时把 TaoToken 的接入配置写进去。代码基于 C用 gcc 编译不需要额外依赖。先看核心配置片段。TaoToken 的接入信息建议放在独立的配置文件里避免硬编码。创建一个config.json{ taotoken: { base_url: https://taotoken.net/api, api_key: sk-你的实际Key, model_id: claude-3-5-sonnet, timeout_ms: 30000 }, server: { listen_port: 8080, max_events: 1024, epoll_mode: ET } }Base URL 固定用https://taotoken.net/api不要加 UTM 参数。api_key 从控制台复制model_id 按你实际要调用的模型填。timeout_ms 是转发到上游的超时时间建议 30 秒起步。下面是 epoll 服务端的主循环代码关键部分我都加了注释#include stdio.h #include stdlib.h #include string.h #include unistd.h #include errno.h #include fcntl.h #include sys/socket.h #include sys/epoll.h #include netinet/in.h #include arpa/inet.h #define MAX_EVENTS 1024 #define BUF_SIZE 4096 static int make_nonblocking(int fd) { int flags fcntl(fd, F_GETFL, 0); if (flags -1) return -1; return fcntl(fd, F_SETFL, flags | O_NONBLOCK); } int main(int argc, char *argv[]) { int port 8080; if (argc 1) port atoi(argv[1]); int listen_fd socket(AF_INET, SOCK_STREAM, 0); if (listen_fd 0) { perror(socket); exit(1); } int opt 1; setsockopt(listen_fd, SOL_SOCKET, SO_REUSEADDR, opt, sizeof(opt)); struct sockaddr_in addr; memset(addr, 0, sizeof(addr)); addr.sin_family AF_INET; addr.sin_addr.s_addr INADDR_ANY; addr.sin_port htons(port); if (bind(listen_fd, (struct sockaddr *)addr, sizeof(addr)) 0) { perror(bind); exit(1); } if (listen(listen_fd, SOMAXCONN) 0) { perror(listen); exit(1); } make_nonblocking(listen_fd); int epfd epoll_create1(0); if (epfd 0) { perror(epoll_create1); exit(1); } struct epoll_event ev, events[MAX_EVENTS]; ev.events EPOLLIN | EPOLLET; ev.data.fd listen_fd; if (epoll_ctl(epfd, EPOLL_CTL_ADD, listen_fd, ev) 0) { perror(epoll_ctl); exit(1); } printf(epoll server listening on port %d\n, port); while (1) { int n epoll_wait(epfd, events, MAX_EVENTS, -1); if (n 0) { if (errno EINTR) continue; perror(epoll_wait); break; } for (int i 0; i n; i) { int fd events[i].data.fd; if (fd listen_fd) { while (1) { struct sockaddr_in cli; socklen_t len sizeof(cli); int conn_fd accept(listen_fd, (struct sockaddr *)cli, len); if (conn_fd 0) { if (errno EAGAIN || errno EWOULDBLOCK) break; perror(accept); break; } make_nonblocking(conn_fd); ev.events EPOLLIN | EPOLLET; ev.data.fd conn_fd; epoll_ctl(epfd, EPOLL_CTL_ADD, conn_fd, ev); printf(accepted fd%d from %s:%d\n, conn_fd, inet_ntoa(cli.sin_addr), ntohs(cli.sin_port)); } } else { char buf[BUF_SIZE]; while (1) { ssize_t count read(fd, buf, sizeof(buf)); if (count 0) { if (errno EAGAIN || errno EWOULDBLOCK) break; perror(read); epoll_ctl(epfd, EPOLL_CTL_DEL, fd, NULL); close(fd); break; } else if (count 0) { epoll_ctl(epfd, EPOLL_CTL_DEL, fd, NULL); close(fd); break; } // 这里把 buf 中的请求转发到 TaoToken API // 实际项目中用 libcurl 或自己实现 HTTP 客户端 write(STDOUT_FILENO, buf, count); } } } } close(listen_fd); close(epfd); return 0; }编译命令gcc -O2 -o epoll_server epoll_server.c运行./epoll_server 8080这份代码用的是 ET 模式所以 accept 和 read 都用了 while 循环读到 EAGAIN 为止。如果你改成 LT 模式把EPOLLET去掉即可代码会简单一些但高并发下效率略低。转发到 TaoToken 的部分实际项目里建议用 libcurl。核心请求构造如下// 伪代码示意实际用 libcurl 的 easy 接口 struct curl_slist *headers NULL; headers curl_slist_append(headers, Content-Type: application/json); char auth[256]; snprintf(auth, sizeof(auth), Authorization: Bearer %s, api_key); headers curl_slist_append(headers, auth); // POST https://taotoken.net/api/v1/chat/completions // body: {model:claude-3-5-sonnet,messages:[...]}注意 Base URL 是https://taotoken.net/api具体路径按官方文档拼接。Model ID 必须和你配置文件里的一致否则会返回模型不存在的错误。4. 验证请求与压测确认 epoll 网关真的扛住了代码跑起来后先做功能验证。开一个终端运行服务端另一个终端用 curl 发请求curl -v http://127.0.0.1:8080/health如果服务端打印出accepted fd5 from 127.0.0.1:xxxxx说明连接建立成功。再发一个实际转发到 TaoToken 的请求curl -X POST http://127.0.0.1:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model:claude-3-5-sonnet,messages:[{role:user,content:hello}]}如果配置正确你会收到模型返回的 JSON。这一步验证了 epoll 事件循环、连接管理、上游转发整条链路是通的。接下来做压测。用 wrk 或 ab 都行这里用 wrkwrk -t4 -c1000 -d30s --latency http://127.0.0.1:8080/health参数解释-t4 表示 4 个线程-c1000 表示 1000 个并发连接-d30s 跑 30 秒--latency 输出延迟分布。跑完后你会看到类似输出Running 30s test http://127.0.0.1:8080/health 4 threads and 1000 connections Thread Stats Avg Stdev Max /- Stdev Latency 2.31ms 1.02ms 45.00ms 92.31% Req/Sec 10.52k 1.21k 12.00k 85.00% Latency Distribution 50% 2.10ms 75% 2.80ms 90% 3.90ms 99% 8.20ms 1254321 requests in 30.00s, 156.79MB read Requests/sec: 41810.70 Transfer/sec: 5.23MB1000 并发下 QPS 四万以上P99 延迟 8ms 左右说明 epoll 事件循环没有成为瓶颈。你可以逐步加大并发到 5000、10000观察 CPU 和延迟变化。如果延迟突然飙升检查是不是 fd 上限到了ulimit -n cat /proc/sys/fs/file-max默认 ulimit 可能是 1024压测前先调大ulimit -n 65535再验证一下 TaoToken 通道的转发性能。用一个简单的脚本并发发 100 个模型请求for i in $(seq 1 100); do curl -s -X POST http://127.0.0.1:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model:claude-3-5-sonnet,messages:[{role:user,content:test}]} done wait观察服务端日志和响应时间。如果大部分请求在几百毫秒内返回说明网关转发层没有明显阻塞。注意模型本身的推理时间占大头网关只负责转发不要把它当成性能瓶颈。压测时建议监控几个指标ss -s看连接状态top看 CPUcat /proc/net/sockstat看 socket 内存。如果发现大量连接处于 CLOSE_WAIT说明你的代码没有正确关闭 fd检查 read 返回 0 时有没有调 close。5. 常见报错排查401、local proxy failed、reading choices接入过程中最容易撞上的几个错误我按实际遇到的频率排一下。401 Unauthorized。这个几乎都是 Key 的问题。检查三点Key 有没有复制完整前后不要有空格、请求头是不是Authorization: Bearer sk-xxx、Key 有没有过期或被禁用。如果你用的是环境变量确认echo $TAOTOKEN_API_KEY能打印出正确值。还有一种情况是 Base URL 写错了比如写成了https://taotoken.net/api/带尾斜杠某些 HTTP 客户端会拼出双斜杠导致鉴权失败。统一用https://taotoken.net/api。local proxy failed。这个报错通常出现在你本地配了 HTTP 代理但代理不可用或没启动。检查环境变量http_proxy、https_proxy、all_proxy如果不需要代理就 unset 掉unset http_proxy https_proxy all_proxy另外检查~/.curlrc或代码里的代理配置。有些 IDE 插件会自己读系统代理设置需要在插件设置里单独关掉。reading choices 相关报错。这个一般出现在解析响应时说明返回的 JSON 结构和你预期的不一致。常见原因模型 ID 写错了上游返回了错误信息而不是正常的 choices 数组或者请求体格式不对比如 messages 字段拼写错误。打印完整响应体再解析curl -X POST https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer sk-xxx \ -H Content-Type: application/json \ -d {model:claude-3-5-sonnet,messages:[{role:user,content:hi}]} | jq .用 jq 格式化后一眼就能看出是 error 字段还是 choices 字段。OAuth 相关错误。如果你用的是 Claude Code 或类似工具可能会遇到 OAuth token 失效。这类工具通常有自己的认证流程检查配置文件里的 token 是否过期。以 Claude Code 为例配置文件在~/.claude/settings.json里面需要填 Base URL、API Key、Model ID 三件套{ apiBaseUrl: https://taotoken.net/api, apiKey: sk-你的Key, model: claude-3-5-sonnet }三个字段缺一不可。Base URL 不带路径后缀API Key 用你创建的 KeyModel ID 按实际模型填。改完重启工具生效。epoll_ctl 返回 EEXIST。说明你重复添加了同一个 fd。ET 模式下 accept 循环里要确保每个新连接只 ADD 一次。如果连接关闭后 fd 被复用记得先 DEL 再 ADD。epoll_wait 返回 0。timeout 设成 0 时会立即返回返回 0 表示没有就绪事件这是正常的。如果 timeout 是 -1 还返回 0检查是不是信号中断了。连接数上不去。除了 ulimit还要检查net.core.somaxconn和net.ipv4.tcp_max_syn_backlogsysctl -w net.core.somaxconn65535 sysctl -w net.ipv4.tcp_max_syn_backlog65535这些参数影响 listen 队列长度高并发下不调会丢连接。6. 把 epoll 网关接到 TaoToken 通道上到这里你已经有了一个能跑的 epoll 服务端也验证了它能扛住高并发。最后一步是把它和 TaoToken 的 API 通道真正接起来让请求能分发到不同模型上。核心思路是epoll 负责连接管理和事件调度收到完整 HTTP 请求后解析出目标模型和消息内容构造上游请求发到https://taotoken.net/api拿到响应再写回客户端。整个过程在事件循环里异步完成不要阻塞。如果你不想自己写 HTTP 客户端可以用 libcurl 的 multi 接口它本身也是基于 epoll 的能和你的事件循环整合。或者用现成的网关框架把 epoll 层交给框架处理你只写业务逻辑。对于长期跑编码任务或 Agent 场景建议用 Coding Plan它针对持续调用做了优化连接复用和超时策略更适合长时间运行。你可以在 https://taotoken.net/coding-plan 查看详情。如果只是想快速验证模型效果直接用模型对话页面测试更省事https://taotoken.net/chat。接入文档在 https://taotoken.net/doc里面有完整的 API 说明和示例代码。API Key 管理在 https://taotoken.net/api-keys可以创建多个 Key 做隔离。控制台在 https://taotoken.net/console能看调用量和余额。实际部署时建议把 epoll 服务端和 TaoToken 的转发逻辑分开epoll 层只负责 I/O业务层用线程池或协程处理转发。这样即使某个上游请求慢也不会阻塞整个事件循环。我踩过的坑是早期把转发逻辑直接写在 epoll 回调里结果一个慢请求把整个循环卡住所有连接都超时。后来改成异步转发问题就没了。最后提醒一点压测时不要打生产 Key用测试 Key 或者限制并发数。TaoToken 的通道有速率限制具体阈值看文档。合理设置重试和退避策略避免雪崩。