一、单 IP 为什么会成为并发瓶颈如果一直用同一个 IP 采集瓶颈通常来自以下几层1. 服务端 IP 维度限速很多网站会在网关、WAF 或应用层按 IP 统计每秒请求数 QPS每分钟请求数并发连接数日请求配额登录态频率一旦超过阈值常见响应是429 Too Many Requests403 Forbidden返回验证码页直接封禁 IP返回假数据或空数据2. TCP 连接与端口限制单个客户端 IP 到单个目标 IP:Port 的连接数受本地端口、NAT、连接池和系统参数限制。即使程序能开很多协程底层连接也可能成为瓶颈。3. 带宽与延迟单 IP 的出口带宽有限。如果采集图片、视频、大 JSON带宽会先于 QPS 成为瓶颈。同时高延迟会降低单连接吞吐单连接吞吐 ≈ 数据量 / RTT4. WAF 与 IP 信誉数据中心 IP、云服务器 IP 往往被标记为“高风险”。同一 IP 高频访问后容易被 WAF 挑战触发 JS 验证、滑块或验证码。因此单 IP 的理论吞吐大致可以写成T_single ≈ min(QPS_ip_limit, C_i / L_avg)其中C_i是单 IP 允许并发L_avg是平均请求延迟。当QPS_ip_limit很低时加再多线程也没用。二、代理 IP 如何提升并发代理 IP 的作用是把请求来源从“一个 IP”变成“多个 IP”。每个代理 IP 在目标网站看来都是一个独立客户端可能拥有独立的限速桶、信誉分和会话空间。代理池的理论吞吐可以近似为T_pool ≈ Σ min(QPS_i, C_i / L_i) × η其中QPS_i第 i 个代理 IP 的安全 QPSC_i第 i 个代理允许的并发连接L_i第 i 个代理的平均延迟η调度效率、健康率、成功率、去重率等综合系数但必须注意T_global min(T_pool, T_target_allow)也就是说代理池再大也不能超过目标网站能承受的总请求量。否则不是采集优化而是流量攻击。合规采集必须控制总速率优先使用官方 API。三、代理池架构一个典型的代理采集架构可以抽象为[任务队列] - [调度器] - [代理池] - [采集 Worker] - [目标站点] | | [限速器] [健康检查/评分] | | [指标监控] - [结果与错误]关键模块包括1. 任务队列负责URL 去重优先级排序失败重试断点续采分页与增量任务2. 代理池维护代理列表每个代理至少记录{url:http://user:passhost:port,type:datacenter|residential|mobile,region:us|cn|jp,score:0.92,alive:true,success:120,fail:3,avg_latency:320,last_check:2026-09-14T10:00:00}3. 调度器决定“哪个请求用哪个代理”。常见策略随机轮换加权轮换最少使用优先低延迟优先高成功率优先按地域匹配按会话粘性匹配4. 健康检查定期用轻量请求验证代理出口 IP 是否可用是否匿名延迟多少是否被目标站点封禁是否返回 407、403、429失败多次的代理应降权或剔除并自动补充新代理。四、并发模型与限速策略代理 IP 提升了并发上限但并发不能无限开。推荐做三级限速1. 全局限速保护目标网站也保护本地资源全局 QPS 目标网站可接受范围2. 目标域名限速不同站点独立限速。例如a.com20 QPSb.com5 QPSapi.c.com1 QPS3. 单代理 IP 限速每个代理 IP 不突破自己的安全阈值。可以用令牌桶每个代理 IP2 QPS最大并发 104. 会话粘性登录、购物车、分页依赖 Cookie 的场景需要同一会话尽量走同一代理session_id - proxy_ip但粘性时间不宜过长避免该 IP 被限速。可以设置 TTL例如 5 到 30 分钟。五、并发模型示例asyncio aiohttp下面是一个简化示例演示代理池轮换与并发控制。生产环境还需要加入每代理限速、健康检查、远程 DNS、粘性会话和指标监控。importasyncioimportrandomimportaiohttpfromdataclassesimportdataclass,fielddataclassclassProxy:url:strweight:int1alive:boolTruefail:int0success:int0classProxyPool:def__init__(self,proxies):self.proxies[Proxy(urlp)forpinproxies]defget(self):alive[pforpinself.proxiesifp.alive]ifnotalive:raiseRuntimeError(no alive proxy)returnrandom.choices(alive,weights[max(p.weight,1)forpinalive],k1)[0]defreport(self,proxy:Proxy,ok:bool):ifok:proxy.success1proxy.failmax(0,proxy.fail-1)else:proxy.fail1ifproxy.fail3:proxy.aliveFalseasyncdeffetch(session,url,pool,sem):asyncwithsem:proxypool.get()try:timeoutaiohttp.ClientTimeout(total15,connect8)asyncwithsession.get(url,proxyproxy.url,timeouttimeout,headers{User-Agent:Mozilla/5.0})asresp:textawaitresp.text()okresp.status500andresp.status!429pool.report(proxy,ok)returnresp.status,textexceptException:pool.report(proxy,False)raiseasyncdefmain(urls,proxies,concurrency200):poolProxyPool(proxies)semasyncio.Semaphore(concurrency)connectoraiohttp.TCPConnector(limitconcurrency,ttl_dns_cache300,sslFalse)asyncwithaiohttp.ClientSession(connectorconnector)assession:tasks[fetch(session,u,pool,sem)foruinurls]returnawaitasyncio.gather(*tasks,return_exceptionsTrue)生产优化点按代理 IP 分组维护独立连接池避免连接复用混乱。使用远程 DNS避免本地 DNS 泄漏。对429、403、407、超时分别处理。对失败代理指数退避不要立即重试。使用curl_cffi等工具处理 TLS 指纹代理不解决指纹问题。六、代理类型与选型类型优点缺点适用场景数据中心代理快、便宜、并发高易被识别、易封反爬弱、公开数据、高并发住宅代理真实、成功率高慢、贵反爬强、地域限制移动代理更真实、难封最贵、不稳定移动端、强风控动态短效轮换方便会话难保持每请求轮换静态长效会话稳定易被标记登录、粘性会话选型原则目标反爬弱、追求速度数据中心代理。目标反爬强、追求成功率住宅或移动代理。需要登录态静态代理 粘性会话。需要大规模轮换动态短效代理 代理池调度。七、监控与调优指标不要只看“请求总数”要看“有效吞吐”有效吞吐 成功请求数 / 总耗时关键指标成功率有效 QPSP95 / P99 延迟代理存活率429 / 403 / 407 比例验证码触发率重试率带宽消耗单千次请求成本调优方向成功率低换代理类型降低并发增加粘性。延迟高优先低延迟代理启用连接复用。429 多降低单 IP QPS增加代理数量。验证码多降低频率换住宅代理处理指纹。成本高混合代理核心任务用优质代理普通任务用数据中心代理。八、合规边界代理 IP提升并发的前提是合法合规遵守目标网站robots.txt和服务条款。优先使用官方 API。不采集敏感个人信息。遵守《个人信息保护法》、GDPR、版权法等。控制请求频率不影响目标服务。不绕过付费墙、登录墙或访问控制。代理 IP 是工程手段不是法律豁免。九、总结围绕“提高并发和采集效率”这一点可以得出几个结论单 IP 的 QPS、并发连接、带宽和信誉限制决定了采集吞吐上限。代理 IP 通过横向扩展来源 IP把单 IP 配额变成多 IP 配额。代理池的价值不在数量而在调度、健康检查、限速和重试。有效吞吐取决于成功率而不是单纯并发数。必须设置全局、域名和单代理三级限速尊重目标网站承受能力。代理只解决 IP 维度TLS 指纹、Cookie、行为风控仍需单独处理。合法合规是长期稳定采集的前提。一句话代理 IP 提升并发的本质是把“单 IP 的有限配额”变成“多 IP 的可调度资源池”而效率的上限取决于你如何管理这个池子。