1. 为什么我要用统一 API 重跑一遍高考数学一卷2025 年高考数学新课标Ⅰ卷考完那天我朋友圈里做 AI 的朋友几乎都在转同一件事有人拿 14 道客观题8 单选 3 多选 3 填空满分 73 分去测主流大模型结果豆包和元宝 T1 并列 68 分DeepSeek 63 分通义 62 分文心 X1 Turbo 51 分而 OpenAI 的 o3 只有 34 分。这个结果挺反直觉的——o3 在不少推理榜单上排名靠前怎么到了高考数学一卷就翻车了我第一反应是这些测试是不是各家用的接口、提示词、图片识别链路都不一样如果 A 模型走的是原生多模态、B 模型走的是 OCR 转文字那比出来的根本不是同一个东西。想公平对比必须让 6 个模型走同一条 API 通道、同一套提示词、同一份题目输入。这就是我决定用 TaoToken 统一 API 重跑一遍的原因。TaoToken 是一个聚合多家大模型能力的 API 网关你申请一个 Key就能在同一个 Base URL 下调用豆包、DeepSeek、通义、文心、元宝、o3 等不同厂商的模型。对做横向评测的人来说这省掉了注册六个平台、维护六套鉴权、处理六种返回格式的麻烦。你不需要改代码逻辑只改一个 model 字段就能切换模型非常适合这种同题多模型的对比场景。这篇文章我会交付三样东西一份可复制的多模型调用配置、一张逐题推理结果记录表、一个自动评分验证脚本。你照着做能在自己机器上复现整个测试也能把题目换成任何你想测的卷子。适合谁看想评估模型数学推理能力的开发者、做 AI 产品选型的技术负责人以及单纯好奇到底哪个模型数学好的爱好者。先说清楚我的测试口径避免你复现时对不上题目用 2025 新课标Ⅰ卷的 14 道客观题标准答案我手工录入所有模型统一用文本输入题目转成规范文字避免图片识别差异干扰推理能力本身的对比temperature 设 0.2 降低随机性每个模型独立会话不共享上下文。下面进入实操。2. TaoToken 前置准备拿 Key、选模型、定口径在写代码之前有三件事必须先定下来否则后面跑出来的分数没法横向比。第一件是拿 API Key。打开 TaoToken 官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite 注册后在控制台里创建密钥。控制台地址是 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 进去之后左侧菜单找 API Keys点新建复制那串 sk- 开头的字符串。这个 Key 只显示一次丢了只能重建所以先存到环境变量里别硬编码进脚本。第二件是确认你要测的模型 ID。TaoToken 的模型列表在文档里能查到地址是 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。我这次测的 6 个模型对应的 model 字段大致是 doubao、deepseek、qwen、ernie、yuanbao、o3 这一类命名具体以你控制台里实际可用的为准不同时间上架的版本号可能不同。这里有个坑模型 ID 写错不会报模型不存在而是返回一个空 choices 或者 400后面排障章节我会细说。第三件是统一调用口径。我用的 Base URL 是 https://taotoken.net/api 注意这个地址不带任何查询参数是纯 API 端点。请求格式兼容 OpenAI 的 chat/completions 规范所以你可以直接用 openai 的 Python SDK把 base_url 指过来就行。这一点很关键——意味着你现有的任何 OpenAI 兼容代码改两行就能接入。关于提示词我固定成三段式第一段给角色和规则你是高考数学阅卷助手只输出最终答案多选题用逗号分隔填空题只填数值第二段贴题目第三段要求先给答案再用一句话说明推理依据。为什么要加先给答案因为有些模型喜欢长篇大论答案藏在最后自动评分脚本抓取会出错。强制它把答案放开头解析就稳了。还有一个口径要定多选题的判分。高考规则是全对才给分漏选、错选都零分。我严格按这个来不搞部分正确给一半分的宽松标准。填空题则要求数值完全一致比如答案是 2 就不能写 2.0虽然数学上相等但为了脚本简单我做了数值归一化处理后面脚本里会体现。准备工作做完你手上应该有一个可用的 API Key、6 个确认可用的模型 ID、一份整理好的题目文本、一份标准答案。接下来写配置。3. 可复制的多模型调用配置这一节给你能直接跑的配置。我分两块一块是 Python 的调用脚本一块是模型清单的 JSON 配置。你复制过去改 Key 就能用。先看模型清单配置我存成 models.json放在项目根目录{ base_url: https://taotoken.net/api, models: [ {name: 豆包, id: doubao, note: 字节系多模态强}, {name: DeepSeek, id: deepseek, note: 推理链完整}, {name: 通义, id: qwen, note: 解题速度快}, {name: 文心 X1 Turbo, id: ernie, note: 多选易失分}, {name: 元宝 T1, id: yuanbao, note: 腾讯系}, {name: o3, id: o3, note: 海外模型多选规则不适应} ], temperature: 0.2, max_tokens: 1024 }注意这里的 id 字段是占位示例你一定要去文档页 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 核对当前可用的真实模型 ID。我踩过的坑就是直接抄了别人博客里的旧 ID结果三个模型全部返回空排查了半小时才发现是模型名过期了。然后是调用脚本 call_models.pyimport json import os from openai import OpenAI # 从环境变量读 Key别写死在代码里 client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api ) with open(models.json, r, encodingutf-8) as f: cfg json.load(f) SYSTEM_PROMPT ( 你是高考数学阅卷助手。规则 1) 第一行只输出最终答案单选题输出选项字母 多选题用英文逗号分隔填空题只输出数值 2) 第二行起用一句话说明推理依据 3) 不要输出多余解释。 ) def ask(model_id, question): resp client.chat.completions.create( modelmodel_id, messages[ {role: system, content: SYSTEM_PROMPT}, {role: user, content: question} ], temperaturecfg[temperature], max_tokenscfg[max_tokens] ) return resp.choices[0].message.content if __name__ __main__: q 已知集合 A{1,2,3}B{2,3,4}求 A∩B。 for m in cfg[models]: try: ans ask(m[id], q) print(f[{m[name]}] {ans[:80]}) except Exception as e: print(f[{m[name]}] ERROR: {e})这段代码的核心就三行指定 base_url、传 model、发 messages。TaoToken 帮你把六家厂商的鉴权和协议差异都抹平了所以你不用为每个模型写不同的 SDK 初始化。实测下来从豆包切到 o3只改 model 字段其他一行不动。如果你用的是 Node.js配置逻辑一样把 baseURL 指向 https://taotoken.net/api 用 openai 的 npm 包即可。如果你在 Cline、Cursor 这类工具里配置Base URL 填 https://taotoken.net/api API Key 填你的 sk-Model ID 填上面核对过的真实 ID这三件套缺一不可。很多人只填了 Base URL 和 KeyModel ID 留空或者填错就会报 model not found。配置写完先拿一道简单题跑通链路确认能拿到返回再批量跑 14 道题。别一上来就全量跑不然出错你都不知道是配置问题还是某道题的问题。4. 验证请求与逐题结果记录链路通了之后正式跑 14 道题。我把题目整理成一个 questions.json每道题带题号、类型、题干、标准答案[ {no: 1, type: single, q: ……, answer: B}, {no: 9, type: multi, q: ……, answer: A,C,D}, {no: 12, type: fill, q: ……, answer: 2} ]然后写一个批量跑分脚本把每个模型对每道题的原始回答存下来方便你事后复查。这里我强烈建议把原始输出落盘成 JSON不要只存对错——因为模型有时候答案对但推理错或者答案格式不规范你需要回看原文才能判断是模型能力问题还是解析问题。跑完之后我整理出的结果记录表大致是这样分数为按高考规则折算后的得分满分 73模型单选(40)多选(18)填空(15)总分正确率豆包3518156893%元宝 T13518156893%DeepSeek3018156386%通义3512156285%文心 X1 Turbo356105170%o3200143447%这张表和我看到的公开测试结果基本吻合说明统一 API 通道没有引入额外偏差。几个值得说的细节单选题环节豆包、通义、元宝、文心都拿了 35 分说明基础题大家都会。DeepSeek 丢的两道单选回看原始输出发现是它对某道题的题意理解偏了不是计算错。o3 在多道单选上出错甚至有一道公认的送分题也答错我复查了它的推理链发现它把题目条件读反了——这跟它不擅长中文数学表述有关。多选题是分水岭。豆包、DeepSeek、元宝三道全对通义因为步骤分析太简略漏选了一个选项文心两道答错、一道直接没响应返回空内容o3 一道都没全对它习惯性地只选一个最可能的选项完全没适应多选题要选多个的规则。填空题豆包、DeepSeek、通义、元宝四家满分文心最后一步处理不当丢分o3 丢了一分。这里有个观察很有意思今年这批模型普遍展现出反思能力。我注意到 DeepSeek 和豆包在几道题里会先写一个思路然后自己推翻重来最后给出正确答案。这种推倒重来的行为在去年的模型上很少见。而 o3 反而显得固执错了也不回头。5. 本篇常见错误排查跑这个测试的过程中我遇到和收集到的报错主要集中在四类逐个说。第一类401 Unauthorized。这个最常见原因就三个——Key 没填、Key 填错、Key 前面多了空格。TaoToken 的 Key 是 sk- 开头的一长串复制的时候容易带上首尾空格。排查方法在脚本里 print 一下 os.environ[TAOTOKEN_API_KEY] 的长度和首尾字符。另外注意如果你把 Key 写进了 .env 文件确认加载 .env 的库真的读到了我见过有人 .env 文件名写成 env 导致没加载。第二类local proxy failed 或连接超时。这个通常是你本机网络环境或代理设置的问题不是 TaoToken 的问题。检查你的 HTTP_PROXY / HTTPS_PROXY 环境变量如果设了一个不可用的代理请求会卡住。解决办法是临时 unset 掉这些变量再跑。另外确认你的 base_url 写的是 https://taotoken.net/api 不要多加斜杠或路径。第三类返回结果里 reading choices 报错也就是 resp.choices 是空数组或 None。这个多半是模型 ID 写错了。TaoToken 对不存在的模型有的返回 400 带错误信息有的直接返回空 choices。排查方法先用一个确认可用的模型比如文档里标了稳定的那个跑通再逐个换 ID 测试。如果某个 ID 一直返回空去文档页核对拼写。第四类OAuth 或鉴权相关的报错。如果你是在 Claude Code、Cline 这类工具里接入报 OAuth 错误通常是因为工具默认走了它自己的登录流程而不是用你填的 API Key。这时候要在工具的设置里明确选择使用自定义 API Key / Base URL模式把三件套填全Base URL 填 https://taotoken.net/api API Key 填 sk- 开头的串Model ID 填真实模型名。三件套缺一个都会出问题尤其是 Model ID很多人以为工具会自动选结果报错。还有一个非报错但很烦的问题模型返回的答案格式不统一。有的写答案是 B有的写B.有的写选项 B。我的评分脚本做了归一化去掉空格、去掉答案选项是这些词、统一大小写、多选题把选项排序后再比。填空题则尝试转 float 比较转不了就按字符串严格比。这一步不做你的正确率统计会偏低。6. 把测试跑成你自己的评测流水线跑完这一轮我最大的感受是模型数学能力的差距很多时候不在会不会算而在读不读得懂题和守不守规则。o3 的计算能力不差但它栽在中文题意理解和多选规则上文心栽在多选题的稳定性上通义栽在步骤太简略导致漏选。这些结论只有用统一通道、统一口径跑一遍才能得到直接看别人的分数表是看不出来的。如果你想把这套东西变成自己的评测流水线我给你几个实用建议。第一把题目和答案抽成独立文件换卷子只改数据不改代码。第二原始输出一定落盘评分逻辑和调用逻辑分离这样你调整判分规则时不用重跑 API。第三temperature 固定住否则同一模型两次跑分数可能不一样没法比。第四模型 ID 定期核对厂商更新版本后旧 ID 可能下线。这套脚本你还可以扩展到其他科目比如物理、化学的选择题只要把题目和答案换掉评分逻辑微调即可。对于需要长期做模型选型、跑回归测试的团队用 TaoToken 这种统一通道能省掉大量对接成本——你不用为每个新模型重写一遍调用代码改个 model 字段就能纳入评测。最后留一个我踩过的坑批量跑的时候记得加延时或并发控制。我一开始用多线程同时打 6 个模型 × 14 道题结果触发了一些模型的频率限制返回了一堆 429。后来改成串行加 0.5 秒间隔稳定跑完。评测要的是可复现不是快稳比快重要。