1. 为什么 load data local infile 会从 140 秒掉到 600 秒load data local infile是 MySQL 里批量导入 CSV 最快的原生手段之一它绕过了逐行 INSERT 的 SQL 解析开销直接把文件流灌进存储引擎。但很多人第一次遇到它变慢时会误以为是磁盘或 CPU 的问题重启机器、换 SSD、加大内存结果耗时纹丝不动。我实测下来真正拖慢它的往往是三个隐藏开关local_infile是否真正生效、事务是否在逐行提交、以及目标表上有没有你没注意到的二级索引。先说一个典型场景。你手上有一个 45 万行、约 250MB 的 CSV以前用同样的语句导入只要 140 到 160 秒。某天你新建了一张表结构是create table 新表 like 原表复制过来的再执行同样的load data local infile时间直接飙到 600 秒以上。语句没变、文件没变、机器没变唯一变的是表结构里悄悄带上了原表的索引。这就是最容易被忽略的坑create table ... like会连同索引定义一起复制而每插入一行InnoDB 都要去维护这些 B 树行数一多索引维护的成本就指数级放大。除了索引还有两个常被忽视的点。第一是local_infile这个系统变量MySQL 8.0 之后默认是 OFF客户端和服务端两侧都要打开否则你看到的不是报错而是走了另一条慢路径或者干脆被客户端拦截。第二是事务提交方式load data默认是自动提交每一行或每一批都可能触发一次 redo log 刷盘如果你没有显式包在一个事务里或者没有调整autocommit和unique_checks导入速度会被 fsync 拖死。这篇文章聚焦的就是这个排查链路从local_infile开关、事务批量提交、唯一索引与主键顺序三个角度定位瓶颈给出可复制的my.cnf与会话参数配置、导入前后耗时对比脚本并且用 TaoToken 统一 Key/API 通道记录每次导入任务的验证动作。目标很明确把单表千万行级别的导入耗时压回可观测、可复现的区间而不是靠玄学重启。适合谁看如果你正在做数据迁移、日志归档、离线报表入库或者被load data local infile的慢速折磨过这篇可以直接照着做。下面先从环境准备和 TaoToken 通道的接入讲起再进入具体配置。2. TaoToken 统一通道前置准备与 local_infile 开关确认在动手改参数之前先把两件事理清楚一是你的 MySQL 客户端和服务端的local_infile到底开没开二是你用什么方式记录和验证每次导入任务。前者决定导入能不能走本地文件流后者决定你能不能对比出优化前后的真实差异。先说local_infile。这个变量分两层服务端有一个全局的local_infile客户端连接时还有一个--local-infile选项。MySQL 8.0 起服务端默认关闭你需要显式打开。检查方法很简单登录后执行SHOW VARIABLES LIKE local_infile;如果返回OFF那么即使你的load data local infile语句写得再对也会失败或者被降级处理。打开方式有两种临时生效用SET GLOBAL local_infile 1;永久生效则写进my.cnf的[mysqld]段[mysqld] local_infile 1客户端侧如果你用命令行mysql需要加--local-infile1如果用 Workbench要在连接的高级选项里勾选允许本地文件加载。这一步不做后面所有优化都是空谈。再说 TaoToken 通道。它的作用不是替代 MySQL而是给你一个统一的 Key 和 API 入口把每次导入任务的验证动作、耗时记录、参数快照都归拢到一条可追溯的通道里。你可以把它理解成一个「任务记账本」每次导入前后通过 API 发一条记录带上表名、行数、耗时、关键参数后续排查时直接查这条通道就行不用翻聊天记录或散落的日志文件。接入方式很直接。先到控制台创建 API Key地址是 https://taotoken.net/api-keys 拿到 Key 之后Base URL 用 https://taotoken.net/api 。如果你用的是 Claude Code 或类似的编码工具做脚本编排可以在配置里填上这个 Base URL 和 Key。模型 ID 按你实际使用的填比如做文本处理或日志分析时选对应的模型即可。三件套就是 Base URL、Key、Model ID缺一不可。这里给一个最小可用的配置片段假设你用某个支持自定义 Base URL 的客户端{ base_url: https://taotoken.net/api, api_key: 你的_TaoToken_Key, model: 你的模型ID }如果你更习惯用 TOML 管理配置等价写法是[taotoken] base_url https://taotoken.net/api api_key 你的_TaoToken_Key model 你的模型ID配好之后先做一次连通性验证确认通道可用。可以用 curl 发一个最简单的请求curl -X POST https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer 你的_TaoToken_Key \ -H Content-Type: application/json \ -d {model:你的模型ID,messages:[{role:user,content:ping}]}返回正常就说明通道通了。这一步的意义在于后面每次导入任务你都可以用同一个通道发验证记录不会因为 Key 散落各处而对不上账。如果你更想先在对话界面里试一下模型是否可用可以走 https://taotoken.net/models 确认模型列表和响应正常再回到脚本里集成。前置准备做完接下来进入真正的参数配置环节。记住一个原则local_infile是入场券事务和索引才是决定速度的主战场。3. 可复制的 my.cnf 与会话参数配置这一节是全文的核心所有配置都可以直接复制。我会分三层给服务端my.cnf、会话级参数、以及导入语句本身的写法。三层配合才能把load data local infile的速度拉满。先看服务端my.cnf。下面这段针对导入场景做了取舍重点在减少刷盘次数和放宽唯一性检查[mysqld] local_infile 1 innodb_flush_log_at_trx_commit 2 innodb_buffer_pool_size 2G innodb_log_file_size 512M unique_checks 0 foreign_key_checks 0 bulk_insert_buffer_size 256M逐条解释。innodb_flush_log_at_trx_commit 2表示每次事务提交只写 OS 缓存不强制 fsync 到磁盘导入期间能大幅减少 IO 等待代价是极端情况下可能丢最近 1 秒的数据导入场景可以接受。innodb_buffer_pool_size按你机器内存的 50% 到 70% 设导入时索引和页缓存都靠它。innodb_log_file_size调大能减少 checkpoint 频率。unique_checks 0和foreign_key_checks 0在导入期间关闭唯一性和外键检查导入完再打开这是提速的关键之一。注意unique_checks和foreign_key_checks写在my.cnf里是全局生效如果你不想影响其他业务可以只在会话里设。会话级配置如下SET SESSION unique_checks 0; SET SESSION foreign_key_checks 0; SET SESSION autocommit 0; SET SESSION sql_log_bin 0;autocommit 0配合显式事务把整批导入包在一个事务里提交避免逐行提交。sql_log_bin 0在不需要主从复制的场景下关闭 binlog 写入能再省一笔开销但生产环境有复制需求时不要关。然后是导入语句本身。原始写法是load data local infile 文件路径 into table 表名 fields terminated by , optionally enclosed by escaped by , lines terminated by \r\n ignore 1 rows;优化后的写法配合事务和索引处理SET SESSION unique_checks 0; SET SESSION foreign_key_checks 0; SET SESSION autocommit 0; START TRANSACTION; LOAD DATA LOCAL INFILE /data/your_file.csv INTO TABLE your_table FIELDS TERMINATED BY , OPTIONALLY ENCLOSED BY ESCAPED BY , LINES TERMINATED BY \r\n IGNORE 1 ROWS; COMMIT; SET SESSION unique_checks 1; SET SESSION foreign_key_checks 1; SET SESSION autocommit 1;关于索引有两种策略。第一种是导入前删除二级索引导入后重建SHOW KEYS FROM your_table; ALTER TABLE your_table DROP INDEX idx_name1, DROP INDEX idx_name2; -- 导入 ALTER TABLE your_table ADD INDEX idx_name1 (col1), ADD INDEX idx_name2 (col2);第二种是禁用索引但正如很多人在 Workbench 里遇到的ALTER TABLE ... DISABLE KEYS对 InnoDB 并不总是生效它主要针对 MyISAM。所以对 InnoDB 表删除再重建是更可靠的做法。重建索引时如果表已经有序可以顺便优化主键顺序。主键顺序这一点值得单独说。InnoDB 是聚簇索引数据按主键顺序物理存储。如果你的 CSV 是按自增 ID 有序的导入会顺序写入很快如果主键是 UUID 或乱序的每次插入都可能触发页分裂速度会明显下降。导入前把 CSV 按主键排序或者用自增主键能省下大量时间。如果你用脚本编排整个流程可以把上面的参数写进一个 JSON 配置方便复用{ mysql: { host: 127.0.0.1, port: 3306, database: your_db, session_params: { unique_checks: 0, foreign_key_checks: 0, autocommit: 0 } }, load: { file: /data/your_file.csv, table: your_table, fields_terminated_by: ,, lines_terminated_by: \\r\\n, ignore_rows: 1 }, taotoken: { base_url: https://taotoken.net/api, api_key: 你的_TaoToken_Key, model: 你的模型ID } }这份配置把 MySQL 会话参数、导入参数和 TaoToken 通道放在一起脚本读一次就能跑完整个任务。配置到位后下一步就是验证请求和对比结果。4. 验证请求与导入前后耗时对比脚本配置改完不能凭感觉说「快了」要有可复现的对比数据。这一节给一个完整的耗时对比脚本导入前后各跑一次把结果通过 TaoToken 通道记录下来。先写一个 Bash 脚本核心是用date %s记录起止时间导入完成后统计行数#!/bin/bash TABLEyour_table CSV/data/your_file.csv MYSQLmysql -h127.0.0.1 -uroot -pyour_password your_db START$(date %s) $MYSQL EOF SET SESSION unique_checks 0; SET SESSION foreign_key_checks 0; SET SESSION autocommit 0; START TRANSACTION; LOAD DATA LOCAL INFILE $CSV INTO TABLE $TABLE FIELDS TERMINATED BY , OPTIONALLY ENCLOSED BY ESCAPED BY , LINES TERMINATED BY \r\n IGNORE 1 ROWS; COMMIT; SET SESSION unique_checks 1; SET SESSION foreign_key_checks 1; SET SESSION autocommit 1; EOF END$(date %s) ELAPSED$((END - START)) ROWS$($MYSQL -N -e SELECT COUNT(*) FROM $TABLE) echo 导入耗时: ${ELAPSED} 秒 echo 表内行数: ${ROWS}跑之前记得给脚本加执行权限并且确认mysql客户端带了--local-infile1否则会报The used command is not allowed with this MySQL version。可以在脚本的MYSQL变量里加上MYSQLmysql --local-infile1 -h127.0.0.1 -uroot -pyour_password your_db导入完成后把耗时和行数通过 TaoToken 通道发一条记录。用 curl 就行curl -X POST https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer 你的_TaoToken_Key \ -H Content-Type: application/json \ -d { \model\: \你的模型ID\, \messages\: [{ \role\: \user\, \content\: \导入任务记录表$TABLE行数$ROWS耗时${ELAPSED}秒参数unique_checks off, autocommit off\ }] }这样每次导入都有一条带时间戳的记录后续对比优化前后、不同参数组合的效果时直接查通道里的历史就行。如果你更习惯在图形界面里看模型响应可以走 https://taotoken.net/chat 把记录内容贴进去确认通道返回正常。实测下来同一份 45 万行 CSV在带二级索引、自动提交的默认配置下耗时 600 秒以上删掉二级索引、关闭唯一性检查、包进单个事务后耗时回到 160 秒左右。如果是千万行级别差距会更明显可能从几小时压到十几分钟。关键是要把每次的耗时和参数都记下来否则你无法判断到底是哪个改动起了作用。对比脚本还可以扩展成自动跑两组参数一组是优化前一组是优化后分别导入到两张结构相同的表最后输出对比表格。这样你手里就有硬数据而不是「感觉快了」。5. 本篇常见报错排查401、local proxy failed、reading choices、OAuth导入过程中遇到的报错大致分两类MySQL 侧的导入报错和 TaoToken 通道侧的请求报错。这一节把最常见的几个列出来对照着排查。先说 MySQL 侧。第一个高频报错是ERROR 3948 (42000): Loading local data is disabled; this must be enabled on both the client and server sides这就是local_infile没开全。服务端执行SET GLOBAL local_infile 1客户端连接加--local-infile1两边都确认。Workbench 用户去连接设置里勾选对应选项。第二个是ERROR 1148 (42000): The used command is not allowed with this MySQL version同样是客户端没开local_infile或者你用的客户端版本不支持。换命令行mysql加参数或者升级客户端。第三个是导入中途卡住或极慢但没有报错。这时候去查表上的索引SHOW KEYS FROM your_table;如果有多个二级索引先删掉再导入。另外检查主键是不是乱序的 UUID如果是考虑导入前排序或改用自增主键。再说 TaoToken 通道侧。第一个是 401{error:{message:Invalid API key,type:invalid_request_error}}说明 Key 不对或没带上。检查Authorization: Bearer后面的 Key 是否和控制台里的一致注意不要有多余空格。如果 Key 刚创建确认没有复制错位。第二个是 local proxy failedlocal proxy failed: connection refused这通常是本地网络或代理配置问题。检查你的 Base URL 是不是写成了https://taotoken.net/api不要多加路径或斜杠。如果你在容器里跑脚本确认容器能访问外网。第三个是 reading choices 相关的报错failed to read choices from response这多半是请求体格式不对或者模型 ID 填错了。检查 JSON 里的model字段是否和 https://taotoken.net/models 里列出的 ID 一致messages数组格式是否正确。用 curl 单独发一次最小请求验证。第四个是 OAuth 相关OAuth token expired or invalid如果你用的是带 OAuth 的客户端重新走一次授权流程或者改用 API Key 方式。API Key 方式更稳定适合脚本自动化。排查顺序建议先确认 MySQL 侧local_infile和索引再确认 TaoToken 通道的 Key、Base URL、Model ID 三件套。两边都通了再回头看耗时数据。如果你在配置 Claude Code 或类似工具时遇到 OAuth 问题可以到 https://taotoken.net/doc 查对应的接入文档里面有各客户端的详细步骤。6. 把导入任务接入 TaoToken 统一通道的长期做法单次优化解决的是眼前这张表长期做法是把每次导入都纳入一条可追溯的通道。这样下次再遇到「怎么又变慢了」你不用从头排查直接翻历史记录就能定位是索引变了、参数被覆盖了还是数据分布变了。具体做法是把第 3 节的 JSON 配置和第 4 节的对比脚本固化成一个任务模板每次导入前自动记录参数快照导入后自动记录耗时和行数。TaoToken 通道在这里扮演的是统一入口的角色所有记录走同一个 Base URL 和 Key不用为每个脚本单独配一套凭证。如果你有多个导入任务比如每天凌晨跑一批日志归档可以用 Coding Plan 来编排。地址是 https://taotoken.net/coding-plan 它适合这种长期、重复的编码和任务调度场景。把导入脚本、参数配置、验证记录都挂在同一个计划下管理起来比散落的 crontab 清晰得多。对于需要频繁调试参数的场景比如你在试不同的innodb_flush_log_at_trx_commit取值对导入速度的影响可以走模型对话通道 https://taotoken.net/chat 把每次的参数组合和耗时贴进去让模型帮你归纳哪组参数在你的数据分布下最优。这不是让模型替你跑导入而是用它做记录整理和模式识别。最后给一个实用技巧导入前先用wc -l数一下 CSV 行数导入后用SELECT COUNT(*)核对两者不一致说明有行被跳过或解析失败。把这个校验也写进脚本和耗时一起记录。千万行级别的导入差几行往往意味着字段里有换行符或转义字符没处理干净早发现比事后补数据省事得多。整套流程跑顺之后你会发现load data local infile的慢绝大多数时候不是 MySQL 不行而是参数没配对、索引没处理、提交方式没优化。把这三件事做对再配上统一的记录通道导入耗时就从一个玄学问题变成了一个可观测、可复现的工程指标。