前阵子有个朋友问我想给用户搜索词做语义召回直接拿 gensim 的 Word2Vec 上靠谱吗我的回答一直是——Word2Vec 虽然不算新东西但在中小规模语料、快速验证语义相似度、给下游模型做冷启动向量这些场景里依然很能打。这篇我就把自己从第一次用 gensim 训练中文词向量到调参、保存、踩坑的过程整理成一份可复用的记录希望能帮你少走点弯路。不管你是刚接触自然语言处理还是已经跑过不少模型只要想用 gensim 快速得到一份词向量并且知道它背后到底在做什么、参数为什么这么调这篇都能覆盖。我会尽量把原理说得通熟把能直接抄走的代码和参数配置给全后面还会单独花一节讲那些官方文档里不会写、但我实际跑坏过好几次的坑。1. 为什么到这个年代还要认真讨论 gensim 的 Word2Vec1.1 词向量到底解决了什么问题要理解 Word2Vec得从词的表示方式说起。最原始的做法是 one-hot把词典里的每个词用一个很长的向量表示只有自己对应的位置是 1其他位置全是 0。这种表示有两个硬伤一是维度爆炸词表一上十万向量维度就上十万二是词与词之间完全孤立“苹果”和“香蕉”的距离和“苹果”和“发动机”的距离没有任何区别计算机根本没法从这种表示里学习到“这是两类东西但都是水果”这种抽象关系。Word2Vec 换了个思路把每个词映射到一个固定维度的稠密向量比如 128 维或 256 维然后用训练过程保证语义相近的词在向量空间里距离也近。这就是分布式表示也叫词嵌入。2013 年提出的 Word2Vec 虽然被后来的 BERT 等大规模预训练模型盖过了风头但它训练快、资源占用低、解释性强到今天仍然有大量实用场景短文本聚类、推荐系统里基于 item 描述文本算相似度、人名/产品名归一化、以及拿它当深度模型的 Embedding 初始化。1.2 CBOW 和 Skip-gram训练过程中发生了什么Word2Vec 其实不是一个模型而是两种结构CBOW 和 Skip-gram。你可以把 CBOW 理解成“完形填空”我给出上下文词让模型猜中心词是什么。Skip-gram 反过来相当于“看到一张照片让你描述旁边的环境”我给出中心词让模型去预测它会出现在哪些上下文词旁边。这里有个很反直觉的点训练结束后我们真正想要的不是那个预测任务本身而是训练过程中顺便学出来的“隐藏层权重”。每个词经过这个隐藏层之后得到的向量才是最终词向量。所以训练模型只是个手段取向量才是目的。这个理解到位了后面很多参数调优你自然就能想通。1.3 gensim 在词向量生态里的定位现在能训词向量的库不少但 gensim 依然是动手跑 Word2Vec 最顺手的工具。理由有三个第一它接口设计得很简单基本就是“喂语料、调参数、训练、查相似词”四步第二它是纯 Python 实现但底层做了不少优化几万条句子的中小型语料在普通笔记本上几十秒到几分钟就能跑完第三它把训练好的向量单独封装成 KeyedVectors你可以丢掉模型结构只保留词向量内存占用非常小。需要提醒的是gensim 从 3.x 升级到 4.x 之后不少老代码跑不了了。最典型的就是model.wv.vocab这个属性被移除了改成了model.wv.key_to_index。我见过太多人从网上抄了一段 3.x 的代码直接AttributeError。所以看文章、抄代码一定先确认自己装的 gensim 是哪个大版本。2. 决定词向量质量的不是模型而是放进模型之前的语料2.1 gensim 要的语料是一层嵌套列表不是一个字符串我第一次用 gensim 就闹过笑话直接把一整段文本字符串丢进 Word2Vec结果程序什么都不输出。后来才搞明白gensim 的 Word2Vec 接收的sentences参数是“列表的列表”外层列表代表整个语料内层列表代表一句话一句话又是一个词组成的列表。# 正确的输入格式 sentences [ [我, 喜欢, 自然语言处理], [词向量, 是, 深度学习, 的基础], [gensim, 提供, 了, Word2Vec, 实现], ]这里有个特别容易被忽略的细节gensim 是按“句子级别”来划分上下文窗口的。也就是说窗口只在同一个内层列表里滑动不会跨到下一句。很多人处理语料时整篇文章作为一个 list 塞进去结果语义边界被完全打乱“上一段结尾”和“下一段开头”莫名其妙就被当成相邻上下文词向量的质量会明显下降。所以正确做法是先按句号、问号、感叹号把文本切成单句再对每个单句做分词得到list[list[str]]的结构。千万别省这一步。2.2 中文分词、清洗和停用词三步走中文不像英文天然按空格分词必须借助分词工具。我用得比较多的是 jieba 分词安装简单处理常见中文文本效果也够用。分词之前先做一轮清洗把 URL、邮箱、多余空白、特殊符号去掉全角字符转半角英文统一小写。import jieba stop_words set([的, 了, 在, 是, 我, 你, 他, 这, 那]) def clean_and_cut(text): text text.replace(\u3000, ).lower().strip() tokens jieba.lcut(text) tokens [token for token in tokens if token.strip() and token not in stop_words] return tokens # 对每句话执行 clean_and_cut组装成 sentences停用词这块别太贪。像“的”“了”“在”这类高频虚词去掉之后确实能减少噪音但一些业务专用词可能看起来像停用词实际很有用。建议先跑一版看看 top 高频词里有哪些明显没意义的词再针对性加进停用词表。2.3 语料规模到底多少数据才够用这是新手最常问的问题。我的经验线是这样的语料只有几千句话时词向量基本就是在“背单词表”语义关系出不来most_similar返回的词经常莫名其妙几十万句以上常见词的语义相似度才会明显靠谱如果想做中文类比推理这种任务通常需要百万句级别的数据。单靠业务日志不够怎么办可以先拿开源中文语料预训练一份词向量再用自己业务语料做增量训练。gensim 支持在已有模型上继续训练后面我会写上具体代码。重点在于先把“能不能看到效果”的预期管理好别拿几万词的小语料去苛责算法。3. 训练之前先看懂参数十个参数决定了模型九成的效果3.1 第一步是选结构sg 和 cbow 怎么选gensim 的 Word2Vec 默认用 CBOW也就是sg0。但我个人建议只要语料规模不是特别小优先尝试 Skip-gram设置sg1。原因很简单Skip-gram 每次用一个词去预测多个上下文词相当于做了更多次采样对低频词的向量质量更友好CBOW 训练速度快但在词义细节上往往不如 Skip-gram。维度CBOWSkip-gram训练方向上下文词预测中心词中心词预测上下文词训练速度快慢一些低频词效果一般更好小语料表现相对更好收敛容易欠拟合建议场景语料大、追求速度和通用性语料中等、关心语义细粒度如果是中文分词之后还有不少生僻词、专业词的场景Skip-gram 基本是默认答案。3.2 核心参数速查表下面这几个参数是我每次训练都会反复确认的按重要程度排个序。参数默认值实际建议一句话原理vector_size100128~256向量维度维度过大容易稀疏过小表达不足window55~10上下文窗口大小影响“语义范围”min_count52~5过滤低频词减少噪音和训练量sg01模型结构选择CBOW 还是 Skip-gramnegative55~10负采样数量控制训练速度和负样本质量sample1e-31e-3~1e-4高频词降采样阈值epochs55~20整个语料遍历次数workers34~8并行训练线程数seed1固定控制随机数影响复现性逐个说下我调参的逻辑。vector_size我们常用 128很多任务 128 维已经够用如果语料很大且下游是一个复杂模型可以上 256但再往上边际收益就很小了。window默认 5 比较稳代表中心词前后各看 5 个词。如果语料以短语、短句为主窗口可以缩到 3如果是长文本窗口适度调到 810。min_count我很少直接默认 5因为很多专业领域词频没那么高设 5 会把它们全滤掉设 2 反而保留了不少有用信息。当然词频为 1 的词通常噪音大不推荐保留。sample负责干掉“的、是、在”这类高频但信息量低的词默认 1e-3 对大多数场景友好如果发现高频停用词影响仍然很大可以调低到 1e-4。3.3 隐藏参数negative、sample 和 epochs 背后的道理negative是负采样数量。原来的 softmax 每次要遍历整个词表代价太大负采样改为只随机挑几个“错误答案”让模型区分。negative5的意思是为每个正样本配 5 个负样本。不是越大越好负样本太多会让训练变慢且收益递减。sample用的是一种概率降采样对词频特别高的词有一定概率在训练时直接丢弃。公式大致是1 - sqrt(t / 词频)t就是sample参数。这样能让“在”“了”这类词不会反复出现在每个上下文里模型才有精力学更实义的词。epochs也别无脑加大。我见过有人把 epochs 设到 50结果词向量被过拟合到语料本身换一批数据测试时效果很差。一般来说先按 5 轮跑看most_similar的结果是否稳定还不够再逐步加到 10、15。语料越小越要小心过拟合我当时在一个只有几万句的项目里把 epochs 从 5 加到 20反而出现了相似词退化。4. 从语料到词向量一条能直接抄的最小训练流程4.1 完整训练代码假设你已经准备好了sentences也就是list[list[str]]下面这段代码就可以直接训练了。from gensim.models import Word2Vec model Word2Vec( sentencessentences, vector_size128, window5, min_count2, sg1, negative5, sample1e-3, epochs10, workers4, seed42, ) print(词表大小:, len(model.wv.key_to_index)) # 词表大小: 比如 45231这里有个细节sentences可以是内存里的列表也可以是一个生成器。如果语料特别大建议把它封装成生成器逐行yield一句话避免一次性把全部语料加载到内存。训练完的向量可以通过model.wv访问它相当于一个只读词向量字典。4.2 训练完成后立刻要做的三个质检训练完别急着保存先用手感检查模型到底学没学到东西。# 1. 找相似词 print(model.wv.most_similar(香蕉, topn10)) # 2. 看两个词的相似度 print(model.wv.similarity(计算机, 程序)) # 3. 找出不搭的词 print(model.wv.doesnt_match([苹果, 香蕉, 汽车, 芒果]))如果“香蕉”的相似词里出现“菠萝”“芒果”这类水果说明语义关系学出来了如果返回的全是高频虚词或者完全不相关词那就要回到语料清洗和参数调整上面找原因。similarity返回的是余弦相似度范围大约在 -1 到 1 之间一般大于 0.5 就算有明显相关但阈值还得看具体语料。4.3 保存、加载与增量训练保存模型最常见的需求有两种只保留词向量还是保留完整的训练状态以便继续训练。# 保存完整模型推荐便于后续增量训练 model.save(word2vec.model) # 只保存词向量用于下游任务读取 model.wv.save_word2vec_format(word2vec.vector) # 加载完整模型 from gensim.models import Word2Vec model Word2Vec.load(word2vec.model) # 加载纯词向量KeyedVectors from gensim.models import KeyedVectors kv KeyedVectors.load_word2vec_format(word2vec.vector)只保存词向量的格式是纯文本每行一个词加一串数字很多框架都能直接读但注意它不支持增量训练。完整保存的.model文件包含了词表、训练参数、隐藏层权重适合后面继续追加语料。增量训练是 gensim 一个非常实用的功能但坑也不少。正确操作是这样的model Word2Vec.load(word2vec.model) new_sentences [ [机器学习, 正在, 改变, 许多, 行业], [词向量, 可以, 衡量, 语义, 距离], ] model.build_vocab(new_sentences, updateTrue) model.train( new_sentences, total_examplesmodel.corpus_count, epochsmodel.epochs, )build_vocab(updateTrue)是关键它会往旧词表里加入新词同时更新corpus_count。训练时total_examples和epochs必须显式传否则 gensim 4.x 会直接报错。这里有个常识性错误如果新语料和旧语料领域完全不同增量训练效果不一定好因为旧词向量可能被新数据“冲偏”。一般建议新语料至少占旧语料的十分之一以上否则增量意义不大。5. 词向量训练完之后最常见的是这四件事5.1 精确查词most_similar 和 similarity上面已经演示了基本用法这里补充几个使用细节。most_similar默认返回词列表但可以传restrict_vocab参数只在高频词子集里搜索能明显提速。业务上做同义词扩展时往往需要过滤掉与查询词完全相同的词这要注意 top 结果可能包含词形变体。# 只看词表前 5000 高频词里的相似词 print(model.wv.most_similar(计算机, topn10, restrict_vocab5000))similarity适合做“词级相关性计算”比如判断两个搜索词是否指同一类东西。它比字面重叠要灵活但也不要忘了词向量的相似度是“上下文相似”而不是“逻辑一致”意思相反的词有时也可能相似比如“快”和“慢”在很多语料里上下文高度重合向量距离反而不远。5.2 类比推理词向量最经典的加减法Word2Vec 在刚出来时最惊艳的能力是类比推理比如“男人 : 女人 ≈ 国王 : 女王”这种关系。底层原理就是词的向量可以做加减法国王 - 男人 女人 ≈ 女王。gensim 里直接用most_similar的positive和negative参数。# 找 猫 - 狗 小狗 近似于什么 print(model.wv.most_similar(positive[小狗, 猫], negative[狗], topn5))实际效果很大程度上取决于语料里这些词是否同时出现、出现次数是否足够。中文语料里类比推理经常不如英文语料漂亮因为中文词的组合性更强很多语义关系是通过复合词表达的。不要因为某个类比结果离谱就否掉整个模型这本来就是一种概率性能力。5.3 可视化用 t-SNE 把词向量压到二维平面词向量是几百维的向量肉眼没法直接看。常见做法是用 t-SNE 降维到二维平面再画图观察相似词是否聚在一起。这里给一个最简版本你可以在 Jupyter Notebook 里直接跑。from sklearn.manifold import TSNE import matplotlib.pyplot as plt words [苹果, 香蕉, 芒果, 计算机, 程序, 代码, 汽车, 发动机] vectors [model.wv[word] for word in words if word in model.wv.key_to_index] tsne TSNE(n_components2, random_state42, perplexity5) vectors_2d tsne.fit_transform(vectors) for word, (x, y) in zip([w for w in words if w in model.wv.key_to_index], vectors_2d): plt.scatter(x, y) plt.annotate(word, (x, y), xytext(5, 5), textcoordsoffset points) plt.show()需要注意的是t-SNE 每次跑出来位置都可能有变化它只是让我们直观感受聚类不适合当作严谨的评测指标。可视化图里如果“水果类”和“技术类”明显分开说明语料里的语义结构是被模型学到了。6. 我在实战里踩过的坑按严重程度排个序6.1 最坑的是 gensim 4.x 的 API 迁移我第一次升级 gensim 后旧代码报了三个错误model[词]取词向量不行了必须model.wv[词]model.wv.vocab不存在了换成model.wv.key_to_indexmodel.most_similar也没了必须通过model.wv.most_similar调。这些变化在官方文档里都写了但网上大量教程还是老写法尤其逛技术社区时经常能刷到 2017 年的代码片段抄一把就直接报错。建议在项目里固定 gensim 版本号比如gensim4.3.2同时把代码里的 API 都写成 4.x 风格。检查一个库的版本不是小事我后来专门在训练脚本开头打印gensim.__version__防止本地环境和其他人环境跑出不同结果。6.2 第二坑把整个文档当成一个 sentence前面说 gensim 的窗口只在一个 sentence 内部滑动但实际操作里这个错简直防不胜防。我一度为了省事把每个文档直接切片成若干词列表不按句子切分结果就是词向量把同一篇文章里不相关的上下文强行拉近相似词结果一塌糊涂。后来我养成了一个固定操作每个文本先按标点粗切再用分词库逐句分词保证每个内层列表对应一个成句的文本单元。短视频标题、搜索词这类短文本反而没这个问题因为它们本身就近似一个句子。6.3 第三坑增量训练不是简单的 model.train有人以为加载模型后直接model.train(new_sentences)就能续训结果要么报错要么训练完新词不在词表里。原因有两个第一train()需要显式指定total_examples和epochs第二新语料里的词不会自动加入词表必须先build_vocab(updateTrue)。增量训练还有一个隐蔽问题如果旧模型训练时min_count5新语料里那些只出现一两回的词即便 build_vocab 时加进去了也可能因为不满足词频阈值而被丢弃。遇到这种情况最稳妥的办法是加载模型时把min_count调低然后用旧语料和新语料一起重新训练一个完整模型。增量训练适合“补充新词、微调旧词”不适合解决“原来模型就训练不到位”的问题。6.4 第四坑复现实验时的随机关卡word2vec 本身有随机性训练语料又大想完全复现并不简单。第一步固定seed第二步尽量固定workers1。多线程虽然快但不同线程之间的数据顺序会变即使 seed 相同跑出来的词向量也不完全一样。我通常用workers4做探索实验确定最终版本后用workers1再跑一遍作为最终模型。还有个容易忽视的地方Python 的环境变量PYTHONHASHSEED也会影响字符串哈希从而影响数据加载顺序。要在完全复现的场景里把PYTHONHASHSEED0加在运行命令前面。最后分享一个我保存模型时的习惯除了.model文件我还会顺便存一份纯词向量文本并且把语料清洗脚本和版本号写到训练日志里。这样过两个月再回头看还能完整还原出当时那份词向量是怎么跑出来的。费不了多少事但对排查问题是真有用。