简介这是一套面向Python初、中级开发者与文本挖掘学习者的微博情感分析实操资源适合需要快速上手中文短文本分类任务的学生、科研人员或数据分析师。资源系统呈现了从文本预处理、特征提取到模型训练与评估的完整流程可帮助读者掌握jieba分词、停用词过滤、词袋模型、TF-IDF、Word2Vec表示以及朴素贝叶斯、支持向量机、决策树、随机森林与LSTM等分类模型的构建和调优方法。包内共4个文件具体包括可直接运行的Python分析脚本覆盖数据读取、清洗、训练与预测全流程、十万条微博情感标注数据集用于模型训练与验证、中文停用词表便于过滤低频无意义词汇以及模型结构示意图辅助理解LSTM等网络架构压缩包整体约9.76MB体积紧凑适合离线下载与对照学习。目前已有199人学习本资源。通过学习读者可获得一套完整可复现的情感分析基线方案并深入理解交叉验证、数据集划分、特征权重计算等实操细节既能支撑课程设计或毕业设计也能为舆情监控、产品口碑分析等实际场景提供参考。1. 用 Python 做微博文本情感分析看着简单一跑就翻车我见过不少团队第一次做微博文本情感分析以为拿到数据调个模型就能出结果最后却卡在数据清洗和评测一致性上。同样是「这电影也太好看了吧」词典法判正面、微调模型判负面两边都有道理落地时到底信谁这类项目真正的难点不在模型选型而在微博短文本、网络用语和标注噪声构成的数据链路。这篇文章按我习惯的落地路径展开从数据获取与清洗、词典基线与特征工程、模型对比到避坑记录和上线前的调优技巧全流程可复现适合有 Python 基础、想认真把这个方向做扎实的开发者。新手能顺着步骤跑通熟手能直接对照参数和边界调整自己的方案。2. 数据还没准备好之前先别碰模型抓取、清洗与词典基线微博情感分析的第一步不是建模而是把文本变成干净的、可重复实验的数据集。这一章做两件事先把微博正文抓下来并清洗到可用状态再快速跑一个词典基线。词典基线看起来原始但它能在一小时内告诉你数据的难度在哪也能给后面的模型效果提供一个对照锚点。2.1 抓取微博正文模拟登录、解析与字段抽取的最小方案微博的数据获取没有官方公开的批量接口常见做法是模拟登录后按关键字搜索或按用户主页时间线抓取。搜索页与移动端页面结构相对稳定我一般用移动端页面来解析因为它比桌面端的动态渲染更简单。下面是一个最小抓取方案重点在正文抽取逻辑import requests import re import json import time session requests.Session() # 登录后从浏览器复制 Cookie 放入下面请求头避免每次重新登录 headers { User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 14_0 like Mac OS X), Cookie: 你的登录Cookie, } def fetch_weibo(keyword, page1): url https://m.weibo.cn/api/container/getIndex params { containerid: f100103type1q{keyword}, page_type: searchall, page: page, } r session.get(url, paramsparams, headersheaders, timeout10) cards r.json().get(data, {}).get(cards, []) results [] for card in cards: mblog card.get(mblog, {}) text_html mblog.get(text, ) # 解析正文去掉 HTML 标签并还原表情为文本 text re.sub(r[^], , text_html) text text.replace(nbsp;, ).replace(quot;, ) results.append({ id: mblog.get(id), text: text, time: mblog.get(created_at), }) return results data fetch_weibo(某品牌的售后服务, page1) print(len(data), data[0][text][:50] if data else 无数据)页面里正文是 HTML 片段的其中表情图片对应的alt文本可能丢失需要单独处理。上面的re.sub会把所有标签去掉因此自定义表情的语义也会被抹掉影响后续情感判断。另一个问题是频率限制移动端接口对单 IP 的访问频率有隐性限制连续快速翻页容易触发验证码。我一般会在每两次请求之间加time.sleep(1.5)并把page参数改成逐步递增的方式避免一次性拉取上百页。字段层面至少需要保留微博id、正文text和发布时间time。转发的微博需要单独判断转发文本里包含//分隔的原始内容情感主体可能不是当前用户写的清洗时要决定是取整条还是只取转发人的评论文本。这两种做法没有绝对对错但要把规则固定下来否则后面模型看到同一句话的两种形态会无所适从。清洗还有一个容易漏的环节HTTP 接口返回的正文里常见的 HTML 实体nbsp;、quot;等需要还原同时去掉#话题#里的内容还是保留它取决于你想不想让模型感知话题。我的经验是保留话题本身但把#符号去掉让「#苹果发布会#」变成「苹果发布会」文本参与分词这样对品牌类情感分析有帮助。2.2 用词典法跑通第一个基线分词、情感词、否定词与程度副词词典法在微博场景里依然有不可替代的价值标注数据少时可以快速估算类别分布模型结果解释不了时可以用词典结果做交叉检查。核心逻辑是把句子切词后匹配情感词典再根据否定词和程度副词调整分数。下面是我常用的实现思路import jieba # 简化的情感词典实际使用可以换成知网Hownet或自行标注扩充 pos_words {好看: 2, 喜欢: 2, 赞: 1.5, 不错: 1.5, 满意: 2} neg_words {差: -2, 垃圾: -3, 失望: -2, 烂: -2, 坑: -1.5} degree_words {很: 1.5, 太: 1.8, 超级: 2.0, 有点: 0.7, 稍微: 0.6} negators {不, 没, 别, 莫} def dictionary_score(text): words jieba.lcut(text) total 0.0 i 0 while i len(words): word words[i] score 0 if word in pos_words: score pos_words[word] elif word in neg_words: score neg_words[word] if score ! 0: # 向前回溯 window 大小内的否定词与程度副词默认回溯 3 个词 window_start max(0, i - 3) for j in range(window_start, i): if words[j] in negators: score -score elif words[j] in degree_words: score * degree_words[words[j]] total score i 1 return total sample 这手机太差了完全不推荐 print(dictionary_score(sample)) # 输出负分否定词回溯窗口window3是词典法最重要的参数。窗口太小会漏掉「一点都不好看」这种距离远一点的否定窗口太大会把相邻句子的否定词错误作用到当前情感词上。微博句子短3是保守值如果是长文本可以适当加大到5但误翻转的风险也随之上升。程度副词的作用方式是把情感词分数做乘法这里需要注意「有点好看」是弱正向直接乘以0.7比加法更符合直觉。词典法给出的分数是一个连续值最终判断正负需要一个阈值。通常以0为分界线但真实数据里大量中性微博会落在0附近导致虚高。我习惯把阈值抬高到0.5低于-0.5才算负向这样能过滤掉一部分噪声。词典法的局限在于网络新词和反讽「这波操作真是绝了」在词典里是正向词实际可能是负向吐槽这个问题在后面的模型方案里需要重点关注。3. 从词典到模型特征表示、模型选型与效果对比词典基线跑通后下一步是让模型接手。模型的优势在于能自动组合上下文信息捕捉「绝了」在不同语境下的情感极性。这一章先讲机器学习方案的完整命令与参数选择再讲预训练模型微调的落地路径以及两者在微博数据上的差距到底在哪。3.1 用 TF-IDF LR 搭建第一个有泛化能力的分类器对于几千条标注数据规模TF-IDF 加逻辑回归是我觉得投入产出比最高的组合。它训练快、可解释性强而且不容易在小数据集上过拟合。特征层面微博文本分词后还需要考虑是否保留 emoji 转义文本比如[泪]这类表情代码它们在分词后会被切成独立 token对情感判断很有价值不要删掉。下面是完整的训练与评估流程带关键参数说明import pandas as pd from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # df 需要包含 text 和 label 两列label 取值为 positive/negative/neutral df pd.read_csv(weibo_sentiment.csv) X_train, X_test, y_train, y_test train_test_split( df[text], df[label], test_size0.2, random_state42, stratifydf[label] ) vectorizer TfidfVectorizer( token_patternr[\u4e00-\u9fa5a-zA-Z0-9], # 只保留中文、字母、数字 ngram_range(1, 2), # 加入二元词组捕获「不推荐」「太差」等组合 min_df2, # 过滤只在一条微博里出现的词 max_features50000, # 控制特征维度上限防止内存爆炸 ) X_train_vec vectorizer.fit_transform(X_train) X_test_vec vectorizer.transform(X_test) model LogisticRegression(C1.0, max_iter1000, class_weightbalanced) model.fit(X_train_vec, y_train) y_pred model.predict(X_test_vec) print(classification_report(y_test, y_pred))token_pattern参数在中文场景经常被忽略默认的正则会把英文单词切得过碎也可能把[泪]拆成括号和文字影响表情特征。中括号的保留方式要看分词策略如果使用 jieba 分词可以先分词再用空格连接最后把token_pattern设为r\S更省心。ngram_range(1,2)值得单独说微博里很多情感表达依赖双词组合只用单字词会让「不是一般的差」被拆成几个中性词模型抓不住否定逻辑。class_weightbalanced是处理类别不平衡的基础手段。微博情感数据里 neutral 往往占比很高如果不设这个参数模型会倾向把所有样本都预测为 neutral整体准确率看着不低但 positive 和 negative 的召回率会很难看。训练完成后我建议先看各类别的 precision 和 recall而不是只看 accuracy。逻辑回归输出的概率值同样有参考价值。预测概率靠近 0.5 的样本通常文本本身就模棱两可Feature 层面无法区分这些样本后续可以考虑做人工复核或者直接划入 uncertain 类别这一点在最后一章会展开说。3.2 用预训练中文模型微调什么时候值得放弃 TF-IDF微博文本里反讽、谐音梗和表情符号复杂组合的场景TF-IDF 会遇到天花板。预训练中文模型能编码上下文语义但代价是训练时间和算力需求都明显上升。如果你的标注数据少于五千条我建议先别急着上大模型而是先把 TF-IDF LR 的 badcase 过一遍看看是特征表达问题还是标注本身有噪声避免用更大的模型去拟合错误标注。如果确定要微调预训练模型最小可跑通的方案如下使用 Hugging Face 的 Trainer 封装from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments from datasets import Dataset tokenizer AutoTokenizer.from_pretrained(bert-base-chinese) # 可替换为其他中文预训练模型 model AutoModelForSequenceClassification.from_pretrained( bert-base-chinese, num_labels3 ) def tokenize_fn(batch): return tokenizer( batch[text], truncationTrue, max_length128, # 微博文本短128 足够覆盖绝大多数样本 paddingmax_length, ) dataset Dataset.from_pandas(df[[text, label]]) dataset dataset.map(tokenize_fn, batchedTrue) training_args TrainingArguments( output_dir./checkpoints, learning_rate2e-5, per_device_train_batch_size16, num_train_epochs3, evaluation_strategyepoch, save_strategyepoch, logging_steps50, ) trainer Trainer( modelmodel, argstraining_args, train_datasetdataset, eval_datasetdataset, # 实际使用时应单独划分验证集 tokenizertokenizer, ) trainer.train()max_length128是微博场景值得强调的参数。微博正文最长 140 字左右加上特殊 token 也不会超过 128设太大会增加计算量且引入无意义的 padding设太小会截断少数长文。learning_rate2e-5是微调常见起点如果 loss 震荡可以降到1e-5如果数据量小到只有两三千条建议把num_train_epochs降到 2并在训练过程中观察验证集 loss避免第二轮开始过拟合。预训练模型相比 TF-IDF 模型的优势主要体现在长距离依赖和复杂句法上。比如「商家态度不错但发货速度太磨人」TF-IDF 会同时激活「不错」和「太」这两个特征整体倾向正向但实际是中性偏负。预训练模型能通过注意力机制感知「但」这个转折把后半句的权重加高。不过这种能力需要数据里有足够多的转折句式才能稳定学到如果标注集里这类样本很少效果也不一定比 TF-IDF 好太多。在算力有限的条件下我建议先用蒸馏后的轻量中文模型或按层裁剪的方式提速而不是直接上最大规模的模型。微博文本的语义密度相对低大模型的增益并不像长文档场景那么明显。最后对比两类模型时不要只看测试集分数要看 badcase 的类型差异TF-IDF 错在哪里、预训练模型又错在哪里这决定了后续优化方向是继续加数据还是调整决策阈值。4. 微博情感分析避坑手册标注、不平衡、短文本与数据泄漏这个方向做得越多越会发现模型不是瓶颈数据质量才是。这一章写我踩过且高频出现的四个坑每条按「现象 → 原因 → 解决」来记录。做过一轮的人看到这些描述大概率会有共鸣新手则能在做之前提前避掉。4.1 标注一致性崩塌同一句话被标成正负两种模型学了个寂寞现象训练集里反复出现相同或高度相似的微博文本label 却一会儿 positive 一会儿 negative。模型训练 loss 降不下去验证集分数一直在及格线附近徘徊。原因标注标准没有定义清楚。最典型的例子是「绝了」「也是醉了」这类反讽词。标注员 A 按字面意思标正向标注员 B 根据使用语境标负向两个人都没错但数据冲突了。微博里还有大量「哈哈哈服务态度真好」这类字面正向但实际吐槽的文本不统一标注口径数据就是一团乱。解决动手标注前先写一页纸的标注规范明确三点反讽和吐槽按真实意图标表情默认参与情感判断歧义样本标 neutral。每批次标注完成后做一致性抽检一般让两个人标注同一批 100 条样本计算简单一致率低于 80% 就回到规范层面讨论分歧。训练前还要对样本做查重完全一致的文本应当保留同一条 label或者直接去重避免模型去记忆单条样本。4.2 类别不平衡加准确率幻觉模型全预测 neutralF1 却没法看现象跑完第一个模型accuracy 显示 78%看起来不错打开分类报告却发现 positive 和 negative 的 recall 只有 0.2 左右。模型基本在摆烂把所有不确定的样本全部丢给了 neutral。原因微博数据天然偏中性。大多数微博是陈述或分享不表达强烈情绪导致 neutral 占比可能超过 60%。在默认阈值下逻辑回归会把概率计算成三分类中的最大值neutral 特征空间大容易占据决策边界。模型从数据里学到「猜 neutral 的错误代价最小」于是放弃了对少数类的判断。解决训练阶段给少数类加权重class_weightbalanced是最省事的做法进阶做法是采用Focal Loss让模型更关注难以分类的正负样本。评估阶段抛弃 accuracy改用 macro-F1 或每类的 F1。决策阶段不要直接 argmax而是对 positive 和 negative 分别设定概率阈值后面第 5 章会详细展开。这个坑的根源是把分类任务当成了「三选一」但实际业务往往只需要「挑出包含强烈情绪的正负样本」。4.3 短文本与网络用语让特征稀疏所有模型都变成瞎子现象词典法对新词完全失效TF-IDF 模型对「yyds」「绝绝子」「破防」这些词返回全零向量预训练模型也偶尔被谐音梗带偏。原因微博文本短、口语化强、新词迭代快。一个词从出现到被情感词典收录有周期语料里如果这类词出现频率低TF-IDF 的min_df2会直接把它过滤掉模型根本看不到这些特征。预训练模型的中文词表虽然覆盖广但对新出现的网络黑话没有专门训练加上分词器会把「yyds」切成字母碎片语义信息被稀释。解决做一轮针对性的词典扩充。把训练集里出现次数大于 3 且模型预测错误的样本收集起来人工检查里是否包含新词把这些新词按情感极性加入自定义词典并在 TF-IDF 向量化之前用 jieba 加载import jieba jieba.load_userdict(weibo_new_words.txt)weibo_new_words.txt每行一个词可附带词频和词性。加载后重新分词再向量化能显著缓解特征稀疏问题。预训练模型那边可以在输入层前做词表扩展但操作成本高我一般只对高频新词做映射替换比如把「yyds」统一替换为「永远的神」让模型复用已有的语义表示。这个方法笨但有效尤其适合情感分析这种对具体词汇敏感的短文本任务。4.4 数据泄漏验证集被「剧透」上线效果直接腰斩现象离线验证集 F1 有 0.82上线后发现新抓取的微博预测效果远不如预期情绪识别率明显下滑badcase 里全是离线评测时没见过的表达方式。原因最常见的数据泄漏发生在按时间划分数据之前就做了全局去重或全局统计特征。比如用全部数据的 TF-IDF 做拟合再随机划分训练集和测试集测试集的特征分布已经被训练阶段偷看过了。其次是标注数据本身存在时间偏差——你标注的是某个月的微博上线时的热点话题完全不同词分布已经漂移。我见过某开发者把微博按周抓取后混在一起随机划分模型记住了时间相关的表述而不是通用的情感模式。解决严格按时间顺序划分数据集。用前 80% 时间段的微博做训练后 20% 做验证模拟真实上线时「用过去预测未来」的场景。代码层面df df.sort_values(time).reset_index(dropTrue) split_idx int(len(df) * 0.8) train_df df.iloc[:split_idx] test_df df.iloc[split_idx:]这里的time字段在抓取阶段就要保留完整时间戳而不是只存日期。另外不要在划分前用 test 集统计词频也不要根据 test 集的表现回头调min_df或max_features。这类参数一旦看过测试集再评测就是自欺欺人。上线后的监控也要按周期重新采样评估集用滚动窗口的方式持续检验模型在时间维度上的泛化能力。5. 让它真的能落地阈值调优与上线前的验证清单模型跑通只是开始落地时真正要做的是把二分类决策边界调准以及建立一套可重复的验证流程。这一章介绍如何用验证集画 PR 曲线选阈值以及上线前需要过一遍的检查项。这一步做扎实了效果比盲目换更大规模的模型要实在得多。5.1 用验证集画 PR 曲线找一个能平衡 precision 和 recall 的阈值三分类模型输出的是每个类别的概率默认 argmax 会强制把所有样本分到某一个类。业务上通常只关心「我该不该处理这条负面」或者「这是不是一条值得转发的正面」所以更合适的做法是对目标类单独设阈值。具体实现如下from sklearn.metrics import precision_recall_curve import numpy as np # y_prob 是模型预测的 negative 类概率y_true 是二值化的标签1 表示 negative precision, recall, thresholds precision_recall_curve(y_true, y_prob_neg) # 选择 recall 不低于 0.7 的最高 precision 阈值 target_recall 0.7 valid_idx recall[:-1] target_recall best_idx np.where(valid_idx)[0][-1] best_threshold thresholds[best_idx] print(f选择阈值: {best_threshold:.4f}, precision: {precision[best_idx]:.4f}, recall: {recall[best_idx]:.4f})PR 曲线比 ROC 曲线更适合情感分析这种类别不平衡的场景因为 ROC 受 neutral 占比影响大容易出现「看起来不错、实际正负类预测很差」的误导。target_recall的设定取决于业务代价如果漏掉一条重要负面微博的代价很高就把目标 recall 提高到 0.8 以上代价是误报会增多如果人工复核资源有限可以降低 recall 保 precision。阈值调完后还要在验证集上模拟线上真实环境。线上不会有训练时那么干净的标签比例所以用阈值决策代替 argmax 后会让一部分原来被分到 neutral 的样本变成 positive 或 negative分布会变化需要重新计算整体准确率和每类的覆盖率。如果发现某个月的数据在阈值下预测结果波动过大说明数据分布不稳定需要在监控和再训练上做预案。5.2 上线前的验证清单从数据到模型的回归检查上线前我会按下面的清单逐项过一遍缺一项都不建议直接部署。这份清单是多次实战后沉淀下来的覆盖数据、模型、代码三个层面。检查项具体操作不过关的后果时间划分验证确认训练集和验证集无跨时间样本离线指标虚高上线效果明显下滑标签一致性抽检随机抽取 200 条验证集样本人工复核评价基准不可靠后续优化方向跑偏新词覆盖率统计模型对近 30 天新词的预测分布网络用语场景大量误判阈值稳定性在连续三周的数据上分别计算最优阈值观察波动阈值定得太死不同时期的表达方式差异被忽略推理耗时上限模拟峰值请求下 P95 推理耗时超过预算则考虑蒸馏或缓存接口超时影响线上体验代码层面的检查容易被忽略确认预处理逻辑在训练和推理时完全一致包括分词词典、ngram_range、token_pattern等参数是不是同一个配置。我见过训练时用了min_df2但推理时重新 fit 了向量器的翻车现场这种问题不会报错只是结果悄悄变差。上线后还要保留原始预测结果的日志包括特征版本、模型版本和预测概率方便后面回溯处理。6. 把置信度落在 0.4~0.6 的样本单独拎出来人工复核让迭代形成闭环模型上线不代表项目结束真正的迭代动力来自那些模型「半信半疑」的样本。我习惯把预测概率在 0.4 到 0.6 之间的预测结果单独拉出来存表每周让运营或标注人员过一遍。这些样本是模型最不确定的区域也是标注规范里最模糊的边缘案例把它们处理干净比随机加一万条低质量标注数据更能提升模型效果。实际操作时可以按概率区间分层抽样0.4~0.45 抽 20 条0.45~0.5 抽 20 条0.5~0.55 抽 20 条0.55~0.6 抽 20 条每周共 80 条人工复核。复核结果如果和模型预测不一致标注人员需要写一句原因是反讽、是专有名词、还是标错了这些原因文本积累起来就能反哺词典扩充和标注规范更新。代码结构很简单关键在于把这个环节固定成周常任务而不是偶尔看两眼。用 Python 做微博文本情感分析走到这一步才算是真正形成了闭环数据抓取与清洗、词典基线、模型训练、阈值调优、人工复核、再训练。每一步都有讲究也都藏着血泪经验。我在这个方向上最深的教训是不要急着换更大的模型先把标注一致性和数据划分做对模型效果自然会上一个台阶。希望帮到你。本文还有配套的精品资源点击获取