一、数据采集与获取数据来源分类公开数据集ImageNet、COCO、Common Crawl、Wikipedia等业务系统日志与数据库埋点日志、交易记录、用户行为第三方数据采购与API接入数据供应商、开放平台爬虫采集与网络抓取网页、社交媒体、论坛人工采集与众包平台Amazon MTurk、标注外包团队合成数据生成3D渲染、规则模板、大模型生成采集策略设计样本均衡性规划类别分布设计、长尾问题预判、少数类补采方案采集规模估算统计学样本量计算、幂律分布下的最小有效样本采集规范制定格式标准、分辨率要求、语言范围、场景覆盖、拍摄/录入规范伦理审查与授权协议知情同意、数据使用范围、删除权约定数据格式基础结构化CSV、JSON、Parquet、SQL、Excel非结构化文本TXT、PDF、Word、图像JPG、PNG、音频WAV、MP3、视频MP4、AVI半结构化XML、HTML、日志文件、JSON Lines 二、数据探索与可视化分析EDA—— 数据处理的第一步核心原则先看懂数据再动手处理。EDA的输出是后续所有处理决策的依据。1. 描述性统计数值型字段均值、中位数、众数、标准差、方差、四分位数、极值、峰度、偏度分类型字段类别数量、频次分布、众数、唯一值占比、低频类别识别时间型字段时间跨度、采样频率、趋势方向、季节性模式2. 分布可视化直方图 / 核密度估计图KDE观察数值分布形态正态、偏态、长尾、多峰箱线图Box Plot快速定位离群点、观察四分位距、识别分布偏斜饼图 / 柱状图 / 帕累托图查看类别占比、识别类别不平衡程度时间序列图观察趋势、周期性、异常时间点、数据断档QQ图检验数据是否符合正态分布假设3. 质量诊断可视化缺失值热力图 / 条形图哪些字段缺失、缺失比例、缺失是否有规律随机缺失/整块缺失/系统性缺失重复样本统计精确重复率、模糊重复相似度阈值检测异常值散点图 / 孤立森林可视化二维/三维散点观察离群簇数据一致性矩阵跨字段逻辑一致性检查如年龄5但职业工程师4. 关联与结构分析相关性矩阵热力图Pearson/Spearman特征之间、特征与标签之间的线性/单调相关性交叉透视表Pivot Table多维度组合下的分布如年龄段×城市×购买率共线性检测VIF值识别高度冗余的特征特征重要性初探随机森林/卡方检验哪些字段与目标变量关联最强5. 业务语义探索随机抽样人工审阅随机抽取100-500条样本肉眼过一遍发现规范文档里写不到的问题边界案例识别找出模糊、有争议、难以判断的样本这些往往是标注规范的难点领域专家访谈结合业务知识验证数据分布是否符合真实世界规律6. EDA输出与后续决策映射EDA发现触发的后续动作某类别样本量10条决定补采、过采样或合并类别缺失值集中在某时间段怀疑采集系统故障决定删除该时段或单独处理标签与某特征相关系数0.9怀疑数据泄露决定剔除该特征或排查采集逻辑发现30%精确重复样本清洗阶段制定去重规则保留/合并/删除边界案例密度15%标注规范需要重点写模糊场景处理原则数据分布与业务预期严重不符反馈采集团队检查采集逻辑是否有偏某字段90%为同一值判断为低信息增益字段考虑删除时间序列存在明显断档检查采集中断原因决定是否插值或分段处理 三、数据清洗与预处理基于EDA的诊断报告制定清洗策略。质量诊断EDA的延续与细化完整性检查缺失值、空字段、断链数据、空文件一致性检查格式统一日期格式、编码UTF-8、时区统一、单位统一、命名规范准确性检查异常值、离群点、逻辑矛盾、非法字符、乱码时效性检查数据过期、版本迭代、历史数据失效清洗技术缺失值处理删除缺失比例50%的字段/样本填充均值/中位数/众数填充、前向/后向填充、插值线性/样条、模型预测填充KNN/MICE标记保留原值缺失状态新增是否缺失指示特征异常值处理检测方法箱线图IQR法则、3σ原则、Z-Score、孤立森林Isolation Forest、LOF处理方式删除、截断Winsorize、替换、单独分箱重复去重精确匹配去重MD5/SHA256哈希模糊匹配去重编辑距离、SimHash、MinHash、余弦相似度业务规则去重同一用户5分钟内重复提交算一次噪声过滤数值噪声平滑处理移动平均、指数平滑、中值滤波图像噪声高斯滤波、双边滤波音频噪声谱减法、维纳滤波文本噪声去除乱码、HTML标签、特殊符号、统一全半角预处理标准化数值标准化Min-Max归一化0-1、Z-Score标准化、Robust标准化抗离群点类别编码One-Hot编码、Label Encoding、Target Encoding、Ordinal Encoding文本预处理分词中文jieba/英文NLTK、去停用词、大小写统一、词干提取/词形还原、TokenizationBPE/WordPiece图像预处理裁剪、缩放保持长宽比、色彩空间转换RGB↔灰度、直方图均衡化音频预处理重采样统一采样率、预加重、分帧加窗、静音切除时间序列重采样、滑动窗口、差分平稳化、趋势分解 四、特征工程将清洗后的原始数据转化为模型可高效学习的特征表示。特征构建Feature Construction统计特征计数、求和、均值、最大最小值、标准差、分位数基于时间窗口或分组交叉特征两个或多个特征的组合如性别×年龄段、“城市×季节”多项式特征特征的平方、立方、交互项提升非线性表达能力时间特征年/月/日/小时/星期/季度/节假日标记、距离某个事件的天数地理特征经纬度距离、行政区划层级、POI密度文本特征TF-IDF、词频统计、N-gram、主题模型LDA、情感得分图像特征颜色直方图、HOG、SIFT、ORB传统方法深度学习时代较少手工提取特征变换Feature Transformation分布变换对数变换log1p、Box-Cox变换、Yeo-Johnson变换处理偏态分布离散化/分箱等宽分箱、等频分箱、基于决策树的最优分箱降维PCA线性、t-SNE/UMAP非线性可视化、自动编码器特征哈希Feature Hashing高维类别特征的降维映射特征选择Feature Selection过滤法Filter方差阈值、卡方检验、互信息、F检验、相关系数包装法Wrapper递归特征消除RFE、前向/后向选择嵌入法EmbeddedL1正则化Lasso自动稀疏化、树模型的特征重要性、SHAP值维度灾难防控特征数样本数时的处理策略️ 五、数据标注与加工为监督学习准备答案。标注质量直接决定模型上限。标注类型体系分类标注二分类、多分类、层次分类、多标签分类序列标注命名实体识别NER、词性标注POS、语义槽填充边界标注目标检测框Bounding Box、关键点检测像素级标注语义分割、实例分割、全景分割关系标注实体关系抽取、事件抽取、知识图谱三元组生成标注文本摘要、机器翻译、对话回复、代码生成排序标注搜索结果相关性排序、推荐列表排序偏好标注RLHF中的chosen/rejected对、 pairwise比较标注流程管理标注规范文档Annotation Guideline编写定义标签含义、边界案例处理、优先级规则、常见错误示例标注工具选型图像LabelImg、LabelMe、CVAT文本Doccano、Brat、Prodigy通用LabelStudio支持多模态语音Praat、ELAN标注任务拆分与批次管理按难度分层、按领域分组、控制单批次工作量标注员培训与试标校准试标→反馈→修正→正式标多轮标注与一致性对齐疑难样本进入专家复核轮标注质量指标Inter-Annotator AgreementIAA标注员间一致性Cohen’s Kappa两名标注员、Fleiss’ Kappa多名标注员Krippendorff’s Alpha可处理缺失值、支持多种数据类型准确率与黄金标准集对比 六、数据增强与扩充在有限数据上创造更多学习素材提升模型泛化能力。传统增强方法图像水平/垂直翻转、随机旋转、随机裁剪、色彩抖动亮度/对比度/饱和度、高斯噪声、MixUp、CutMix、Cutout文本同义词替换WordNet、回译中→英→中、随机插入/交换/删除、EDAEasy Data Augmentation、Contextual Word Embeddings替换音频变速Time Stretch、变调Pitch Shift、加噪、时间拉伸、 SpecAugment时频掩蔽表格SMOTE过采样少数类、ADASYN、高斯扰动智能增强方法基于模型的增强用GPT生成伪标签数据半监督学习用GAN/VAE生成合成样本用EDA发现的数据模式生成规则化样本自动增强策略AutoAugment强化学习搜索最优增强策略组合RandAugment简化版随机选择N个操作各应用M次TrivialAugment更简化的随机单操作对抗训练生成对抗样本FGSM、PGD提升模型鲁棒性对比学习增强为SimCLR、MoCo等设计特定的正样本对构造方式合成数据3D渲染合成Unity、Unreal Engine生成带精确标注的图像/视频规则模板生成表格数据、结构化日志、表单数据大模型生成用LLM生成SFT指令数据、用Diffusion生成训练图像隐私保护合成差分隐私下的合成数据如SDV库✅ 七、数据质检与验证确保处理后的数据达到可训练标准。质量评估维度准确性标注与真实值的一致性、清洗是否引入新错误完整性覆盖度、缺失率、关键字段是否齐全一致性内部逻辑一致性、跨批次一致性、时间一致性代表性分布是否与目标推理场景匹配训练集≠测试集分布是灾难时效性数据是否反映当前业务状态质检方法论人工抽检随机抽样、分层抽样按类别/时间段分层、系统抽样交叉验证多标注员交叉审核、专家复核机制自动化质检规则引擎正则表达式、逻辑校验、范围检查模型辅助质检用已有模型预测→高置信度错误样本人工复核异常检测模型自动标记离群样本黄金标准集Golden Set一小批经专家多次确认的完美样本作为质检基准偏差检测与公平性样本偏差类别不平衡、选择偏差采样框偏差、幸存者偏差标注偏差确认偏误、锚定效应、光环效应、疲劳导致的后期标注质量下降文化/群体偏差地域偏见、性别偏见、种族偏见、语言偏见时间偏差概念漂移Concept Drift、季节性偏差 八、数据存储与管理存储架构对象存储AWS S3、阿里云OSS、MinIO、Ceph适合非结构化大文件分布式文件系统HDFS、Lustre、GPFS适合大规模训练集群数据库关系型PostgreSQL、MySQL元数据、标注结果NoSQLMongoDB灵活Schema、Elasticsearch检索向量数据库Milvus、Pinecone、Weaviate语义检索、RAG数据湖/湖仓一体Delta Lake、Apache Iceberg、Apache Hudi支持版本控制、ACID事务版本与血缘管理数据版本控制DVCData Version Control、LakeFS、Git LFS数据血缘追踪记录数据从采集→清洗→标注→增强的完整转换链路标注版本管理支持标注规范的版本迭代、历史标注结果回滚实验-数据关联每条训练实验关联到具体使用的数据集版本可复现性元数据管理Schema定义与约束字段类型、取值范围、必填规则标签体系与检索索引支持按标签、时间、来源、质量评分快速检索数据统计画像Data Profiling自动化的字段统计、分布快照数据目录Data Catalog数据资产的可视化目录与权限管理 九、数据安全与合规隐私保护技术数据脱敏掩码手机号138****1234泛化年龄28→年龄段20-30扰动加噪声拉普拉斯/高斯噪声假名化用Token替换真实IDK-匿名、L-多样性、T-接近性差分隐私Differential Privacy在查询结果中加入可控噪声保护个体隐私联邦学习数据不出本地只交换模型参数/梯度合规框架中国《个人信息保护法》、《数据安全法》、《网络安全法》、《生成式人工智能服务管理暂行办法》国际GDPR欧盟、CCPA加州、HIPAA医疗、COPPA儿童行业规范金融数据征信、反洗钱、医疗数据病历、影像、教育数据学籍、成绩安全操作实践访问控制RBAC基于角色、ABAC基于属性、最小权限原则数据加密传输层TLS/SSL、存储层AES-256、字段级加密审计日志谁、何时、访问了哪些数据、做了什么操作数据分级分类公开/内部/机密/绝密不同级别不同处理策略 十、多模态数据处理特化文本数据语料构建去重MinHash/LSH、去噪低质量过滤、质量评分困惑度/语言模型打分指令微调数据IFTPrompt设计任务描述清晰、上下文充分、输出格式明确CoTChain-of-Thought构造推理步骤拆解拒绝能力数据有害请求的正确拒绝回复RLHF数据偏好对chosen vs rejected、排序标注K-wise多语言处理翻译对齐平行语料、代码切换检测、低资源语言增强图像/视频数据图像质量评估清晰度拉普拉斯方差、曝光度、构图、分辨率、压缩伪影视频处理关键帧提取、镜头边界检测、时序标注动作起止时间、光流分析OCR数据文字检测框标注、文本识别转写、版面分析医学影像DICOM格式处理、窗宽窗位调整、多切片配准语音数据ASR自动语音识别音频转写、时间戳对齐字级别/词级别、说话人分离DiarizationTTS语音合成音素标注、韵律标注停顿、重音、情感风格标注声纹识别说话人身份标注、跨信道匹配语音增强降噪、去混响、语音活动检测VAD多模态对齐图文对齐图像-文本对Image-Text Pair、CLIP风格的对比学习数据音视频同步唇形-语音同步校验、时间轴对齐多模态标注视频中的画面内容语音内容字幕的统一标注 数据处理全流程总览┌─────────────────────────────────────────────────────────────┐ │ 1. 数据采集与获取 → 拿到原始数据 │ │ 2. 数据探索与可视化分析EDA→ 先看懂数据输出诊断报告 │ │ 3. 数据清洗与预处理 → 基于EDA结果解决质量问题 │ │ 4. 特征工程 → 将清洗后的数据转化为模型友好的表示 │ │ 5. 数据标注与加工 → 为监督学习准备标签 │ │ 6. 数据增强与扩充 → 在有限数据上提升多样性 │ │ 7. 数据质检与验证 → 确保数据达到可训练标准 │ │ 8. 数据存储与管理 → 版本化、可追溯、可检索 │ │ 9. 数据安全与合规 → 隐私保护与法律合规 │ │ 10. 多模态特化处理 → 针对不同模态的专项处理 │ └─────────────────────────────────────────────────────────────┘️ 常用工具栈速查环节工具EDA/可视化Pandas、Matplotlib、Seaborn、Plotly、YData-Profiling、SweetViz数据处理Pandas、Polars、PySpark、Dask、NumPy特征工程Scikit-learn、Feature-engine、TSFresh时序、AutoFeat标注工具LabelStudio、Doccano、CVAT、Prodigy、LabelImg数据增强Albumentations图像、NLPAug文本、Audiomentations音频质量监控Great Expectations、Evidently、WhyLogs、Deequ版本管理DVC、LakeFS、Git LFS、Pachyderm分布式存储HDFS、MinIO、Ceph、Alluxio向量数据库Milvus、Pinecone、Weaviate、Chroma、Qdrant