文章目录它在做什么它和微调的关系为什么现在大模型都靠预训练和词向量的区别Word2Vec为什么算预训练和现在说的“预训练模型”有什么区别一、预训练1.1 图像领域的预训练1.2 预训练的思想预训练就是先在海量数据上让模型学会通用语言规律和世界知识形成一套可复用的参数基础之后再通过微调或提示让它适配具体任务。它在做什么预训练阶段通常用互联网文本、书籍、论文、代码等海量无标注数据让模型做“预测下一个词”或“补全被遮住的词”这类自监督任务。 模型不需要人工标注答案而是从数据本身学习语法结构词与词之间的关系常识和事实基本推理模式代码、数学、多语言等能力所以预训练不是教模型做某一件具体任务而是让它先具备“通用能力”。它和微调的关系阶段数据目标预训练海量通用数据学语言规律、常识、通用表示微调少量任务数据让模型适配分类、问答、客服等具体任务RAG外部知识库不改模型检索信息后再生成答案可以把预训练理解成“大学通识教育”微调是“岗前培训”RAG是“考试时允许查资料”。为什么现在大模型都靠预训练因为预训练能学到很强的通用表示后续任务不需要从零开始训练。 它带来的好处是少数据也能用好模型很多任务只需要少量标注数据微调即可。迁移能力强同一套预训练模型可以用于分类、翻译、问答、生成等多种任务。训练效率更高相比从头训练预训练微调通常收敛更快、效果更好。和词向量的区别Word2Vec、GloVe 那种静态词向量也可以看作早期预训练BERT、GPT 则是更复杂的上下文预训练。 区别在于词向量一个词只有一个固定向量。预训练语言模型同一个词在不同句子里会得到不同向量因为它会结合上下文理解。一句话概括预训练负责让模型“变聪明”微调负责让它“会干活”。Word2Vec 完全符合“预训练”的定义先在大规模无标注文本上独立训练学到通用语义表示再把它用到具体下游任务里。Word2Vec为什么算预训练它不是在目标任务上直接训练的Word2Vec 用的是海量普通文本比如新闻、百科、网页语料而不是情感分类、NER、问答这类具体任务的数据。它的训练目标是自监督的CBOW 用上下文预测中心词Skip-gram 用中心词预测上下文。它不需要人工标注靠文本自身的共现关系就能学习。它产出的是一个通用表示训练完成后真正被留下使用的是那张词向量矩阵。下游模型拿到的就是每个词的通用向量。它可以被“迁移”到别的任务下游任务通常有两种用法冻结把 Word2Vec 向量当作固定特征微调让向量随下游任务继续更新。和现在说的“预训练模型”有什么区别对比点Word2VecBERT / GPT输出静态词向量上下文相关表示多义词无法区分可以区分粒度词级别句子/段落级别下游用法初始化 Embedding 或当特征微调整个模型所以Word2Vec 是早期、浅层、词级别的预训练BERT、GPT 是深层、上下文感知、任务通用的预训练语言模型。一句话Word2Vec 之所以叫预训练是因为它先把“词的通用语义”学出来再让下游任务直接使用或继续微调。一、预训练1.1 图像领域的预训练在介绍图像领域的预训练之前我们首先介绍下卷积神经网络CNNCNN 一般用于图片分类任务并且CNN 由多个层级结构组成不同层学到的图像特征也不同越浅的层学到的特征越通用横竖撇捺越深的层学到的特征和具体任务的关联性越强人脸-人脸轮廓、汽车-汽车轮廓如下图所示由此当领导给我们一个任务阿猫、阿狗、阿虎的图片各十张然后让我们设计一个深度神经网络通过该网络把它们三者的图片进行分类。对于上述任务如果我们亲手设计一个深度神经网络基本是不可能的因为深度学习一个弱项就是在训练阶段对于数据量的需求特别大而领导只给我们合计三十张图片显然这是不够的。虽然领导给我们的数据量很少但是我们是否可以利用网上现有的大量已做好分类标注的图片。比如 ImageNet 中有 1400 万张图片并且这些图片都已经做好了分类标注。上述利用网络上现有图片的思想就是预训练的思想具体做法就是通过 ImageNet 数据集我们训练出一个模型 A由于上面提到 CNN 的浅层学到的特征通用性特别强我们可以对模型 A 做出一部分改进得到模型 B两种方法冻结浅层参数使用模型 A 的参数高层参数随机初始化浅层参数一直不变然后利用领导给出的 30 张图片训练参数微调浅层参数使用模型 A 的参数高层参数随机初始化然后利用领导给出的 30 张图片训练参数但是在这里浅层参数会随着任务的训练不断发生变化通过上述的讲解对图像预训练做个总结可参照上图对于一个具有少量数据的任务 A首先通过一个现有的大量数据搭建一个 CNN 模型 A由于 CNN的浅层学到的特征通用性特别强因此在搭建一个 CNN 模型 B其中模型 B 的浅层参数使用模型 A 的浅层参数模型 B 的高层参数随机初始化然后通过冻结或微调的方式利用任务 A 的数据训练模型 B模型 B 就是对应任务 A 的模型。1.2 预训练的思想有了图像领域预训练的引入我们在此给出预训练的思想任务 A 对应的模型 A 的参数不再是随机初始化的而是通过任务 B 进行预先训练得到模型 B然后利用模型 B 的参数对模型 A 进行初始化再通过任务 A 的数据对模型 A 进行训练。注模型 B 的参数是随机初始化的。参考链接https://www.cnblogs.com/nickchen121/p/16470569.html