教程机器学习深度学习【免费下载链接】thereisnospoonA machine learning primer built from first principles. For engineers who want to reason about ML systems the way they reason about software systems.项目地址https://gitcode.com/gh_mirrors/th/thereisnospoon点击查看免费下载正在构建机器学习系统时很多人把精力花在选哪个模型上却忽略了更前置的一步数据要先进入正确形状。There Is No Spoon 是一个从第一性原理构建的机器学习入门项目面向工程师讲解如何像推理软件系统一样推理 ML 系统其中 ml-primer.md 的 Encoding 章节把分词器、图像 patch、多模态对齐讲得尤其透彻——这篇专题带你完整读懂它。为什么形状决定模型上限编码器的三个核心决策在 There Is No Spoon 的心智模型里编码器把原始数据转换成下游架构能操作的向量格式它决定了模型的能力天花板——模型只能从编码器保留下来的信息中学习ml-primer.md#L498-L504。选编码器之前要先回答三个问题决策含义典型例子什么是一个元素粒度granularity词子词像素16×16 的 patch每个元素的向量捕捉什么原始信号 vs 上下文化表示原始像素 vs 语义化 token 嵌入保留了哪些结构信息顺序、邻接关系、层级文本顺序、图像空间邻接、分子拓扑项目有一句非常关键的设计原则ml-primer.md#L504编码器必须保留你需要的东西而这个判断要在选编码器之前做而不是之后。一个为某个目标预训练的编码器可能会主动销毁另一个任务所需的信息。有了端到端训练梯度会告诉编码器下游到底需要什么没有端到端训练你就是在手工雕琢一个接口。完整的主题地图见 SYLLABUS.md其中 Encoding: Getting Data Into the Right Shape 一节明确把编码器与架构的配对视为联合设计决策SYLLABUS.md#L82-L86。文本如何进入正确形状分词器把字符串变成向量序列文本模态的标准流程是ml-primer.md#L507原始文本 ──分词器(BPE/WordPiece/SentencePiece)── 子词 token 序列 └── 每个 token 查学习到的嵌入表 ── 向量序列 → Transformer三个工程要点子词分词BPE、WordPiece、SentencePiece把开放词表问题变成有限词表同时保留构词能力未登录词也不会 OOV。分词方式决定模型看得见什么unhappy是一个 token还是unhappy两个 token前者模型只能把它当整体处理后者前缀结构可见组合语义才有可能被学习。代码等结构化文本需要专门照顾好的分词器要能保留缩进、不拆开关键字ml-primer.md#L656 的代码生成实战案例。Token 嵌入之后token 之间的关系靠点积对齐来表达——两个向量越同向语义越相关。这正是分词器 嵌入表 注意力能组合出语义理解的最小闭环。图像如何进入正确形状像素网格与图像 Patch 两种路线图像有两条主流路线对应两种归纳偏置ml-primer.md#L508路线元素定义匹配架构隐含假设像素网格每个像素含局部邻域CNN局部性 平移不变性图像 patch16×16 像素块投影成一个向量ViTVision Transformerpatch 之间靠注意力动态路由图像 patch 是粒度权衡16×16 是业界标准值。patch 太大 → 细粒度信息在投影时就被丢掉patch 太小 → 序列长度暴涨attention 的二次方成本失控。一个实用的混合做法ml-primer.md#L695ViT 用卷积做 patch embedding 负责局部再用 attention 负责 patch 间的全局路由——每一层用最便宜的操作捕捉该层级的结构。多模态对齐投影容易对齐才是难的部分给系统加一个新模态文本 图像、代码 文档这是一个编码器问题不是架构问题——核心模型通常不变ml-primer.md#L770-L779。难点在于ml-primer.md#L512投影是容易的每个模态一个 adapter投影到共享维度即可。对齐是难的如何保证语义匹配的跨模态输入落在共享空间的同一区域对比学习提供对齐信号CLIP 式训练把匹配对拉近、不匹配对推远这是让不同模态说同一种向量语言的梯度来源。落地形态GPT-4o、Gemini 这类系统就是把多个对齐后的编码器喂进同一个共享 Transformer。对齐之后FFN 层在共享表示空间里做容积式查表应用存储的知识——模态差异被抹平为统一的向量几何ml-primer.md#L472-L480。一张表总结四种模态的编码器选择模态编码器方案关键权衡易踩的坑文本子词分词BPE 等 学习嵌入词表大小 vs 组合可见性关键字被拆开、顺序信息丢失图像CNN 用像素网格ViT 用 16×16 patchpatch 粒度 vs 序列成本patch 过粗丢细节音频转频谱图时间-频率图像 卷积前端或 patch 嵌入时间分辨率 vs 频率分辨率把波形直接当一维序列图结构定义节点/边/特征结构本身就是编码需要领域知识特征选错 → 天花板锁死依据 ml-primer.md#L506-L510 与各模态实战案例 ml-primer.md#L610-L685动手之前记住的 3 条核心原则先定要保留什么再选编码器——编码器决定模型上限事后补救代价最高。编码器与架构是联合设计决策卷积要局部性attention 要内容动态路由patch 大小直接改写两者的工作分工。优先端到端训练让梯度替你回答下游需要什么否则多模态对齐、编码器-模型接口都是在手工雕琢。想更深入把 ml-primer.md 交给你的 AI 编程助手围绕 Encoding 一节对话式探索是这个项目推荐的学法README.md How to Use This。延伸阅读项目内相关资料教程正文本专题核心来源ml-primer.md完整主题地图SYLLABUS.md注意力机制可视化脚本scripts/05_attention_mechanism.pyFFN 容积式查表脚本scripts/06_ffn_volumetric.py点积对齐脚本scripts/09_dot_product.py组合规则对比脚本scripts/12_combination_rules.py项目介绍与阅读建议README.md赞分享教程机器学习深度学习【免费下载链接】thereisnospoonA machine learning primer built from first principles. For engineers who want to reason about ML systems the way they reason about software systems.项目地址https://gitcode.com/gh_mirrors/th/thereisnospoon点击查看免费下载相关推荐告别错位图像Kornia多模态数据空间对齐实战指南告别错位图像Kornia多模态数据空间对齐实战指南 你是否还在为红外与可见光图像的边缘错位烦恼医疗影像中CT与MRI的解剖结构无法精准重叠工业检测时产品多计算机视觉深度学习人工智能图像处理创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考