1. 大模型算法岗到底在做什么为什么薪资能拉开这么大差距先把一个误区掰正很多人一听“大模型算法工程师”脑子里浮现的是那种在实验室里推导公式、发顶会论文的科研人员。实际上市面上绝大多数招聘JD里写的大模型算法工程师做的是工程落地——把已经训练好的基座模型通过微调、RAG、Agent编排等手段塞进具体业务场景里跑起来并且跑得稳、跑得省、跑得让老板觉得值。这个岗位的薪资跨度极大从月薪两万出头到年薪百万都有差距不在“会不会调API”而在于你能不能独立扛住一条从数据到上线的完整链路。我见过太多人学了几个月LangChain简历上写了三四个RAG项目面试一问“你的召回率怎么评估的”“chunk size为什么选512而不是256”直接卡壳。这就是分水岭。1.1 这个岗位的核心职责拆解大模型算法工程师的日常工作大致可以分成四块不同公司侧重点不同但基本都绕不开模型选型与评测不是哪个模型火就用哪个。你得根据业务场景的延迟要求、成本预算、私有化需求、中文能力、函数调用能力等维度做横向对比。比如做客服场景Qwen系列的中文对话能力通常比同尺寸的Llama系更稳做代码生成DeepSeek-Coder系列在特定benchmark上表现突出。选型这件事拍脑袋和有理有据地选结果差很远。微调与对齐全量微调、LoRA、QLoRA、DPO、SFT这些词你都得知道什么时候用哪个。数据量少、显存有限LoRA是首选需要深度改变模型行为风格SFT数据质量比数量重要十倍想让模型输出更符合人类偏好DPO比RLHF工程复杂度低得多。RAG与知识增强这是目前落地最广的方向。企业私有知识库、文档问答、客服机器人底层几乎都是RAG。但RAG不是“向量库LLM”这么简单chunk策略、embedding模型选择、召回重排、上下文压缩每一步都有坑。Agent编排与工具调用让模型不只是回答问题还能调用外部工具、查数据库、执行多步推理。这块是当前最热的方向也是面试区分度最高的地方。1.2 薪资分层的真实逻辑我拿几个真实的市场数据来说以一线城市为参考二线打七到八折层级经验要求月薪范围核心能力要求初级0-2年20K-35K会调API、能跑通RAG demo、了解基本微调流程中级2-4年35K-60K独立负责RAG/Agent模块、能优化召回和延迟、有上线经验高级4-7年60K-90K主导技术选型、带小团队、能处理复杂业务场景的端到端方案专家/负责人7年以上90K-150K定义技术路线、跨部门协调、对业务结果负责注意这个表里的“经验”不是混日子的年限。我见过两年经验拿到60K的也见过五年还在30K徘徊的。区别在于前者做过至少一个完整的从0到1的落地项目能说清楚每个技术决策背后的权衡后者一直在做边角料的调参和打杂。1.3 为什么现在入行还来得及有人觉得大模型已经火了两年多现在进去是不是太晚了。我的判断是远没到饱和。原因很简单——真正能把大模型落地到业务里产生价值的人太少了。市面上大量“AI工程师”停留在调API和写prompt的阶段一旦业务要求私有化部署、要求微调、要求Agent多步推理的稳定性能接住的人屈指可数。而且大模型正在从“通用对话”向“行业纵深”走。医疗、法律、金融、制造每个垂直领域都需要既懂大模型技术又懂行业知识的人。这个缺口不是几个月能填上的。2. 从零到一的技术学习路线别被“先学数学”劝退网上很多学习路线一上来就是“先补线性代数、概率论、微积分”然后劝退一大半人。我的观点很明确如果你目标是做应用落地不需要从数学开始。你需要的是理解概念、会调工具、能排查问题数学可以在遇到瓶颈时再补。2.1 第一阶段建立直觉别急着写代码这个阶段的目标是“知道大模型能干什么、不能干什么”。具体做法把主流大模型的API都注册一遍免费额度够你玩很久。DeepSeek、Qwen、GLM、Kimi、豆包每家都试试感受一下不同模型在同一个问题上的回答差异。用现成的平台搭一个最简单的RAG。Dify、Coze、FastGPT这些低代码平台半小时就能搭出一个文档问答机器人。先感受“能用”是什么样再去研究“为什么能用”。读几篇高质量的综述。不是让你读论文原文而是找那种带图解的中文解读。重点理解Transformer的基本结构、Attention机制在干什么、Token是什么、上下文窗口是什么意思。这个阶段大概花一到两周不需要写超过50行代码。2.2 第二阶段动手写从RAG开始RAG是目前最适合入门的实战项目因为它涉及了大模型应用的核心环节文本处理、向量化、检索、生成。而且RAG的每个环节都可以独立优化方便你逐步深入。我建议的RAG学习路径最简版本用LangChain或LlamaIndex加载一个PDF切分存入Chroma检索丢给LLM回答。这个版本大概100行代码跑通就行。加评估引入RAGAS或自己写评估脚本用召回率、准确率、忠实度等指标量化效果。这一步是区分“玩具项目”和“能写进简历的项目”的关键。优化chunk策略试试固定长度切分、按段落切分、按语义切分对比效果。你会发现chunk size从512调到256召回率可能差十几个百分点。加重排引入BGE-Reranker或Cohere Rerank先粗召回再精排。这一步通常能把准确率再拉高10%-20%。换embedding模型对比BGE、M3E、GTE等中文embedding模型的效果。别小看这个选择embedding模型选错了后面怎么调都白搭。走完这五步你对RAG的理解就超过市面上80%的“调包侠”了。2.3 第三阶段微调从LoRA开始微调不是必须的很多场景RAG就够了。但如果你想让模型学会特定的输出格式、特定的语气风格、或者特定的领域术语微调是绕不开的。入门微调我建议从LoRA开始理由是显存需求低一张24G的卡就能跑7B模型的LoRA微调、训练速度快、效果在多数场景下够用。具体操作流程数据准备这是最耗时的环节。你需要准备至少几百条高质量的指令-回答对。数据质量比数量重要100条精标数据往往比1000条脏数据效果好。基座选择7B级别推荐Qwen2.5-7B或GLM-4-9B中文能力强社区资源多。训练框架LLaMA-Factory是目前最省心的选择配置文件改几个参数就能跑。想深入理解底层可以用PEFTTransformers自己写训练循环。关键参数LoRA的rank通常设8-64alpha设rank的两倍学习率1e-4到5e-4epochs 2-5。这些不是死规矩但作为起点不会错太远。评估别只看loss曲线。准备一个测试集对比微调前后模型在目标任务上的表现。我见过loss降得很漂亮但实际效果变差的案例原因是过拟合了。2.4 第四阶段Agent当前最值钱的方向Agent的本质是让LLM具备“规划-执行-反思”的能力。最简单的Agent就是一个ReAct循环模型思考下一步做什么调用工具观察结果继续思考直到任务完成。入门Agent建议从以下几个方向选一个练手多工具调用Agent给模型几个工具搜索、计算器、天气API让它根据用户问题自主选择调用。这个项目能让你理解function calling的机制。多Agent协作用AutoGen或CrewAI搭一个“研究员写手审核员”的协作流程。这个项目能让你理解Agent之间的通信和任务分配。RAGAgent把RAG作为Agent的一个工具让Agent自主决定什么时候查知识库、什么时候直接回答。这是目前企业落地最常见的形态。Agent开发的核心难点不在代码在于稳定性。模型可能不按预期调用工具、可能陷入循环、可能返回格式错误的结果。你需要设计好兜底逻辑和重试机制。3. 面试到底问什么怎么准备才能不卡壳大模型算法岗的面试和传统算法岗有明显区别。传统算法岗重刷题和八股大模型岗更看重项目深度和系统设计能力。刷题当然要刷但权重没那么高。3.1 高频面试题分类我把近一年见过的面试题大致分成四类第一类基础概念Transformer的Self-Attention计算过程为什么要除以根号d_kKV Cache是什么为什么能加速推理LoRA的原理为什么能减少可训练参数RAG的完整流程每个环节可能的问题这类题不难但要求你答得准确、简洁。别背长篇大论用一两句话说清楚核心就行。第二类项目深挖这是区分度最高的环节。面试官会盯着你简历上的项目问你的RAG系统召回率多少怎么评估的chunk size为什么选这个值试过其他值吗效果差多少微调数据怎么构造的多少条怎么保证质量Agent的工具调用失败率多少怎么处理的如果你只是跑通了demo这些题一个都答不上来。准备方法很简单把你项目里的每个技术决策都问自己三遍“为什么”直到你能说出至少两个备选方案和选择当前方案的理由。第三类系统设计典型题目“设计一个企业级文档问答系统要求支持多格式文档、权限控制、高并发。”这类题考察的是工程思维。你需要考虑文档解析用什么方案PDF、Word、Excel分别怎么处理向量库选型Milvus、Qdrant、PGVector各自的适用场景权限控制怎么做元数据过滤还是分库缓存策略哪些环节可以缓存怎么保证一致性监控和降级模型超时怎么办怎么灰度发布第四类场景题“用户反馈RAG系统回答不准确你怎么排查”这类题没有标准答案考察的是排查思路。我通常会从这几个维度回答先看是召回问题还是生成问题——把召回的文档单独拿出来看如果召回的内容就不对那是检索环节的问题如果召回对了但回答错了那是生成环节的问题。召回问题再细分是embedding模型不行还是chunk切得不好还是query本身有歧义。生成问题再细分是prompt没写好还是上下文太长导致模型忽略关键信息还是模型本身能力不够。3.2 简历怎么写才有面试机会我帮朋友改过几十份简历最常见的毛病是写了一堆技术栈但看不出做了什么。反面例子“使用LangChain、Chroma、GPT-4搭建RAG问答系统。”正面例子“针对企业客服场景搭建RAG问答系统通过语义chunk切分BGE-Reranker重排将Top-5召回率从72%提升至89%引入缓存和流式输出P99延迟从4.2s降至1.8s上线后人工客服转接率下降35%。”区别在哪后者有场景、有动作、有数据、有结果。面试官一看就知道你真的做过而且知道怎么衡量效果。3.3 没有实际工作经验怎么办这是应届生和转行朋友最头疼的问题。我的建议是自己造项目但要造得像真的。具体做法选一个真实的场景比如“公司内部技术文档问答”或“法律合同条款检索”。找真实的数据比如把某个开源项目的文档爬下来或者用公开的法律文书数据集。做完整的评估记录每个优化步骤的效果变化。把过程写成技术博客发布在社区里。这样你在面试时讲的就是一个完整的项目故事而不是“我跟着教程跑了一遍”。4. 实操避坑指南那些文档里不会写的经验这一块是我最想分享的因为下面这些坑我几乎每一个都踩过。4.1 RAG相关的坑坑一chunk size设太大或太小chunk太大检索到的内容包含太多无关信息模型容易被干扰chunk太小上下文不完整模型无法回答需要跨段推理的问题。我的经验是中文技术文档chunk size在256-512 token之间比较稳但一定要用你的实际数据做A/B测试。别信任何“最佳实践”里写的固定值。坑二embedding模型和LLM不匹配有人用英文embedding模型处理中文文档然后抱怨召回率低。这不是模型的问题是你的问题。中文场景优先选BGE系列、M3E、GTE这些在中文语料上训练过的模型。坑三忽略元数据过滤企业场景里不同部门、不同权限的用户能看到的文档是不一样的。如果你把所有文档混在一个向量库里检索时不做元数据过滤轻则答非所问重则信息泄露。正确做法是在向量库里存权限标签检索时带上过滤条件。坑四不做重排粗召回向量检索的准确率通常不够看尤其是文档量大、语义相近的内容多的时候。加一个重排模型成本很低效果提升很明显。BGE-Reranker-v2-m3是我目前用得最顺手的中文效果好推理速度也能接受。4.2 微调相关的坑坑一数据质量不过关我见过有人用GPT-4批量生成训练数据然后直接拿去微调结果模型学会了一堆GPT-4的“废话风格”。生成数据可以用但一定要人工筛选或加规则过滤。坑二学习率设太大LoRA微调的学习率通常比全量微调大但也不是越大越好。我试过1e-3的学习率loss直接飞了。稳妥起见从1e-4开始试观察loss曲线如果震荡就降。坑三不保留验证集有人把所有数据都拿去训练然后说“效果很好”。你怎么知道不是过拟合一定要留10%-20%的数据做验证最好再准备一个独立的测试集。坑四忽略基座模型的license商用场景下基座模型的license很重要。有些模型明确禁止商用有些要求你开源衍生模型。选型时一定要看清楚。4.3 Agent相关的坑坑一工具描述写得太随意Agent能不能正确调用工具很大程度上取决于工具的描述。描述要清晰说明工具的功能、输入参数的含义和格式、什么情况下应该使用。我见过因为工具描述里少写了一个“仅当用户明确要求时调用”导致Agent疯狂调用搜索工具的案例。坑二没有最大步数限制Agent可能陷入循环反复调用同一个工具。一定要设最大步数比如10步超过就强制终止并返回已有结果。坑三不做输出格式校验模型返回的JSON可能缺字段、可能多字段、可能格式错误。每次解析前都要做校验解析失败要有兜底逻辑。坑四忽略成本控制Agent多步推理意味着多次LLM调用成本可能比单次问答高一个数量级。上线前一定要算清楚单次对话的平均成本设计好缓存和降级策略。4.4 部署与运维的坑坑一显存估算不准7B模型FP16推理大约需要14G显存加上KV Cache和框架开销实际需要16-20G。如果你用INT8量化可以降到8-10G。但量化会损失精度需要评估对业务的影响。坑二不做并发压测本地测试好好的一上线就崩。原因是没做并发压测。用Locust或wrk模拟真实并发观察延迟和错误率的变化找到系统的瓶颈。坑三日志记录不完整出问题时你需要知道用户问了什么、召回了哪些文档、模型收到了什么prompt、返回了什么。这些都要记日志。但注意脱敏别把用户隐私写进日志。坑四没有降级方案模型服务挂了怎么办我的做法是准备一个规则兜底或小模型兜底至少保证用户能收到一个“当前服务繁忙请稍后重试”之外的回答。5. 工具链与资源推荐少走弯路的实用清单5.1 开发框架框架适用场景我的评价LangChain通用LLM应用开发生态最全但抽象层太厚调试困难LlamaIndexRAG为主的应用RAG相关组件比LangChain更专业LLaMA-Factory微调配置化程度高适合快速实验vLLM推理部署吞吐量高支持PagedAttentionOllama本地快速体验一行命令跑模型适合开发调试5.2 向量数据库Chroma轻量适合原型和中小规模单机部署简单。Milvus功能全适合大规模生产环境但运维复杂度高。QdrantRust写的性能好过滤功能强我最近用得比较多。PGVector如果你已经在用PostgreSQL直接加个扩展就行省事。5.3 评估工具RAGASRAG评估的事实标准支持忠实度、答案相关性、上下文召回率等指标。DeepEval更通用的LLM评估框架支持自定义指标。自己写脚本别小看这个有时候最简单的方案最可控。5.4 学习资源官方文档LangChain、LlamaIndex、vLLM的文档质量都很高比大多数教程靠谱。开源项目找star多的RAG/Agent项目读源码比看教程收获大。社区HuggingFace、ModelScope上有大量模型和数据集善用搜索。论文不需要读太多但RAG原始论文、ReAct论文、LoRA论文这几篇值得精读。6. 职业发展路径三年后你想站在哪里大模型算法工程师的职业路径目前看大致有三条路线一技术专家深耕某一技术方向比如RAG优化、Agent框架、推理加速。这条路要求你对底层原理有深入理解能解决别人解决不了的问题。适合喜欢钻研、不太想管人的人。路线二技术管理带团队负责项目交付和技术选型。这条路要求你不仅技术过硬还要会沟通、会排期、会协调资源。适合综合能力强、愿意承担管理职责的人。路线三产品/创业对业务理解深了之后转向AI产品经理或自己创业。这条路风险最大但天花板也最高。适合对商业敏感、愿意承担不确定性的人。不管走哪条路前两年最重要的是把技术底子打扎实。别急着转管理也别急着创业先把一个方向做深做到能独立扛事。6.1 我个人的经验体会最后分享几个我自己的体会不一定对但都是真金白银换来的第一别追热点追得太紧。今天RAG火就学RAG明天Agent火就学Agent最后什么都没学深。选一个方向至少投入三个月做出一个能拿得出手的项目。第二重视工程能力。大模型算法岗本质上是工程岗你的代码要能上线、能维护、能扩展。写代码时多想想“如果流量涨十倍这段代码还能跑吗”。第三保持对业务的敏感。技术是为业务服务的。多和产品、运营聊天理解他们的痛点你才能做出真正有价值的东西。第四别闭门造车。多逛社区、多和人交流、多分享。我很多解决问题的思路都是从别人的分享里获得的。这个方向变化很快今天的最佳实践可能明天就过时了。但底层的能力——理解问题、拆解问题、解决问题的能力——是不会过时的。把时间花在这些能力上比追任何一个具体技术都值。