【免费下载链接】jevlike项目地址https://gitcode.com/gh_mirrors/je/jevlike点击查看免费下载jevlike是一个用单次前向传播one-pass给一组动态文本选项打分的 PyTorch 小模型框架输入一段context和N个选项直接输出每个选项一个概率而不是逐词生成答案。它的灵魂在于可以互换的编码器——本文带你从零搞懂它的两条路线从零学 byte 编码的 TinyScorer与冻结 Qwen2.5-0.5B 的 FrozenTransformerScorer并给出手把手的训练命令与选型清单。 一句话理解编码器负责把文字变成向量打分头负责给每个选项打一个分。jevlike 的妙处是——打分头只有一个换的只是编码器。为什么需要一次打完所有选项的编码器传统生成模型要一个字一个字把答案写出来而选择任务客服工单分类、菜单点击预测、多选项问答其实只需要回答哪一个。jevlike 用一次前向就给出所有选项的概率README 中测得在 8 个选项下单次打分比让一个小 decoder 写 400 个 token 快约 100 倍。整个流程只有三步看懂这三步两条路线的差异就一目了然每个选项变成一个查询向量query该选项对上下文 token分配注意力权重聚合出一个上下文向量共享点积把每对选项, 上下文变成一个分数再 softmax 成概率。这条链路就封装在一个通用的注意力头里源码见 jevlike/model.py 的AttentionHead。下面这张图正是这条Q/K/V → 注意力 → 单概率的数据流两条编码器路线一张图看懂两条路线共用同一个打分头区别只在文字怎么变成向量维度路线一TinyScorerbyte 编码路线二FrozenTransformerScorer冻结 Qwen切换参数--encoder tiny默认--encoder hf文字 → 向量UTF-8byte 嵌入从零训练冻结的Qwen2.5-0.5B预训练权重预训练❌ 无从零学✅ 冻结复用权重不更新显存/速度低、快CPU 也能跑高、慢需 GPU/更多内存语言语义理解弱README 自述cheap but weak on meaning强适用场景合成任务、快速实验、轻量部署真实语料、语义敏感的选择任务数据整理器ByteCollatorHuggingFaceCollatortokenizer依赖核心即可需.[transformers]扩展下面分别上手。路线一TinyScorer——byte 编码从零起步什么是 byte 编码byte 编码就是把文本直接按 UTF-8 拆成字节每个字节值 1 作为嵌入下标0 保留给 padding查一张字节→向量的表。它不依赖任何分词器、不需要下载大模型因此零门槛但模型必须从零学会这些字节代表什么语义所以更依赖数据、在语言理解上偏弱。核心实现只有几行字节化在 jevlike/data.py 的_bytes()模型主体在 jevlike/model.py 的TinyScorer——nn.Embedding(257, width)是一张256 种字节 1 padding的查表再叠一个位置嵌入。 默认上下文截断到192 字节、每个选项32 字节。文本更长时调大--context-tokens/--option-tokens即可。安装并训练 TinyScorer一键步骤以下命令在仓库根目录执行会创建合成数据、训练、评估并给一个新菜单打分# 1. 准备环境仅核心依赖即可CPU 也能跑 uv venv source .venv/bin/activate uv pip install -e .[dev] # 2. 生成合成数据集train/validation/test jevlike-data synthetic --output data/synthetic # 3. 训练 byte 编码器默认 --encoder tiny jevlike-train data/synthetic/train.jsonl \ --validation data/synthetic/validation.jsonl \ --output runs/synthetic.pt # 4. 在留出测试集上评估 jevlike-eval runs/synthetic.pt data/synthetic/test.jsonl # 5. 给一条新菜单逐选项打分 jevlike-predict runs/synthetic.pt \ --context Choose the exact badge amber badger. Badge: amber badger. \ --option azure crane \ --option amber badger \ --option gold heron训练入口与全部可调参数见 jevlike/train.py--width嵌入宽度默认 64、--rank打分头宽度默认 64、--epochs默认 8、--device auto|cpu|mps|cuda。数据长什么样训练用一行一个 JSON 对象label是正确选项的从零开始的下标每行选项数量可以不同至少 2 个{context:The customer needs a refund.,options:[refund,sales,technical support],label:0}路线二FrozenTransformerScorer——冻结 Qwen2.5-0.5B 当编码器冻结编码器是什么意思冻结指加载一个预训练编码器后把它的权重锁死不再更新requires_grad_(False)只训练顶上那层很小的打分头。好处是白捡大模型已学好的语言语义样本效率更高代价是要先下载模型、显存占用更大。实现见 jevlike/model.py 的FrozenTransformerScorerAutoModel.from_pretrained载入编码器取其last_hidden_state选项用 mask 做均值池化再喂进同一个AttentionHead。数据由HuggingFaceCollator带 tokenizer整理见 jevlike/data.py。⚠️注意checkpoint 里只存打分头 编码器名字不存冻结权重。所以加载模型时仍需能访问同一个 Hugging Face 模型。训练冻结 Qwen 编码器最快配置方法先装可选依赖再指定编码器与模型名即可# 1. 装 transformers 扩展 uv pip install -e .[transformers] # 2. 用冻结 Qwen2.5-0.5B 作为编码器训练 jevlike-train data/synthetic/train.jsonl \ --validation data/synthetic/validation.jsonl \ --output runs/qwen-head.pt \ --encoder hf \ --hf-model Qwen/Qwen2.5-0.5B \ --rank 256 \ --batch-size 8--encoder hf切换到冻结编码器路线--hf-model可换成任意兼容的 Hugging Face 编码器。--rank控制打分头宽度更宽的可训练参数更多、效果上限更高但更吃内存所以示例把--batch-size压到 8。之后照旧jevlike-eval/jevlike-predict命令与 byte 路线完全一致。两条路线怎么选选型对照清单按你的实际情况对号入座避免盲目上大模型想先跑通、看流程、CPU 训练→ 选TinyScorerbyte轻量快、零下载。数据是真实自然语言、语义敏感如工单分类、页面点击预测→ 选FrozenTransformerScorer冻结大模型的语言能力直接可用。样本很少→ 优先冻结编码器预训练知识能显著省样本。要部署到边缘/低配环境→ byte 编码器更合适。显存紧张但仍想要语义→ 保持--rank偏小、调小--batch-size。 一个直观判断byte 路线便宜但弱语义冻结路线贵但懂语言。很多团队会先用 byte 跑通管线确认数据无误后再切 hf 编码器冲效果。真实基准合成菜单 98% vs Wikispeedia 26%README 的What to expect给出了本地实验的参考数字帮你建立合理预期注意这是本地实验非你的运行结果合成菜单单次打分器达到约 98%准确率——说明 byte 路线在结构清晰、模式明确的数据上完全够用。Wikispeedia 下一跳点击target-disjoint冻结 Qwen2.5-0.5B 打分头达到26%而打乱上下文 / 随机编码器对照只有约 8%——说明冻结路线在真实语义任务上的优势是实打实的。从零训练的小模型在 4 万条点击上达到29%接近冻结路线但需要更多数据与训练。Wikispeedia 数据由脚本自动下载并构建成 JSONL见 scripts/get_wikispeedia.sh数据保存在仓库外。常见坑与提速建议byte 路线准确率上不去多半是文本被 192 字节截断了——先调--context-tokens/--option-tokens再看是否需要换冻结编码器。--encoder hf报缺依赖你只装了核心包记得uv pip install -e .[transformers]。加载 checkpoint 失败冻结路线要求本机仍能访问同一个 HF 模型确认网络与模型名一致。想验证模型真在学上下文jevlike-eval会额外输出一组shuffled-context 对照把菜单配错上下文好模型应显著优于该对照——指标定义见 jevlike/eval.py。评估看三个数top-1 准确率首选命中率、top-3 命中率、ECE校准误差。设备选择--device auto自动挑 CUDA → MPS → CPU游戏/视觉示例在 jevlike/vision.py 复用同一打分头。✅ 冒烟测试pytest -q会跑 tests/test_smoke.py验证 TinyScorer 确实能从高损失降到低损失、且概率和为 1。参考文件与延伸阅读模型与打分头jevlike/model.pyAttentionHead/TinyScorer/FrozenTransformerScorer/make_system数据与 byte 分词jevlike/data.py训练入口与参数jevlike/train.py评估与校准jevlike/eval.py单条打分jevlike/predict.pyWikispeedia 数据构建scripts/get_wikispeedia.sh架构总览与命令README.md小结jevlike 把编码器和打分头解耦——TinyScorer 用 byte 编码从零起步、轻快好上手FrozenTransformerScorer 冻结 Qwen2.5-0.5B 复用语义、效果更稳。选哪条取决于你的数据语言复杂度与算力预算先用 byte 跑通、再用冻结编码器冲效果是最稳妥的路径。赞分享【免费下载链接】jevlike项目地址https://gitcode.com/gh_mirrors/je/jevlike点击查看免费下载相关推荐QOwnNotes 从源码编译构建全指南Qt/qmake 与 Nix 双路线实战QOwnNotes 从源码编译构建全指南Qt/qmake 与 Nix 双路线实战 本指南以 QOwnNotes 官方安装文档 webpage/src/es/桌面应用Humble New Tab Page重新定义浏览器新标签页让书签与应用管理更高效Humble New Tab Page重新定义浏览器新标签页让书签与应用管理更高效 Humble New Tab Page是一款为Chrome和Firefo前端FFmpegFreeUI编码器完全解析40种视频编码器深度对比与实战指南FFmpegFreeUI编码器完全解析40种视频编码器深度对比与实战指南 FFmpegFreeUI 是 Windows 平台上功能最强大的 FFmpeg 图形桌面应用音视频视频处理创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考