Crawl4LLM 五大评分器深度解析如何给网页质量打分【免费下载链接】Crawl4LLMOfficial repository for Craw4LLM: Efficient Web Crawling for LLM Pretraining项目地址: https://gitcode.com/gh_mirrors/cr/Crawl4LLMCrawl4LLM 是一个面向大语言模型LLM预训练的开源高效网页爬虫项目它的核心思路是与其盲目抓取海量网页不如先用**评分器Document Rater**给每个网页质量打分再优先抓取高质量页面。那么 Crawl4LLM 是如何给网页质量打分的本文将深度解析其内置的五大评分器从原理、优缺点到 YAML 配置方法带你一次看懂这套质量筛选机制。为什么爬虫需要给网页质量打分大模型预训练数据的质量直接决定模型效果。普通爬虫按链接顺序盲目抓取会混入大量低质页面而 Crawl4LLM 采用打分 → 优先队列策略每发现一个新网页先用评分器打分再按分数高低决定抓取顺序从而在同样的抓取预算下获得更多高质量文本。这也是论文Crawl4LLM: Efficient Web Crawling for LLM Pretraining的核心贡献。所有评分器都继承自基类DocumentRaterdocument_rater.py输入一批Document输出带打分注解的新Document。评分值会写入DocumentAnnotation字典供后续排序与日志记录使用。Crawl4LLM 五大评分器一览 评分器配置 type打分依据是否需要正文文本随机评分器random_score随机数否文档长度评分器length正文长度是入链数量评分器inlink_count被引用链接数否fastText 质量评分器fasttext_scoreDCLM fastText 模型是集成评分器ensemble_score多个评分器加权求和取决于子评分器五大评分器逐个深度解析 1. 随机评分器 RandomRater最朴素的基线实现见 document_rater.py。它给每个文档分配一个[0, 1)的随机分数不读取正文。它的价值不在好用而在于作为基线当你的实验结果优于随机抓取时才能证明评分策略确实有效。论文中的 Random Crawler 就是用它作为对比基准。2. 文档长度评分器 DocumentLengthRater越长越好实现见 document_rater.py。打分依据非常简单——len(doc.text)正文越长分数越高。它的隐含假设是有价值的内容通常篇幅较长而导航页、错误页往往很短。优点是零成本、无需模型缺点是可能偏爱冗长重复的页面。作为轻量级过滤器非常实用常与其他评分器组合使用。3. 入链数量评分器 InlinkCountRater被引用越多越优质实现见 document_rater.py。它统计指向该文档的入链inlink数量借鉴了 PageRank 的思想被越多页面引用说明该页面越重要。该评分器无需读取正文只需查询 ClueWeb22 语料中的 inlink 索引并且在文档数超过 2 万时可开启多进程并行统计性能友好。4. fastText 文本质量评分器 FasttextRaterAI 判定高质量 ✨实现见 document_rater.py这是论文中最核心的评分器。它使用 DCLM 训练好的fastText 文本分类器如openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train.bin区分高质量文本如 OpenHermes、Reddit、ELI5 语料与普通网页文本。模型的输出是概率值若预测标签为高质量类则直接取该概率若标签为__label__cc普通网页则用1 - 概率作为得分。它支持两种加速技巧文本归一化小写化、标点加空格和 10 万文档以上时的多进程推理非常适合海量网页的批量打分。5. 集成评分器 EnsembleRater多维度加权综合实现见 document_rater.py。它将多个评分器的分数按权重加权求和得到综合分。例如可以组合length与fasttext_score兼顾篇幅与内容质量两个维度。注意它依赖其他评分器先完成打分通过annotations读取分数因此在 YAML 中必须把子评分器配置在它前面。评分器如何驱动爬虫selection_method 与 order 打分只是第一步真正决定抓取顺序的是 crawl.py 中的两行设置selection_method: dclm_fasttext_score # 用哪个评分器的分数排序 order: desc # desc 降序 / asc 升序DocumentAnnotation会通过set_compare_method记录排序键与顺序corpus_interface.py爬虫内部用堆heapq维护优先队列每轮迭代总是弹出分数最高的文档继续扩展。多个评分器可以同时打分但最终排名只由selection_method指定的那个分数决定。一分钟上手YAML 配置评分器 ⚙️在configs/下创建配置文件完整示例见 README.md然后运行python crawl.py crawl --config 你的配置文件一个同时启用长度评分器 fastText 评分器的配置片段rating_methods: - type: length - type: fasttext_score rater_name: dclm_fasttext_score model_path: fasttext_scorers/openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train.bin评分器的初始化逻辑统一在 crawl.py 的initialize_quality_raters中按type字段分发创建对应实例非常容易扩展。可选加分项分数归一化 Normalizer 不同评分器的分数量纲差异很大如长度可能上万fastText 概率在 0~1 之间直接加权会失衡。Crawl4LLM 提供了两种归一化器normalizer.pyZScoreNormalizer(score - mean) / std适用于正态分布场景MinMaxNormalizer(score - min) / (max - min)将分数映射到 0~1。在 YAML 中为评分器嵌套normalizer字段即可启用归一化后的分数会以独立注解名存储方便集成评分器组合使用。用 rate 模式评估评分器的相关性 如何知道两个评分器是否英雄所见略同Crawl4LLM 提供了评估模式python crawl.py rate --config 你的配置文件该模式会读取seed.txt中的种子文档计算各评分器之间的Spearman 相关系数并绘制相关性热力图实现见 utils.py。如果两个评分器相关性过高说明它们冗余可以只保留其一反之低相关的评分器组合往往能带来更全面的质量评估。总结如何选择适合你的评分器 ✅快速起步、纯基线random_score轻量过滤、零成本length搭配inlink_count追求高质量语料fasttext_score是首选DCLM 模型对高质量文本的判别力强追求全面均衡ensemble_score加权组合多个低相关评分器。Crawl4LLM 的评分器体系设计精巧、扩展性强理解这五大评分器你就掌握了给网页质量打分的关键技能。快克隆项目动手试试让爬虫帮你筛选出真正高质量的预训练数据吧【免费下载链接】Crawl4LLMOfficial repository for Craw4LLM: Efficient Web Crawling for LLM Pretraining项目地址: https://gitcode.com/gh_mirrors/cr/Crawl4LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考