CS336 Lecture Notes 7

BERT (2019)#

• BooksCorpus：来自 Smashwords 的自出版免费电子书（7K本书，已被下架）
• Wikipedia：免费在线百科全书（62M文章，329种语言）
• 重要特点：序列是文档而非句子

GPT-2 WebText (2019)#

• 收集 Reddit 上 karma ≥ 3 的帖子外链页面
• 8M页面，40GB文本
• OpenWebTextCorpus 是其开源复现版本

CCNet (2019)#

目标：自动构建高质量预训练数据集，特别关注低资源语言。 组件：

• 埻重：基于轻量标准化移除重复段落
• 语言识别：fastText 分类器保留目标语言
• 质量过滤：KenLM 5-gram 模型筛选 Wikipedia 风格文档

T5 C4 (2019)#

Colossal Clean Crawled Corpus，从 Common Crawl（1.4T tokens）出发：

• 保留以标点结尾且 ≥5 词的行
• 移除 <3 句子的页面
• 移除含「脏词」、代码（{）、lorem ipsum、terms of use 的页面
• 仅保留英文（langdetect 概率 0.99）
• 最终：806GB（156B tokens）

KenLM：N-gram 语言模型#

Kneser-Ney 平滑的 N-gram 模型，KenLM 是快速实现，源自机器翻译领域。

最大似然估计： $p(\text{in} \mid \text{the cat}) = \frac{\text{count}(\text{the cat in})}{\text{count}(\text{the cat})}$

问题：N-gram 稀疏（大量组合计数为0） 解决：Kneser-Ney 平滑，利用低阶 N-gram 信息。

使用方式：

• 计算文档的 log p(content)
• 用困惑度（perplexity）标准化，避免偏向短文档 $\text{perplexity} = \exp(-\text{score} / \text{num\_tokens})$

CCNet 应用：

• 按段落困惑度排序，保留前 1/3
• 用于 LLaMA 数据处理

fastText 分类器#

fastText 设计目标：快速文本分类，性能接近神经网络但更高效。

结构：

• 词袋嵌入（Bag of word embeddings）：$H \times (V + K)$ 参数
• 对词向量取平均，线性投影到类别

Bag of N-grams：

• 使用哈希技巧（hashing trick）处理无界 N-gram 数量
• 实际用约 10M bins

质量过滤场景下 $K=2$（好/坏），fastText 即线性分类器。

DSIR：重要性重采样#

Data Selection for Language Models via Importance Resampling。

思路：建模分布而非分类。

重要性采样原理：

• 目标分布 $p$（希望从中采样）
• 提议分布 $q$（已有样本）
• 权重 $w \propto p/q$，按权重重采样

DSIR 实现：

• 使用哈希 N-gram 建模分布
• 学习 unigram 概率模型
• score(x) = $p_T(x) / p_R(x)$

结果：在 GLUE 基准上略优于 fastText 启发式分类。

算法对比总结#

语言识别#

为何不直接多语言？

• 数据：难以对任意语言做高质量筛选
• 计算：计算受限时，每种语言分到的算力更少

fastText 语言识别：

• 支持 176 种语言
• 训练数据：Wikipedia、Tatoeba、SETimes
• Dolma 使用：保留 p(English) ≥ 0.5 的页面

注意事项：

• 短序列困难
• 低资源语言困难
• 可能误滤方言（如英语方言）
• 相似语言难分（Malay/Indonesian）
• 代码切换（Code-switching）难以定义

OpenMathText 案例：

• 规则过滤 + KenLM（ProofPile 训练，困惑度 < 15000）+ fastText 数学分类
• 产出 14.7B tokens，1.4B 模型优于用 20x 数据训练的模型

质量过滤#

基于规则（不使用模型）：C4、Gopher、RefinedWeb、FineWeb、Dolma 基于模型（成为主流）：GPT-3、LLaMA、DCLM

GPT-3：

• 正例：Wikipedia、WebText2、Books
• 负例：Common Crawl
• 线性分类器 + Pareto 分布随机保留

LLaMA/RedPajama：

• 正例：被 Wikipedia 引用的页面
• 负例：Common Crawl
• 直接保留分类为正的文档

phi-1：

• 哲学：高质量数据（教科书）训练小模型
• 用 GPT-4 评估教育价值，训练随机森林分类器
• HumanEval：1.3B 模型用筛选数据 36K 步达到 17.68%，优于原始数据 96K 步的 12.19%

毒性过滤#

Jigsaw Toxic Comments 数据集：

• Wikipedia 讨论页评论
• 标签：toxic、severe_toxic、obscene、threat、insult、identity_hate

Dolma 实现：

• 训练两个 fastText 分类器：
  • hate：正例 = {unlabeled, obscene}
  • NSFW：正例 = {obscene}

去重的必要性#

重复类型：

• 精确重复：镜像站点、GitHub forks
• 近似重复：许可证文本、模板生成内容、格式差异

C4 案例：某产品描述重复 61,036 次

去重收益：

• 训练效率更高（更少 tokens）
• 避免记忆化（缓解版权、隐私问题）

设计空间#

1. 粒度：句子、段落、文档
2. 匹配方式：精确匹配、子项存在、子项比例
3. 操作：全部删除、保留一个

核心挑战：需要线性时间算法（避免 pairwise 比较）

哈希函数#

• 映射 item 到 hash value（远小于 item）
• SHA-256：抗碰撞，慢（加密用途）
• MurmurHash、CityHash：不抗碰撞，快（哈希表用途）
• 本文使用 MurmurHash (mmh3)

精确去重#

简单方法：

• 计算 hash → 按 hash 分组 → 每组保留一个
• 可 MapReduce 并行化

C4：

• Item = 3-sentence spans
• 精确匹配去重
• 注意：中间删除 span 可能破坏文档连贯性

Bloom Filter#

目标：高效的近似集合成员检测。

特点：

• 内存高效
• 可插入，不可删除
• 返回「否」则必定否
• 返回「是」则大概率是（小概率假阳性）
• 增加计算可指数级降低假阳性率

原理：

• 使用 k 个哈希函数，m 个 bins
• 插入时，所有哈希位置设为 1
• 查询时，所有哈希位置均为 1 则返回「是」

假阳性率分析： $f = (1 - e^{-kn/m})^k$

最优 k 值：$k = \ln 2 \cdot m / n$（此时 $f \approx 0.5^k$）

Dolma 应用：

• 设置假阳性率 1e-15
• Item = 段落

Jaccard 相似度与 MinHash#

Jaccard 相似度： $J(A, B) = \frac{|A \cap B|}{|A \cup B|}$

定义：两文档 Jaccard ≥ threshold 为「近似重复」。

MinHash：

• 随机哈希函数 h
• 性质：$\Pr[h(A) = h(B)] = \text{Jaccard}(A, B)$

原理：哈希函数诱导 item 随机排列，取最小值（首个元素），碰撞概率即 Jaccard。

局部敏感哈希（LSH）#

问题：单个 MinHash 碰撞概率 = Jaccard，过于随机。

目标：Jaccard > threshold 时碰撞，否则不碰撞。

方案：n 个哈希函数，分为 b 个 band，每个 band r 个哈希函数。

碰撞条件：某个 band 内所有哈希函数都碰撞。

碰撞概率： $P(\text{collision}) = 1 - (1 - s^r)^b$

• 增大 r：threshold 更尖锐，曲线右移（更难匹配）
• 增大 b：曲线左移（更易匹配）

threshold 估算（phase transition 点）： $\text{threshold} = (1/b)^{1/r}$

示例设置：n=9000, b=20, r=450，threshold ≈ 0.8