DeepSeek-R1持续刷屏！连Open R1都来了

IT之家报道，当初 OpenAI 抛出 Sora 大饼，一时间 Open Sora 项目热火朝天。现在，这股 Open 的风也是反向吹起来了，最新目标，正是国产大模型 DeepSeek-R1。

Open R1 项目由 HuggingFace 发起，联合创始人兼 CEO Clem Delangue 是这么说的：“我们的科学团队已经开始致力于完全复制和开源 R1，包括训练数据、训练脚本……我们希望能充分发挥开源 AI 的力量，让全世界每个人都能受益于 AI 的进步！我相信这也有助于揭穿一些神话。”

HuggingFace 振臂一呼，立刻欢呼者众。项目上线仅 1 天，就在 GitHub 上刷下 1.9k 标星。看来这一波，DeepSeek-R1 真是给全球大模型圈带来了不小的震撼，并且影响还在持续。

不过话说回来，DeepSeek-R1 本身就是开源的，HuggingFace 搞这么个“Open R1”项目，又是为何？官方在项目页中做了解释：“这个项目的目的是构建 R1 pipeline 中缺失的部分，以便所有人都能在此之上复制和构建 R1。”

HuggingFace 表示，将以 DeepSeek-R1 的技术报告为指导，分 3 个步骤完成这个项目：

第 1 步：用 DeepSeek-R1 蒸馏高质量语料库，来复制 R1-Distill 模型。

第 2 步：复制 DeepSeek 用来构建 R1-Zero 的纯强化学习（RL）pipeline。这可能涉及为数学、推理和代码整理新的大规模数据集。

第 3 步：通过多阶段训练，从基础模型过渡到 RL 版本。

结合 DeepSeek 的官方技术报告来看，也就是说，Open R1 项目首先要实现的，是用 R1 数据蒸馏小模型，看看效果是不是像 DeepSeek 说的那么好：

DeepSeek 开源了 6 个用 R1 蒸馏的小模型，其中蒸馏版 Qwen-1.5 甚至能在部分任务上超过 GPT-4o。

接下来，就是按照 DeepSeek 所说，不用 SFT，纯靠 RL 调教出 R1-Zero，再在 R1-Zero 的基础上复刻出性能逼近 o1 的 R1 模型。

其中多阶段训练是指，R1 技术报告提到，DeepSeek-R1 训练过程中引入了一个多阶段训练流程，具体包括以下 4 个阶段：

冷启动

用数千个长思维链（CoT）样本对基础模型进行监督微调（SFT），为模型提供初始的推理能力

面向推理的强化学习

在第一个 SFT 阶段的基础之上，用和训练 R1-Zero 相同的大规模强化学习方法，进一步提升模型的推理能力，特别是应对编程、数学、科学和逻辑推理任务的能力。

拒绝采样和监督微调

再次使用监督微调，提升模型的非推理能力，如事实知识、对话能力等。

针对所有场景的强化学习

这次强化学习的重点是让模型行为与人类偏好保持一致，提升模型的可用性和安全性。

目前，在 GitHub 仓库中，已经可以看到这几个文件：

GRPO 实现

训练和评估代码

合成数据生成器

阿尔特曼坐不住了

有意思的是，R1 刷屏之中，阿尔特曼也坐不住了。这不，他又带来了 o3-mini 的最新剧透：“ChatGPT Plus 会员可以每天获得 100 条 o3-mini 查询。Plus 会员马上就能用上 operator 了，我们正在尽力！下一个智能体 Plus 会员首发就能用。”

这话一出，X的空气中充满了快乐的气息（doge）：“哇！DeepSeek 正在让 OpenAI 主动大甩卖诶！”