Starling-LM-7B-beta的「AI教AI」秘密Starling-RM-34B奖励模型技术内幕【免费下载链接】Starling-LM-7B-beta项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/Starling-LM-7B-betaStarling-LM-7B-beta 是一款基于RLAIF基于 AI 反馈的强化学习微调的开源 7B 大语言模型。它的核心秘密在于不依赖人工打分而是用 340 亿参数的Starling-RM-34B 奖励模型给候选回答打分排序再通过 PPO 强化学习教会模型输出更有帮助、更安全的内容——最终以 GPT-4 为裁判在 MT-Bench 上取得8.12分。 什么是「AI教AI」RLAIF 训练范式传统 RLHF人类反馈强化学习依赖人工标注偏好成本高、速度慢。RLAIF 的思路是让 AI 来当裁判大模型GPT-4针对提示词批量生成多条候选回答Starling-RM-34B 奖励模型对候选回答进行排序、打分7B 主模型以奖励分为目标用PPO 策略优化算法持续迭代更新。一句话理解奖励模型是老师语言模型是学生——老师批改答卷学生越写越好。角色模型规模职责 学生Starling-LM-7B-beta7B生成对话与回答‍ 老师Starling-RM-34B34B对候选回答打分、排序 教材Nectar 排序数据集1.2 万 提示词提供偏好训练样本 Starling-RM-34B34B 参数评审官如何工作训练数据berkeley-nest/Nectar排序数据集——每条提示词配有多个候选回答并带 GPT-4 给出的偏好排序训练方式使用排序ranking损失训练让模型学会给更好的回答更高分部署角色奖励模型只在训练阶段为 PPO 提供实时奖励信号训练完成后 7B 模型即可独立部署推理时无需再加载 34B 老师。 模型血缘与关键配置模型底座是OpenChat-3.5-0106基于 Mistral-7B-v0.1。打开仓库中的 config.json 可以看到核心架构参数hidden_size: 409632 层 Transformer32 个注意力头最大上下文长度8192 tokens见generation_config.json词表大小 32002新增特殊 token 见added_tokens.json 如何获取并运行 Starling-LM-7B-beta第一步克隆仓库获取权重权重以 Git LFS 分片存储建议先执行git lfs installgit clone https://gitcode.com/hf_mirrors/ai-gitcode/Starling-LM-7B-beta第二步用 Transformers 加载模型import transformers model transformers.AutoModelForCausalLM.from_pretrained(Nexusflow/Starling-LM-7B-beta)第三步务必使用 OpenChat 对话模板例如单轮对话格式为GPT4 Correct User: 你好|end_of_turn|GPT4 Correct Assistant:小贴士模型在少数情况下输出会比较啰嗦官方建议把temperature设为0让回答更稳定。 模型文件结构速览文件作用model-00001-of-00003.safetensors~model-00003-of-00003.safetensors模型权重分 3 片存储config.json模型架构配置Mistral 结构generation_config.json默认生成参数最大长度 8192tokenizer.json/tokenizer.model分词器added_tokens.json/special_tokens_map.json特殊 token 定义openchat.jsonOpenChat 训练配置参考model.safetensors.index.json权重分片索引❓ 新手常见问题必须用官方聊天模板吗是的。README 中明确提示不使用规定的对话模板会导致性能下降。为什么叫 beta这是 2023 年 11 月发布的测试版本团队后续基于同一套方法还发布了正式版 Starling-7B。可以商用吗模型采用 Apache-2.0 协议但附带一项条件不得用于与 OpenAI 竞争。【免费下载链接】Starling-LM-7B-beta项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/Starling-LM-7B-beta创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考