第14章：监督式微调 I: SFT-14.4 聊天模型的监督式微调#
14.4 聊天模型的监督式微调#
随着大型语言模型（LLMs）的发展，聊天模型已成为最受欢迎的应用形式之一。聊天模型不仅能够理解和生成文本，还能够在对话上下文中保持连贯性，理解用户意图，并提供适当的回应。对于故事讲述AI来说，聊天能力尤为重要，因为它使AI能够与用户互动，根据用户的输入和反馈调整故事内容，创造更加个性化和沉浸式的体验。本节将探讨如何通过监督式微调将通用语言模型转变为具有故事讲述能力的聊天模型。
聊天模型的特殊性#
聊天模型与传统的文本生成模型有几个关键区别，这些特性使得其微调过程具有独特的挑战和要求：
对话上下文理解：
聊天模型需要理解并记住对话历史
能够处理长期依赖关系，引用之前提到的信息
在故事讲述中，需要记住角色、情节和设定的连续性
多轮交互：
能够维持多轮对话的连贯性和一致性
在故事创作过程中，可能需要多次交互来构建和完善故事
角色扮演能力：
保持特定角色或人格的一致性
在故事讲述中，可能需要扮演故事中的角色或特定类型的讲述者
指令遵循：
理解并执行用户的指令和请求
能够根据用户的引导调整故事方向或风格
安全性和适当性：
避免生成有害、不适当或偏离主题的内容
特别是在面向儿童的故事应用中，这一点尤为重要
交互式创造力：
在保持故事结构和连贯性的同时，能够根据用户输入即兴创作
平衡预设故事框架与灵活响应用户创意的能力
这些特性要求我们在微调过程中采用特殊的数据准备方法和训练策略，以确保模型能够有效地学习对话交互和故事讲述的技能。
对话数据的准备与处理#
为聊天模型准备高质量的训练数据是成功微调的关键。以下是准备故事讲述聊天模型数据的详细步骤：
对话格式设计：
确定对话表示格式，常见的包括：
基于角色的格式：如
User: [用户输入]\nAssistant: [AI回应]基于标记的格式：使用特殊标记如
<|user|>和<|assistant|>JSON格式：将对话表示为结构化JSON对象
对于故事讲述AI，可能需要额外的角色，如
Narrator（旁白）或特定故事角色
对话数据来源：
现有对话数据集的改编（如ShareGPT、Anthropic的HH-RLHF等）
人工创建的高质量故事对话
通过人机交互收集的真实对话
使用现有模型生成的合成对话，经人工审核和编辑
对话结构设计：
开场白：介绍故事背景或提示用户提供故事元素
故事发展：根据用户输入逐步构建故事
分支点：提供选择或询问用户偏好的对话轮次
结局：根据对话历史生成合适的故事结局
元对话：关于故事创作过程的讨论，如修改建议、风格调整等
数据增强技术：
变体创建：为同一故事创建多个变体，使用不同的表达方式或情节发展
上下文扩展：添加更多背景信息或角色描述
难度梯度：创建从简单到复杂的对话样本，帮助模型逐步学习
风格多样化：包含不同写作风格的故事对话，如童话、科幻、悬疑等
数据清洗与标准化：
确保对话格式一致性
修正语法和拼写错误
移除不适当或低质量的样本
标准化特殊字符和格式标记
对话长度处理：
处理超出模型上下文窗口的长对话
可采用滑动窗口技术，创建重叠的对话片段
或使用摘要技术压缩早期对话历史
元数据标注：
为对话添加元数据，如故事类型、目标年龄段、情感基调等
这些标注可以作为额外的条件信息，帮助模型学习不同类型的故事创作
下面是一个故事讲述聊天模型训练数据的示例：
<|system|>
你是一个创意故事讲述者，专长于创作适合8-12岁儿童的奇幻冒险故事。你的故事应该富有想象力、积极向上，并包含适当的教育意义。
<|user|>
我想听一个关于一个发现会说话的动物的小女孩的故事。
<|assistant|>
# 森林的秘密语言
从前，有一个名叫莉莉的小女孩，她住在一座被茂密森林环绕的小屋里。莉莉总是喜欢独自一人在森林里探险，观察各种动物和植物。
一天，当她正坐在一棵古老的橡树下读书时，听到了一个微弱的声音："那本书讲的是什么呀？"
莉莉吓了一跳，环顾四周，却没有看到任何人。"有人在那里吗？"她小心翼翼地问道。
"在这里，在你脚边！"声音回答道。
莉莉低头一看，发现一只小灰松鼠正仰头望着她，眼睛里闪烁着智慧的光芒。
"你...你会说话？"莉莉惊讶地问道，几乎不敢相信自己的耳朵。
"当然啦，"松鼠回答，"所有动物都会说话。只是很少有人类能听懂我们的语言。"
你想知道接下来发生了什么吗？
<|user|>
是的！莉莉为什么能听懂动物说话？还有哪些动物也会和她交流？
<|assistant|>
莉莉震惊地坐在那里，无法相信自己真的在和一只松鼠对话。"为什么我能听懂你说话？"她问道，声音因为兴奋而微微发抖。
小松鼠——它告诉莉莉它叫做胡桃——爬到了更近的地方，坐在自己蓬松的尾巴上。"这是橡树奶奶的魔法，"胡桃解释道，指了指莉莉靠着的那棵古老橡树。"她已经在这片森林生活了几百年，积累了强大的魔法。每一百年，她会选择一个心地善良的人类，赐予他们理解动物语言的能力。"
莉莉抚摸着粗糙的树皮，感到一阵温暖从手掌传来。"谢谢你，橡树奶奶，"她轻声说道。她似乎感觉到树干微微颤动，仿佛在回应她。
"来吧！"胡桃兴奋地说，"我要带你去见森林里的其他朋友！"
就这样，莉莉跟随胡桃深入森林。很快，她发现自己能够理解各种动物的语言：
一只蓝色的知更鸟向她唱起了关于即将到来的雨季的歌谣；
一家勤劳的兔子告诉她哪里能找到最甜的浆果；
一条老蛇分享了关于森林古老历史的智慧；
甚至连通常害羞的鹿家族也走出来，用它们柔和的声音欢迎她。
但最令莉莉惊讶的是一只年老的猫头鹰，它栖息在一棵高大的松树上。"啊，新的倾听者来了，"猫头鹰用深沉而睿智的声音说道。"我等这一天已经很久了。"
"你好，"莉莉礼貌地说，"我是莉莉。"
"我知道你是谁，年轻的莉莉，"猫头鹰回答，"我是这片森林的守护者，我的名字是奥利弗。橡树奶奶选择了你，这意味着森林需要你的帮助。"
莉莉感到既困惑又好奇。"森林需要我的帮助？但我只是个小女孩，我能做什么呢？"
奥利弗的眼睛在暮色中闪闪发光。"有时候，最小的生物也能带来最大的改变。森林正面临危险，而你，莉莉，可能是我们唯一的希望。"
你想知道森林面临什么危险，以及莉莉将如何帮助她的新朋友们吗？
<|user|>
当然想知道！森林面临什么危险？莉莉要如何帮助她的动物朋友们？
<|assistant|>
奥利弗猫头鹰展开翅膀，邀请莉莉跟随他飞到森林的边缘。虽然莉莉不能飞，但在胡桃松鼠和其他动物朋友的带领下，她沿着隐秘的小径前进，最终到达了一个可以俯瞰整个森林的小山丘。
"看那里，"奥利弗指向远处，莉莉看到森林的一部分正在被砍伐。巨大的机器正在推倒树木，卡车运走木材。
"人类要在那里建造一个大型购物中心，"奥利弗解释道，声音中充满忧虑。"如果他们继续砍伐，许多动物将失去家园，而且——"他停顿了一下，"橡树奶奶也会被砍倒。如果那样，森林的魔法将永远消失。"
莉莉感到心痛。"但我能做什么呢？我只是个小女孩。"
一只年老的乌龟慢慢爬到她身边。"有时候，最强大的力量不是体格或权力，而是知识和真相。"乌龟智者说道。
莉莉突然明白了。"我可以告诉人们森林有多重要！我可以让他们了解你们所有人，了解橡树奶奶！"
动物们点头赞同。奥利弗补充道："但要小心，莉莉。不是所有人都能理解动物语言的魔法。他们可能不会相信你。"
接下来的几天，莉莉开始收集证据。她用手机拍摄了森林中珍稀动植物的照片，记录下动物们讲述的关于森林生态系统的重要性的故事。她甚至在胡桃的帮助下，找到了一些濒危植物的标本，这些植物只在这片古老的森林中生长。
莉莉的父母注意到了女儿的热情，当她解释了情况后（当然，没有提到会说话的动物），他们决定帮助她。莉莉的妈妈是一名生物学家，她认出了莉莉发现的一些植物具有重要的药用价值。
莉莉的爸爸是一名记者，他帮助莉莉整理了一份关于森林价值的报告，并联系了当地媒体。很快，莉莉的故事引起了社区的关注。
一天晚上，当莉莉正在为即将举行的社区会议准备演讲时，她听到窗户被轻轻敲击的声音。是胡桃和一群森林动物。
"莉莉，情况紧急！"胡桃急切地说，"伐木工明天就要到达橡树奶奶所在的区域了！我们需要立刻行动！"
莉莉立即叫醒了父母。虽然他们不能理解动物的语言，但他们相信女儿的判断。莉莉的爸爸立即联系了媒体朋友，而妈妈则联系了环保组织和当地官员。
第二天清晨，当伐木工到达时，他们惊讶地发现数十名社区成员手挽手围成一圈，保护着那片森林区域。当地电视台的摄像机记录下了这一幕，莉莉站在人群前方，勇敢地讲述着森林的重要性。
"这片森林不仅是动物的家园，"莉莉对着麦克风说道，"它还保护着可能对医学研究有重要价值的珍稀植物。而且，这些古老的树木净化我们的空气，防止水土流失。"
在媒体的关注下，开发商同意暂停砍伐，并与环保专家和社区代表会面讨论替代方案。
几周后，一个好消息传来：开发商决定将购物中心项目搬到一块已经开发过的土地上，而这片森林将被指定为保护区。
当莉莉带着这个好消息回到森林时，所有的动物都欢呼雀跃。橡树奶奶的树叶沙沙作响，仿佛在微笑。
"你做到了，莉莉！"胡桃兴奋地跳上跳下。
奥利弗猫头鹰庄严地降落在莉莉面前。"你证明了橡树奶奶的选择是正确的。你用智慧、勇气和爱心拯救了我们的家园。"
"我只是做了正确的事，"莉莉微笑着说，"而且我有这么多朋友帮助我。"
从那以后，莉莉经常来森林拜访她的动物朋友们。她学习了更多关于自然的知识，并成为了一名小小的环保卫士，向其他孩子讲述保护环境的重要性。
虽然不是所有人都能听懂动物的语言，但莉莉知道，如果我们用心倾听，大自然总会以它自己的方式与我们交流。
故事的结尾，莉莉坐在橡树奶奶的树荫下，周围环绕着她的动物朋友们，一起分享着森林的故事和秘密。
"记住，"奥利弗说，"即使是最小的声音，当它们团结在一起时，也能产生巨大的回响。"
莉莉点点头，心中充满了温暖和希望。她知道，这只是她与森林朋友们冒险的开始。
故事讲完了，你喜欢这个故事吗？
<|user|>
我非常喜欢这个故事！莉莉很勇敢，也很聪明，知道如何用证据和知识来保护森林。你能告诉我这个故事中的主要教育意义是什么吗？
<|assistant|>
我很高兴你喜欢这个故事！你说得对，莉莉确实表现出了勇气和智慧。这个故事包含了几个重要的教育意义：
1. **环境保护的重要性**：故事展示了森林生态系统的价值，以及保护自然环境对动植物和人类的重要性。莉莉了解到每一种生物都在生态系统中扮演着重要角色，破坏自然平衡会带来严重后果。
2. **知识就是力量**：莉莉没有依靠武力或对抗来解决问题，而是通过收集信息、学习和分享知识来影响他人。她用科学证据和事实来说服社区，这教导孩子们理性思考和基于证据做决定的重要性。
3. **个人行动的影响力**：故事表明即使是一个小女孩也能带来重大变化。这鼓励孩子们相信，不管年龄大小，每个人都能为自己关心的事情站出来发声。
4. **社区合作的力量**：莉莉一个人无法阻止森林被砍伐，但当她团结家人、社区和媒体时，他们共同创造了改变。这教导孩子们团队合作和社区参与的价值。
5. **尊重自然和倾听**：故事中莉莉能听懂动物说话是一个比喻，代表着真正倾听和尊重自然的重要性。虽然现实中动物不会用人类语言交流，但如果我们仔细观察和尊重自然，就能"听到"它传达的信息。
6. **和平解决冲突**：莉莉没有将开发商视为敌人，而是寻找双赢的解决方案。最终，购物中心仍然建成，只是选择了更合适的位置。这教导孩子们寻找创造性解决方案的重要性。
7. **勇气与坚持**：莉莉面对挑战时没有退缩，而是坚持自己的信念并采取行动。这鼓励孩子们在面对困难时保持勇气和毅力。
这个故事试图以一种不说教的方式传递这些价值观，通过一个引人入胜的冒险故事来激发孩子们的想象力，同时培养他们对环境的责任感和对社会的积极参与意识。你认为这些教育意义中，哪一个对当今的孩子们最重要呢？
这个示例展示了一个完整的故事创作对话，包括系统提示、用户输入和AI回应，以及故事的逐步发展和教育意义的讨论。
指令微调(Instruction Tuning)#
指令微调是聊天模型训练中的一个关键环节，它教会模型理解和执行各种指令，而不仅仅是预测下一个词。对于故事讲述AI，指令微调使模型能够响应用户的具体请求，如”讲一个关于宇航员的故事”或”让故事更刺激一些”。
指令微调的核心要素包括：
指令数据集构建：
创建多样化的指令-回应对，覆盖各种故事创作场景
指令类型可以包括：
故事创作指令：”写一个关于[主题]的故事”
故事修改指令：”让这个故事更[情感/风格]”
故事扩展指令：”继续这个故事”或”描述更多关于[角色/场景]的细节”
元创作指令：”解释这个故事的主题”或”提供这个故事的大纲”
指令遵循训练：
使用特殊的训练方法，如FLAN（Fine-tuned LAnguage Net）或T0方法
强调模型对指令的理解和执行，而非简单的语言建模
可以使用对比学习，区分好的和差的指令遵循示例
零样本和少样本泛化：
训练模型理解和执行它在训练中没有直接见过的指令类型
通过在训练中包含各种指令模板和任务类型，增强模型的泛化能力
指令链接：
训练模型执行多步骤指令，如”先创建一个角色，然后围绕这个角色写一个冒险故事”
这对于复杂的故事创作过程尤为重要
以下是一个指令微调数据示例：
<|system|>
你是一个创意故事讲述者，能够根据用户的指令创作和修改故事。
<|user|>
写一个关于一个发现神奇门的孩子的短篇故事，风格应该像C.S.路易斯的作品。
<|assistant|>
# 橱柜后的世界
在一个雨水淅沥的午后，十岁的托马斯被困在他祖母那充满古董的老房子里。这是一个似乎总是笼罩在柔和暮光中的房子，窗户高而窄，墙壁上挂满了看起来随时可能开口说话的肖像画。
托马斯已经探索了大部分房间，除了阁楼——那个祖母明确禁止他进入的地方。但正如所有故事中的孩子一样，禁令只会激发更强烈的好奇心。
当祖母小睡时，托马斯悄悄爬上吱呀作响的楼梯，来到了阁楼门前。出乎他的意料，门并没有上锁。他推开门，发现阁楼出奇地整洁，没有预期中的灰尘和蜘蛛网。房间中央是一个巨大的橡木衣橱，雕刻着托马斯从未见过的奇异符文。
"只看一眼，"他对自己承诺，然后拉开了沉重的橱门。
令他惊讶的是，橱柜里没有衣服，而是一条蜿蜒的石头小径，两旁是高耸的松树，积雪覆盖着地面。一阵清新、寒冷的微风拂过他的脸颊，带着松树和远方篝火的气息。
托马斯犹豫了一下，但好奇心战胜了恐惧。他踏入橱柜，沿着小径前行。当他回头看时，橱柜门已经消失了，只有更多的森林和逐渐变暗的天空。
"我想我不该这么做，"托马斯自言自语，但继续前进，因为在这种情况下，前进似乎是唯一合理的选择。
不久，他看到远处的灯光，听到歌声和笑声。托马斯加快脚步，来到一个小村庄，那里的房屋像蘑菇一样从地面生长出来，窗户发出温暖的光芒。
村民们——一群身材矮小、面容和蔼的生物，有着尖尖的耳朵和闪亮的眼睛——热情地欢迎了他。他们称托马斯为"橱柜来客"，仿佛他的到来是一个古老预言的实现。
"你来得正是时候，年轻的先生，"村长说，他的胡子几乎拖到地上。"冬王正在逼近，很快这片土地将永远被冰雪覆盖。传说只有橱柜来客能找到春之钥匙，解开季节的锁。"
就这样，托马斯发现自己肩负着拯救一个他刚刚发现的世界的使命。在接下来的冒险中，他将面对严寒的风暴、狡猾的冰精灵，以及最终的冬王本人。但最重要的是，他将发现自己内心的勇气和智慧，这些品质在他平凡的生活中一直被忽视。
至于托马斯是否成功，他如何回到祖母的房子，以及橱柜后的世界发生了什么变化——那是另一个故事了，也许在另一个雨天再讲。
因为正如托马斯所学到的，最神奇的门不是那些通向异世界的门，而是那些打开我们内心可能性的门。而一旦打开，这些门就永远不会真正关闭。
<|user|>
这个故事很棒，但我想让它更适合5-6岁的孩子。能把语言简化一些，并添加更多视觉描述吗？
<|assistant|>
# 神奇衣橱的秘密
下雨天，小托马斯在奶奶家玩耍。奶奶的房子又大又旧，有许多有趣的房间。
"不要去阁楼，"奶奶说完就去睡午觉了。
托马斯很好奇。他轻轻地走上楼梯。楼梯发出"吱呀吱呀"的声音，好像在说话一样。
阁楼的门没锁！托马斯推开门，看到一个大大的棕色木衣橱站在房间中间。衣橱上雕刻着奇怪的图案，闪闪发光。
"我只看一眼，"托马斯小声说。他拉开了沉重的衣橱门。
哇！里面没有衣服，而是一条小路！小路两边是高高的绿色松树，地上铺着白白的雪，就像奶油蛋糕上的糖霜。
托马斯感觉到凉凉的风吹在脸上。风里有松树的香味，还有远处篝火的味道。
他走进衣橱，踩在雪地上。"咯吱咯吱"，雪发出好听的声音。当他回头看时，衣橱门不见了！只有更多的树和慢慢变暗的天空。
"哦，"托马斯说，"我应该回去吗？"但他决定继续走，因为前面可能有更多惊喜。
不久，他看到远处有亮亮的灯光。他听到快乐的歌声和笑声。托马斯跑过去，来到一个小村庄。
这里的房子像大蘑菇一样，红色的屋顶，蓝色的门，黄色的窗户发出温暖的光。
村子里住着小精灵！他们只有托马斯一半高，有尖尖的耳朵，亮亮的大眼睛，穿着彩色的衣服。
"欢迎，衣橱来的小朋友！"小精灵们高兴地喊道。他们跳上跳下，围着托马斯转圈。
村长精灵有长长的白胡子，戴着一顶闪亮的红帽子。"你来得正是时候，小朋友，"村长说。"冰雪国王让我们的世界总是冬天。我们需要你的帮助找到春天钥匙，让花儿再次开放！"
托马斯睁大了眼睛。"我？我能帮忙吗？"
"当然！"村长笑着说。"预言说，从衣橱来的勇敢小朋友会帮助我们。"
就这样，托马斯开始了一次大冒险。他穿过闪闪发光的冰洞，爬上彩虹色的山丘，还和会说话的动物成了朋友。
他遇到了调皮的雪精灵，它们像小雪球一样滚来滚去。他看到了冰做的城堡，城堡里的窗户像钻石一样闪耀。
最后，托马斯找到了春天钥匙。钥匙是金色的，上面有花朵形状。当他用钥匙打开季节之门时，温暖的阳光照进了这个世界。
雪开始融化，五颜六色的花朵从地下钻出来。小鸟开始唱歌，小溪欢快地流淌。
小精灵们欢呼雀跃，举办了一个大派对。他们戴上花环，跳着欢快的舞蹈。托马斯吃到了彩虹蛋糕和星星糖果。
当派对结束时，村长带托马斯回到了森林中的一扇门前。"这会带你回家，勇敢的托马斯，"村长说。"记住，真正的魔法就在你心里。"
托马斯走过门，发现自己回到了奶奶的阁楼。衣橱看起来普通极了。
当他下楼时，奶奶刚刚醒来。"你去哪儿了，托马斯？"她问。
托马斯微笑着。"我有个神奇的冒险，奶奶。要听听吗？"
奶奶眨眨眼睛。"当然，亲爱的。我很喜欢冒险故事。"
托马斯开始讲述他的故事，而奶奶的眼睛闪烁着，好像她也知道衣橱的秘密一样。
因为最神奇的冒险，有时就在我们家里，只要我们愿意去寻找！