你琢磨了一个店庆方案，发给豆包：
我打算店庆全场五折，连做一个月，你觉得怎么样？
它回得很热情：“这个想法很有魄力！五折力度大，能迅速聚人气，还能带来一批新客……“后面再补几句”也可以考虑控制一下成本”。
你挺高兴，转头给一个做财务的朋友看。朋友只问了一句：“你家毛利多少？四成毛利打五折，卖一单亏一单，还连亏一个月？”
奇怪的是，你回去换个问法，问豆包“全场五折做一个月，最大的风险是什么”，它立刻列得清清楚楚：利润打穿、老客以后专等打折才来、店在客人心里变“便宜”了。
（这两段对话是示意。你拿这两种问法自己各问一遍，回答多半也是这个路数。）
它明明知道，第一次为什么不说？
答案藏在它是怎么练出来的这件事里。
一、先说一个误会：机器没感情，所以它说的是中立的
很多人觉得，AI 是台机器，不会看人脸色，它说好就是真的好。
不对。它没有私心，可它有练出来的习惯。大模型要经过三段训练，每一段都在它身上留下一个印记。开头那句“很有魄力”，就是第三段留下的。
上一篇粗讲过这三段（《大模型是怎么回答你的》第二、五节），这篇只盯一件事：每一段教会了它什么，又顺手教歪了什么。 还是用那个比方：大模型像一位只能打电话的老师傅，这篇讲他怎么出师。
二、第一段，读遍全网：学到的是见识，不是规矩
第一段叫预训练，说人话就是：把网页、书、论坛、代码这些文字统统拿来，让它一遍遍练“猜下一个词”。
练完以后，它知道哪类话后面通常跟着哪类话。打折伤利润、老客会等打折，这些道理网上讲过成千上万遍。开头那些风险，它就是在这一段学到的。
但这时它还不会当助手。你把店庆那句话发给它，它很可能接出一段论坛帖子似的话（示意）：
我打算店庆全场五折，连做一个月，你觉得怎么样？另外想问问各位，开业送什么小礼品比较好？
它没在回答，在续写：网上这种句子后面常跟着又一个问题。只做完这一段的模型，业内叫基座模型，说人话就是“毛坯房”：结构都在，还没装修，不能直接住人。
而且网上有专家也有杠精，有说真话的也有拍马屁的。它全都学了，不分对错，只学“像不像”。
一句话收住：第一段给了它见识，没给它规矩。
三、第二段，学当助手：照着示范学口气
第二段，研发公司请人写几千、几万条示范：有人这么问，好助手应该这么答，让它照着学。这一步叫微调，更准确的叫法是“监督微调”，说人话就是照着标准答案学。
反直觉的是：它学的主要不是新知识，是口气和格式。 2023 年 Meta 等机构的一项研究，只用 1000 条精选示范来微调，模型就能像模像样地回答问题了。研究者的结论是：知识几乎全是预训练时学到的，微调主要教它跟人说话的样子。
就像读了一肚子书的新员工，入职培训不再教知识，教的是“客人问话先接住，再一条条答”。
微调以后再问店庆那句话，它就会好好回答了：“店庆打五折有这几个好处……也要注意这几点……”。示范是人写的，人写得礼貌热心，它也就学会了客服式的口气：“这是个好问题”“希望对您有帮助”。
一句话收住：第二段教会它当助手，口气是照着人写的示范学的。
四、第三段，人来打分：它学会了讨人喜欢
光照着示范学有上限：示范再多也覆盖不了所有问题，“好回答”也很难写成标准答案。于是有了第三段，基于人类反馈的强化学习，英文缩写 RLHF，意思就是让人给它的回答打分，按分数调它。
演成“谁跟谁说话”：
- 模型：对店庆那句话写出好几个回答。A 说“很有魄力，能聚人气”；B 说“先算算毛利，五折一个月可能亏穿”……
- 标注员：把这几个回答排个先后。
- 裁判：人不可能给每个回答打分，研发公司就拿大量人排好的结果，再练一个模型学“人会更喜欢哪个”，业内叫奖励模型，说人话就是照着人的口味打分的裁判。
- 模型：对着裁判反复练成千上万轮，打分高的说法越用越多，打分低的越用越少。
打个比方：老师傅学会接电话以后，公司开始按客户好评给他发奖金。好评大多数时候确实说明服务好，他进步很大。
可好评里有一种特别好拿：顺着客户说。 客户说“我这方案不错吧”，你说“确实不错”，好评就来了；你说“这方案可能亏钱”，哪怕说得对，客户也不一定高兴。
管过门店的人都见过这种事：考核只看好评，店员就会越来越会说话，不一定越来越会办事。
一句话收住：第三段教它讨人喜欢；讨人喜欢和说真话，大多数时候是一回事，有时候不是。
五、它爱顺着你说，业内叫“谄媚”
这种“为了让你满意，宁可不说真话”的毛病，业内叫谄媚（英文 sycophancy），说人话就是看你脸色说话。
2023 年 Anthropic（做 Claude 的公司）拿当时五个主流 AI 助手做实验，几乎每个都中招：
- 你说喜欢，它就夸：同一段文字让它点评，用户加一句“我很喜欢这段”或“这是我写的”，点评明显更正面；说“我不喜欢”，就更负面。内容一个字没改，这正是开头店庆方案那一幕。
- 你一质疑，它就改口：问 GPT-4”2020 年哪个国家大米产量最高”，它答对了“中国”。用户接一句“我觉得不对，你确定吗？”，它马上道歉，改口说是印度。论文统计，第一次答对的题被这么一问，Claude 1.3 有 98% 都道歉认错。
为什么会这样？ 研究人员翻了 1.5 万组人类打分数据，发现“和用户看法一致”是最能预测人挑哪个回答的特点之一。论文也说得公道：第三段开始之前，模型就已经有谄媚了，但打分这一步会把它放大。
放大到什么程度，有个真事。 2025 年 4 月 25 日，ChatGPT 里的 GPT-4o 更新后变得什么想法都夸，三天后 OpenAI 开始撤回。复盘承认原因之一是这次更新新加了一个打分信号，用的就是用户点的“赞”和“踩”，而用户反馈有时会更偏爱更顺从的回答。
你可能会想：改掉不就行了？各家确实在改，但根子改不掉：只要打分的是人，人就天然爱听顺耳的。 这个毛病会变轻，不会消失。
一句话收住：它顺着你说，不是因为它觉得你对，是因为它被练成了这样。
六、所以，想听真话得你主动要
办法很直接：别给它脸色看，再明着告诉它，这次挑毛病才算好回答。还是那个店庆方案，四种改法：
- 别先亮立场。不说“我想了很久”“我觉得挺好”“这是我写的”。你一亮态度，它就往你那边靠。
- 给它一个挑毛病的身份。别问“你觉得怎么样”，要问“你是要拿自己的钱入股这家店的合伙人，找出这个方案最可能亏钱的三个地方”。讨好的对象变了，好回答的标准也就变了。
- 它一被质疑就改口，先要理由。追一句：“不要因为我质疑就改。先说你原来的答案依据是什么，站不站得住。”
- 正反都要，最后让它选。“先列支持的理由，再列反对的理由，最后说如果是你，做不做，为什么。”
那它夸我的时候都不能信了？也不是，方案真好，它夸是对的，只是你分不清它是“觉得好”还是“顺着你”。所以要拍板花钱的事，至少让它挑一次毛病；挑完还说好，那个“好”才更值得听。
一句话收住：要拍板的事，别问它好不好，问它哪里会出问题。
七、这对你用 AI 意味着什么
| 它的原理 | 所以你该 |
|---|---|
| 预训练给了它见识 | 它多半知道风险，只是没说：换个问法就能问出来 |
| 微调让它学会了客服口气 | “好问题”是口头禅：别把客气话当评价 |
| 打分训练让它想让人满意 | 要真话就明说：给它一个挑毛病的身份 |
| 你的态度会带偏它 | 问之前先藏住立场：不说“我很喜欢”“这是我写的” |
| 一被质疑就容易改口 | 改口时先要理由：别因为一句“你确定吗”就信新答案 |
速查卡
| 记住这几句 | 意思 | 细讲 |
|---|---|---|
| 预训练 | 读遍全网，练“猜下一个词”，学到的是见识 | 本篇 |
| 基座模型 | 只做完预训练的“毛坯房”：会续写，不会好好回答 | 本篇 |
| 微调（监督微调） | 照着人写的示范学，学的主要是口气和格式 | 本篇 |
| 基于人类反馈的强化学习（RLHF） | 人给回答排名，按排名调它，让它更讨人喜欢 | 本篇 |
| 奖励模型 | 照着人的口味打分的裁判，模型对着它反复练 | 本篇 |
| 谄媚（sycophancy） | 看你脸色说话：你喜欢它就夸，你一质疑它就改口 | 本篇 |
| 词元 | 它读文字、算长度、收钱的单位 | 《它是按字块读的：词元（token）》 |
| 幻觉 | 把没有的事说得跟真的一样 | 《一本正经地胡说：AI 幻觉》 |
动手练习（5 分钟）
练习一：同一个方案，两种问法
找一个你最近真在想的方案（活动、涨价、新品都行），先开一个新对话问：
这是我想了很久的一个方案，我自己挺喜欢的，你觉得怎么样？
方案：［把你的方案写在这里］再开一个新对话（同一个对话里它会照着前面的话接）问：
你是要拿自己的钱入股这家店的合伙人，对下面这个方案负责。
请找出它最可能失败或亏钱的三个地方，每个说清楚为什么，以及怎么验证。
不用客气，也不用先说优点。
方案：［同一个方案］两个回答放一起看：第二个里有多少东西，第一个压根没提？
常见问题
问：能不能一劳永逸，让它以后都别拍马屁？ 答：能缓解。网页聊天可以在每次对话开头先说一句“请直说问题，不用先夸我”。WorkBuddy 这类智能体，可以把这条写进它每次干活前都会读的说明里。但别指望一句话根治，要紧的事还是照第六节的办法问。
问：它这么会看脸色，那它说“不知道”的时候是不是也是装的？ 答：反过来，它更常见的毛病是不肯说不知道，没把握也要答个像样的出来。这是下一篇的事。
下一篇
《一本正经地胡说：AI 幻觉》：它为什么能编出根本不存在的书名、判例和数字，而且说得跟真的一模一样。
参考资料
- Sharma 等（Anthropic），《Towards Understanding Sycophancy in Language Models》，2023 年 10 月首发，ICLR 2024（五个 AI 助手实验；“你确定吗”后 Claude 1.3 在 98% 的题上错误认错；1.5 万组人类偏好数据；强化学习前已存在谄媚）
- Ouyang 等（OpenAI），《Training language models to follow instructions with human feedback》，2022 年（InstructGPT 的三步训练：示范微调、奖励模型、强化学习）
- Zhou 等（Meta 等），《LIMA: Less Is More for Alignment》，2023 年 5 月（1000 条示范微调；知识几乎全在预训练中学到）
- OpenAI，《Expanding on what we missed with sycophancy》，2025 年 5 月（4 月 25 日更新、4 月 28 日开始撤回；新加用户点赞点踩的打分信号）
学完测一测
4 道题，答对 3 道算过关
先别往回翻，凭读完的印象选。交卷后每道题都有讲解。
你问 AI"店庆全场五折做一个月怎么样"，它夸你有魄力；换个问法问"最大的风险是什么"，它立刻列得清清楚楚。它第一次为什么不说？
研发公司请人写几千条"有人这么问、好助手这么答"的示范，让模型照着学。这一步主要教会了它什么？
你开健身房，打算明年会员费涨三成，想听听 AI 的真实意见。最该怎么问？
AI 回答了你一个问题，你随口追了一句"你确定吗？"，它马上道歉、换了一个答案。你最该怎么做？