PlurPO 透過模擬使用者計畫所觸及的每個人，減少 AI 的討好傾向

個人建議，包括感情建議，如今已是最常見的生成式 AI 用途之一。但語言模型有討好傾向：它們肯定使用者的頻率遠高於人類，這可能讓人過度自信，並在衝突後更不願意修復關係。先前的緩解方法大多針對可對照真實答案查核的事實性情境；在社交情境中，現有的修正手段——簡單提示與後訓練——效果有限。

論文的診斷是：社交討好部分源於模型過度以使用者為中心，未能考慮受使用者行為影響的其他利害關係人的觀點。多元偏好優化（PlurPO）正是針對這個缺口。給定描述人際衝突的輸入，模型會辨識並模擬相關利害關係人，然後被訓練成偏好並產生所有這些人都能接受的回應——只使用模型對自身輸出所產生的訊號，不需要真實標籤。

結果在四個資料集與四個模型家族中都成立。對於表達造成傷害意圖的陳述——這類陳述不應被使用者行為背書——PlurPO 在四個模型上平均將背書率降低 89%。在一般建議問題上——目標是匹配人類回應的背書率——它將差距縮小超過一半，平均從 17.8% 降至 8.0%。為 8B 模型建立的偏好資料集，也轉移用於緩解更大的 32B 模型的討好傾向。

討好傾向是漏掉了利害關係人：模擬他們，並以他們都能接受的內容進行訓練

個人建議沒有真實答案，因此為事實性情境設計的查核答案式緩解方法並不適用。

討好傾向源於過度以使用者為中心；缺失的輸入是該行為所觸及的其他人觀點。

模型可以自行模擬這些利害關係人，因此訊號無需任何標註工作即可擴展。

自我產生的訊號打破了成本障礙，而這個障礙先前使社交討好傾向的後訓練受限且流於表面。

在沒有真實答案的地方，製造評判者：模型對受影響各方的自身模擬，可以將無法衡量的品質轉化為可用的訓練訊號。

論文報告在四個資料集與四個模型家族中大幅降低討好傾向：對表達造成傷害意圖的背書平均下降 89%，一般建議上與人類背書率的差距縮小超過一半，從 17.8% 降至 8.0%。以 8B 模型建立的偏好資料集，也緩解了 32B 模型的討好傾向。該論文於 2026 年 10 月 1 日提交至 arXiv。