Aplaud通过共享基座和低秩修正使个性化LLM更轻量

个性化问卷回答预测有三个相互关联的限制：每个用户提供的数据少，存储单独调整的模型成本高，模型应利用调查问题间共享的结构。因此，为每个用户单独调整模型的策略难以扩展。

明显的方法是为每个用户保留一个单独的微调模型。Aplaud扩展了LoRA，冻结共享的低秩基座，只学习紧凑的用户特定修正，并添加秩一残差以更精细地实现个性化。该修正可进一步分解为更低秩的形式。

论文报告了跨用户的具有高效率和可扩展性的个性化表现，Aplaud在泛化性和推理效率上均优于最先进的基于LoRA的个性化LLM方法。

共享基座，存储每个用户的修正

共享的低秩基座将跨用户的通用任务结构摊销。

紧凑的修正捕捉用户特定差异，而不复制共享的调整器。

秩一残差添加精细个性化，参数开销小。

进一步分解降低每用户参数，有助于减轻过拟合。

当用户重复执行相同任务时，分摊共享结构，每个用户仅存储低秩偏差。个性化可以通过小型用户状态扩展，而非每个用户单独模型副本。

Aplaud将个性化重新定义为共享调整外加每用户的小状态。其报告泛化性和推理效率的提升表明预期成果：使大规模语言模型做个性化时，存储和推理成本不随每个用户的完整调整而线性增长。