Aplaud는 공유 기반과 저랭크 보정으로 사용자별 LLM을 더 가볍게 만들었다

개인화된 설문 응답 예측에는 서로 연결된 세 가지 제약이 있다. 각 사용자가 제공하는 훈련 데이터가 적고, 별도의 적응된 모델을 저장하는 것은 비용이 많이 들며, 모델은 설문 질문 전반에 공유된 구조를 활용해야 한다. 따라서 사용자별 적응 전략은 확장하기 어려워진다.

가장 확실한 방법은 사용자마다 별도의 미세 조정을 유지하는 것이다. Aplaud는 공유 저랭크 기반을 동결하고 간결한 사용자별 보정만 학습하도록 LoRA를 확장한 뒤, 더 세밀한 개인화를 위해 랭크-1 잔차를 추가한다. 이 보정 자체는 더 낮은 랭크 형태로 인수분해될 수 있다.

이 논문은 사용자 전반에 걸쳐 효율적이고 확장 가능한 개인화를 보고하며, Aplaud가 일반화와 추론 효율성 모두에서 최신 LoRA 기반 개인화 LLM 접근법을 능가한다고 밝힌다.

기반을 공유하고, 각 사용자의 보정을 저장한다

공유 저랭크 기반은 공통 작업 구조를 사용자 전반에 걸쳐 분담한다.

간결한 보정은 공유 적응을 복제하지 않고도 사용자별 변이를 포착한다.

랭크-1 잔차는 적은 파라미터 비용으로 더 세밀한 개인화를 추가한다.

추가 인수분해는 사용자별 파라미터를 줄이고 과적합 완화에 도움을 준다.

사용자들이 동일한 작업을 반복할 때, 공유 구조를 분담하고 사용자별로 저랭크 편차만 저장하라. 개인화는 별도의 모델 복사본 대신 작은 사용자 상태를 통해 확장될 수 있다.

Aplaud는 개인화를 하나의 공유 적응과 작은 사용자별 상태로 재구성한다. 보고된 일반화 및 추론 효율성 이득은 의도된 효과를 보여준다. 즉, 모든 사용자마다 별도의 완전한 적응이 저장과 추론을 증가시키지 않으면서 대규모 언어 모델을 개인화하는 것이다.