토스의 연합학습 연구 FedLPA — NeurIPS 2025 게재

요약

연합학습은 데이터를 중앙에 모으지 않고 모델을 학습하는 방법이지만, 클라이언트마다 데이터 분포가 다르고 미지의 범주가 등장하면 기존 방법으로는 대응이 어렵습니다. 토스 Face Modeling Team이 이 문제를 해결한 FedLPA 알고리즘을 NeurIPS 2025에 게재한 과정에 대한 글입니다.

인사이트

• 기존 연합학습은 클라이언트 간 데이터 분포가 다르면(Non-IID) 성능이 떨어지고, 학습 중 새로운 범주가 등장하면 대응 불가
• FedLPA는 InfoMap 클러스터링으로 범주 수를 사전 지정하지 않고 자동 추정
• 예측 분포를 실제 데이터 분포(Empirical Prior)와 강제 일치시키는 LPA 정규화로 편향된 데이터에서도 균형 학습 가능

해결

1. 신뢰도 기반 로컬 구조 발견 (CLSD)

• Feature Vector 기반 유사도 그래프 생성, 높은 신뢰도 샘플을 선별하여 의사 라벨로 그래프 강화

2. InfoMap 클러스터링

• 확률적 랜덤 워크로 자연스러운 커뮤니티 탐지, 범주 수를 사전에 지정할 필요 없음

3. 로컬 사전 확률 정렬 (LPA)

• 자가 증류로 Augmented View 간 일관된 예측 유도, 예측 분포를 실제 데이터 분포와 강제 일치

참고

토스의 실제 활용 사례로 페이스페이 해외 진출 시 현지 생체 데이터를 현지에 보관하면서 고성능 인식 모델을 구축하는 시나리오, 이상거래탐지(FDS)에서 신종 사기 패턴 자동 학습 등을 언급하고 있습니다.