대형 언어 모델(LLM)의 진화: SFT, RLHF, DPO, 그리고 ORPO까지

🚀 대형 언어 모델(LLM)의 진화: SFT, RLHF, DPO, 그리고 ORPO까지

AI 기술이 눈부시게 발전하면서, 인간처럼 말하고 이해하는 대형 언어 모델(LLM)이 일상 속으로 깊숙이 들어오고 있습니다. 그러나 이런 성능의 이면에는 수많은 연구자와 엔지니어들이 개발한 미세조정(Fine-Tuning) 기법들이 자리하고 있습니다.

이번 글에서는 대표적인 LLM 훈련 기술인 SFT, RLHF, DPO, ORPO를 개념부터 기술적 특징, 장단점까지 심층적으로 정리해보려 합니다.

---

🔧 1. SFT (Supervised Fine-Tuning)

지도 학습 기반 미세조정(SFT)은 가장 전통적인 방식으로, 모델이 주어진 입력에 대해 특정한 정답을 출력하도록 학습시키는 방법입니다. 예를 들어, 질문에 적절한 답변을 제공하는 텍스트 쌍(QA pair) 같은 데이터셋을 활용합니다.

SFT는 GPT, BERT 등의 기본적인 언어모델을 특정 태스크에 맞춰 미세조정할 때 널리 사용됩니다. 예를 들어, 의료 상담, 법률 문서 분석, 고객 응대 챗봇 등에 맞게 사전 학습된 모델을 SFT로 튜닝하면 보다 관련성 높은 출력을 얻게 됩니다.

• 📌 장점: 데이터 품질이 높다면 안정적인 성능 확보가 가능하며 구현이 간단합니다.
• ⚠️ 단점: 사람의 선호도나 다채로운 표현을 반영하기 어렵고, 반복되는 패턴만 학습할 수 있습니다.

---

🧠 2. RLHF (Reinforcement Learning from Human Feedback)

RLHF는 ChatGPT의 등장 이후 널리 알려진 방법으로, 모델이 사람처럼 응답하도록 사람의 평가 피드백을 활용해 강화학습을 적용하는 전략입니다.

구체적인 절차는 다음과 같습니다:

1. 우선, SFT로 모델을 1차 미세조정합니다.
2. 그 다음, 사람 평가자들이 여러 출력 중 "더 바람직한 응답"을 고르는 선호 데이터(preference data)를 수집합니다.
3. 이 데이터를 활용해 보상 모델(Reward Model)을 학습시킵니다.
4. 마지막으로, 이 보상 모델을 기반으로 RL(예: Proximal Policy Optimization, PPO)을 사용해 모델을 다시 훈련합니다.

RLHF는 실제 유저 피드백을 반영하여, 인간다운 톤과 자연스러운 표현을 만들어낼 수 있다는 장점이 있습니다.

• 📌 장점: 인간 선호를 반영한 현실적이고 다채로운 출력 가능
• ⚠️ 단점: 보상 모델 학습, RL 알고리즘 구현 등으로 인해 복잡하고 비용이 많이 듭니다.

---

⚖️ 3. DPO (Direct Preference Optimization)

RLHF의 복잡성을 줄이기 위해 제안된 방법이 바로 DPO입니다. DPO는 보상 모델도 없고 RL 알고리즘도 없는 심플한 방식이지만, 놀랍게도 뛰어난 성능을 보여줍니다.

핵심 아이디어는 다음과 같습니다: 사람이 응답 A보다 B를 선호했다면, 그 선호 쌍을 바탕으로 모델 출력 확률의 비율을 조정하는 식으로 파라미터를 업데이트합니다. 이는 수학적으로 정교한 방식으로, 실제 RL 없이도 모델을 효과적으로 튜닝할 수 있게 해줍니다.

실험 결과, DPO는 RLHF와 유사하거나 더 뛰어난 품질의 응답을 생성하기도 하며, 무엇보다 구현이 단순해 매우 주목받는 기법입니다.

• 📌 장점: RL 없이도 성능 확보, 구현 간결, 학습 안정성 향상
• ⚠️ 단점: 여전히 참조 모델(reference model)이 필요하며, 잘못된 선호 데이터가 있으면 역효과 가능

---

🆕 4. ORPO (Odds Ratio Preference Optimization)

ORPO는 가장 최근에 등장한 DPO의 진화 버전입니다. 가장 큰 차이점은 "참조 모델 없이" 학습이 가능하다는 점인데요, 이것이 가능하도록 만든 수학적 도구가 바로 odds ratio (확률 비율)입니다.

기존 DPO에서는 참조 모델과의 비교를 통해 선호 응답의 상대적 우위를 계산했지만, ORPO는 모델의 현재 출력만으로도 선호도를 반영하는 방향으로 파라미터를 조정합니다. 이렇게 하면 학습 구조가 훨씬 간단해지고 계산량이 줄어들며, 비용 효율이 크게 향상됩니다.

ORPO는 아직 논문 단계에서 주로 다뤄지고 있지만, 대형 모델 훈련의 비용 및 복잡도를 줄일 수 있다는 가능성으로 인해 연구자들 사이에서 매우 활발히 논의되고 있습니다.

• 📌 장점: 참조 모델 없이 학습 가능, 계산 자원 절약, 학습 효율 향상
• ⚠️ 단점: 아직 초기 연구 단계이며, 실전 적용 사례가 많지 않습니다.

---

📝 마무리하며

지금까지 살펴본 SFT → RLHF → DPO → ORPO의 흐름은, AI가 더욱 자연스럽고 인간 친화적인 방식으로 진화하고 있음을 보여줍니다. 초기에는 단순한 지도 학습에서 시작했지만, 사람의 평가, 선호도, 의도까지 반영하는 방향으로 기술이 발전해왔죠.

앞으로도 이들 기술은 더 개선되고 결합되며, 맞춤형 AI 개발, 저비용 고성능 모델 튜닝, 윤리적인 AI 훈련 등 다양한 분야에서 핵심 역할을 할 것으로 기대됩니다.

AI 시대를 살아가는 우리에게, 이러한 미세조정 기법을 이해하는 것은 단순한 기술 이상의 의미를 가집니다. 우리가 원하는 AI, 신뢰할 수 있는 AI를 만드는 데 있어 우리가 무엇을 중요하게 생각하는가를 모델에 반영할 수 있는 도구이기 때문입니다.