DeepSeek-R1 핵심 내용 요약

주요 특징 및 모델 아키텍처

 

• 대용량 Mixture-of-Experts 구조: DeepSeek-R1은 전문가 혼합(MoE) 아키텍처를 채택한 초거대 언어 모델입니다. 총 파라미터는 약 **6710억 개(671B)**이지만, 각 토큰을 생성할 때 활성화되는 파라미터는 **370억 개(37B)**에 불과합니다 . 이는 여러 전문가 네트워크 중 입력에 맞는 일부만 활용하는 방식으로, 효율적으로 초대형 모델의 능력을 끌어내면서도 추론 시 계산 비용을 줄였습니다 .

• 기반 모델 DeepSeek-V3: R1의 기초가 되는 DeepSeek-V3-Base 모델은 14.8조 토큰 규모의 방대한 데이터로 사전 학습된 MoE LLM으로, 이미 수리 및 코딩 능력 등에서 강력한 성능을 보이는 공개 모델입니다 . DeepSeek-R1은 이 V3 모델을 기반으로 추가 학습을 진행하여 만들어졌습니다. (DeepSeek-V3는 FP8 혼합정밀도 훈련 등 최적화 기법을 활용하여 비교적 적은 비용으로 학습되었고, MMLU나 수학/코드 벤치마크에서 당시 공개 모델들을 앞선 성능을 보인 바 있습니다 .)

• 오픈 소스 및 파생 모델 제공: 중국 스타트업 DeepSeek-AI에서 개발했으며, MIT 오픈 라이선스로 공개되었습니다 . 원본 R1(671B MoE) 모델 외에, 이 모델을 증류(distillation)하여 얻은 1.5B, 7B, 8B, 14B, 32B, 70B 파라미터 규모의 소형 밀도(dense) 모델들도 함께 공개한 점이 특징입니다 . 즉, 연구 커뮤니티는 거대한 R1의 추론 능력을 계승한 작은 모델들을 바로 활용하거나 추가 연구에 사용할 수 있습니다.

 

학습 방법과 데이터 활용

• 기존 방식과 다른 접근: 일반적인 LLM 파이프라인은 대규모 코퍼스 사전학습 → 지도 데이터로 SFT(지도 미세조정) → RLHF(인간 피드백 강화학습) 단계를 거칩니다. 반면 DeepSeek-R1은 새로운 학습 레시피를 도입했습니다. **핵심 아이디어는 “모델에게 정답을 맞히는 보상만 주고 스스로 연쇄적 사고(Chain-of-Thought, CoT)를 배우도록 하자”**는 것입니다 . 이를 통해 인간이 일일이 예시를 주입하지 않고도 모델이 복잡한 추론 능력을 자율적으로 진화시킬 수 있는지 탐구했습니다. 전체 학습 과정은 다음과 같습니다:

 

1. 1단계 – R1-Zero (순수 RL 단계): **기반 모델(V3-Base)**을 가져와 아무런 지도학습(SFT)을 하지 않은 채 곧바로 강화학습을 적용했습니다 . 여기서 사용된 알고리즘은 GRPO(Group Relative Policy Optimization)라는 PPO 계열 기법으로, 대규모 모델에 별도 크리틱 모델 없이도 안정적으로 정책을 업데이트할 수 있게 고안되었습니다 . 학습을 위해 수학 문제, 코딩 문제 등 정답의 정확성 여부를 자동으로 판별할 수 있는 과제들을 대량으로 활용했습니다. 예를 들어 수학 문제는 최종 답안을 특정 포맷(예: <answer>정답</answer>)으로 작성하게 한 뒤, 정답과 일치하는지 평가해 정확도 보상을 주었습니다 . 코딩 문제의 경우 LeetCode/Codeforces 문제에 대해 모델이 출력한 코드의 컴파일 및 테스트케이스 통과 여부로 보상을 계산했습니다 . 또한 모델이 생각한 과정을 <think>...</think> 태그 사이에 쓰도록 유도하고, 이 형식을 지키면 추가 보상을 주어 추론 과정을 명시적으로 작성하도록 했습니다 . 이처럼 규칙 기반의 보상 함수만으로 (별도의 신경망 판별자 없이) 모델이 정답을 맞히고 과정도 작성하도록 강제했습니다. 초기에는 정답을 맞히지 못해도 생각 과정을 조금씩 시도하다가, 점차 보상을 극대화하는 방향으로 자기 자신을 개선해갔습니다. 그 결과 몇 천 스텝의 RL 훈련을 거치면서 모델이 자연스럽게 연쇄적 사고(CoT), 자기 검증(self-verification), 반성(reflection) 등의 흥미로운 추론 행동들을 스스로 습득하게 되었습니다 . 이를테면 문제를 풀다가 자신의 이전 계산을 재평가하거나, 여러 접근법을 시도해보는 모습이 관찰되었습니다 . 이러한 R1-Zero 모델은 파인튜닝 없이 RL만으로도 뛰어난 추론 능력을 달성할 수 있음을 최초로 입증한 사례로 보고되었습니다 . 실제로 대규모 RL을 통해 R1-Zero의 수학/코드 문제 정답률이 크게 향상되었는데, 예컨대 미국 수학경시(AIME 2024)에서 정확도 15.6%였던 것이 71.0%까지 상승하여 OpenAI GPT-4 수준에 육박했습니다 . (또한 하나의 문제에 대해 여러 번 답을 생성한 뒤 다수결로 최종 답을 결정하는 majority voting을 적용하면 AIME 성능이 **86.7%**까지 올라가 GPT-4를 넘기도 했습니다 .) 다만, R1-Zero는 사람이 가이드한 적이 없는 만큼 출력 형식이 다소 혼란스럽다는 문제가 있었습니다. 예를 들어 답변이 불필요하게 반복되거나 문장이 정제되지 않고, 여러 언어가 뒤섞이는 현상도 나타났습니다 . 이는 추론 능력 자체는 좋지만 응답의 가독성과 일관성이 떨어지는 초기 상태였습니다.

 

2. 2단계 – 콜드스타트 SFT (형식 교정 단계): R1-Zero의 출력 품질 문제를 개선하기 위해, 중간에 소량의 지도학습 데이터로 모델을 한 차례 미세조정했습니다 . 이때 사용된 데이터는 **“콜드 스타트(cold-start) 데이터”**라고 불리는데, 표준화된 CoT 형식의 문제-해답 예시 수천 개를 수집한 것입니다 . 즉, 모델에게 연쇄적 사고를 보여주는 양질의 예시를 주어, 추론은 R1-Zero처럼 하되 출력 표현을 깔끔하게 만드는 지도학습을 수행했습니다. (이 단계에서 비로소 SFT가 도입되지만, 가장 핵심적인 추론 능력은 이미 이전 단계에서 RL로 확보했기 때문에, 여전히 인간의 개입을 최소화한 접근으로 볼 수 있습니다 .)

 

3. 3단계 – 추론 중심 RL (DeepSeek-R1 중간 단계): 콜드스타트 SFT로 정제된 모델을 다시 한번 대규모 강화학습에 투입했습니다. 방법은 1단계 R1-Zero 때와 유사하게, 수학·코드 등 고난도 추론 문제들에 대한 RL 보상 최적화를 진행합니다 . 다만 이번에는 이미 형식이 개선된 상태이므로, 보다 복잡한 문제들까지 다루며 모델의 추론 성능을 한층 끌어올렸습니다 . 이 과정에서도 정답 정확도와 CoT 태그 등의 규칙 기반 보상을 사용하여 모델의 논리 전개와 정확성을 강화했습니다.

 

4. 4단계 – 거부 샘플링을 통한 데이터 생성 및 추가 SFT: 3단계의 RL이 거의 수렴해갈 때쯤, 현재 모델이 풀고 있는 문제들에 대해 모델이 만들어낸 답변들을 여러 개 샘플링합니다. 그 중 **품질이 높은 답변들(예: 정답에 가까운 추론)**만 선별(거부 샘플링)하여 새로운 학습 데이터로 활용했습니다 . 이렇게 모델 스스로 생성한 고품질 데이터에, 추가로 DeepSeek-V3 모델이 원래 잘하던 작업들에 대한 지도 데이터(예: 글쓰기, 상식 QA, 자기소개 등의 SFT 데이터)를 결합했습니다 . 요컨대, RL 모델이 확보한 논리적 사고 데이터 + 일반 언어 임무 데이터를 합쳐서 약 80만 개 정도의 새로운 학습 샘플을 만들었습니다 . 그리고 이 데이터로 **기반 모델(V3-Base)**을 다시 한 번 2 epoch 정도 지도 미세조정했는데, 이렇게 얻은 체크포인트는 이전보다 다양한 분야에 대한 대응 능력을 갖추게 됩니다 . (참고로 이 단계에서는 프롬프트를 구성할 때, 질문이 너무 간단한 경우는 굳이 Chain-of-Thought를 주지 않고 바로 답하도록 하는 등, 실제 활용 시 과도한 사고 출력이 나오지 않도록 세심하게 데이터 구성에 신경 썼습니다 .)

 

5. 5단계 – 전체 시나리오에 대한 최종 RL: 마지막으로, 이렇게 얻은 모델을 대상으로 모든 종류의 질문 상황을 포함하는 RL 훈련을 한 번 더 수행했습니다 . 이전까지의 RL이 주로 수학·코딩 같은 reasoning 위주의 평가 환경이었다면, 이제는 일반적인 대화, 지식질문, 번역, 글쓰기 등 다양한 프롬프트도 포함하여 RL을 진행합니다. 이때는 모델의 **유용성(helpfulness)과 안전성(harmlessness)**도 고려한 복합 보상을 도입했습니다 . 예를 들어, 응답이 사용자 질문에 얼마나 정확하고 도움되는지에 점수를 주고, 유해하거나 부적절한 내용은 패널티를 부여하는 식입니다 . (이러한 평가는 사람이 일일이 한 것은 아니지만, 미리 준비된 **선호도 데이터(pair)**와 안전 정책을 활용해 자동화된 보상모델 또는 규칙으로 이뤄진 것으로 보입니다.) 이렇게 모델의 추론력 + 사용자 친화도를 함께 향상시키는 RLHF 유사 과정을 거쳐 최종적으로 얻어진 모델이 DeepSeek-R1입니다 . 이 모델은 초반 R1-Zero의 강력한 논리 추론 능력을 유지하면서, 출력이 훨씬 깔끔하고 일관적이며 다양한 질문에 실용적으로 대응할 수 있게 되었습니다 .

 

• 데이터 구성 요약: 학습에 사용된 주요 데이터에는 수학 경쟁 문제 (AIME 등), MATH 데이터셋(고등 수학 문제 500개), 코딩 문제 (LeetCode, Codeforces 등), **논리 퍼즐(GPQA 등)**이 포함되었습니다. 이러한 문제들은 정답을 검증하기 용이하여 RL 보상으로 활용되었고, 모델의 논리력을 키우는 데 핵심 역할을 했습니다. 이후에는 모델이 생성한 CoT 답변들과, 일반 도메인의 대화형 데이터(DeepSeek-V3의 기존 지도 데이터)를 혼합 활용하였으므로, 사람이 직접 라벨링한 데이터는 최소한으로 사용하면서도 다양한 분야를 커버하도록 했습니다.

 

모델 성능 향상 기법 (파인튜닝 없이 성능 강화한 방식 포함)

• 강화학습을 통한 추론 능력 부스팅: DeepSeek-R1의 가장 큰 특징은 초기 단계에서 지도 미세조정 없이 순수 강화학습만으로 성능을 끌어올렸다는 점입니다 . 구체적으로, R1-Zero 모델은 오로지 보상 신호에 의해 문제를 스스로 풀어보는 과정을 수백만 번 반복하면서, 마치 사람이 시행착오를 통해 공부하듯 모델 스스로 학습했습니다. 이를 통해 Chain-of-Thought 추론 능력이 비약적으로 향상되었는데, 이는 과거 GPT-3 등이 사람의 CoT 예시(SFT 데이터)를 보고 학습한 것과는 대조적입니다. DeepSeek 연구진은 **“적절한 인센티브(보상)만 주면 LLM도 스스로 사고 전략을 터득한다”**는 것을 보여주었으며, 이는 AlphaGo가 감독 학습 없이 자가 플레이 강화학습으로 초인적인 기사를 배출한 것에 비견되기도 합니다 . 요약하면, 정답 맞히기라는 명료한 목표를 주고 모델이 스스로 긴 사고 과정을 거치도록 유도하여 파인튜닝 없이도 성능을 극적으로 향상시킨 것이 핵심 기법입니다 .

 

• 출력 형식 및 자기검증 도입: RL 과정에서 모델이 생각을 글로 풀도록 강제한 것도 성능 향상에 기여했습니다. <think> ... </think> 태그 사이에 추론 과정을 쓰도록 한 덕분에 모델은 문제를 단계별로 해체해서 접근하게 되었고, 출력에 그 추론을 모두 표시했습니다 . 흥미롭게도, 훈련이 진행됨에 따라 모델은 이러한 “생각하기 공간”을 적극 활용하여 초기보다 훨씬 긴 사고 사슬을 생성하게 되었습니다 . Figure 3에 따르면 RL 훈련 진행 중 R1-Zero의 평균 추론 길이가 꾸준히 증가했는데, 이는 모델이 스스로 더 깊이 숙고하도록 발전했음을 시사합니다 . 이 과정에서 앞서 언급한 자기 반성 및 검증 행동이 자연스럽게 등장했으며, 이러한 내적 피드백 루프는 모델이 오답을 줄이고 정확도를 높이는 데 효과적이었습니다 . 예를 들어, 모델은 “한번 낸 답이 의심스러울 경우 다시 계산해보기”와 같은 전략을 취해 더 높은 보상을 얻는 법을 배웠습니다. 이러한 자율 진화(Self-evolution) 덕분에 파인튜닝으로 정답 패턴을 가르쳐주지 않아도 모델이 자기 주도적으로 성능을 끌어올릴 수 있었던 것입니다 .

 

• 다단계 훈련 및 데이터 재사용: DeepSeek-R1은 위에서 설명한 대로 RL → SFT → RL → SFT → RL의 다단계 반복 학습 전략을 취했습니다. 이 순차적인 최적화 과정 덕분에, 초기에 RL로 얻은 추론력과 중간에 SFT로 얻은 응답의 유창성이 결합되고, 다시 RL로 전방위 성능이 끌어올려졌습니다 . 특히 모델 자신의 산출물을 데이터로 재활용한 점이 독특한데, 최종 단계에 투입된 80만 건의 SFT 데이터 중 상당수가 모델이 생성한 양질의 Chain-of-Thought 해설들입니다 . 이는 사람의 노력 없이도 대량의 학습 데이터를 확보하여 추가 성능 향상을 이끌어낸 방법으로, 모델 스스로 교사 역할을 하도록 했다고 볼 수 있습니다. 결과적으로 이러한 기법들을 통해 DeepSeek-R1은 OpenAI의 최신 GPT 모델에 필적하는 성능을 별도의 인간 피드백 튜닝 없이 달성할 수 있었습니다 . (비록 최종 모델에는 일부 지도 데이터와 인간 선호도가 반영되었지만, R1-Zero 단계 자체는 완전히 자율 강화학습이었다는 점이 혁신적입니다.)

 

OpenAI GPT 모델과의 차이점 (파인튜닝, RLHF, 검색 기반 기법 등)

• 지도학습 vs. 강화학습: OpenAI의 GPT 계열 (예: GPT-3.5, GPT-4)은 방대한 지도 데이터로 일반적 대화/명령 따르기 능력을 먼저 학습(SFT)한 후, 인간 피드백을 통한 RLHF로 응답의 어투와 안전성을 다듬는 방식을 취해왔습니다 . 즉, 인간이 마련한 질문-답변 예시들을 대량으로 학습시킨 후 사람 평가자가 좋은 답변으로 간주한 방향으로 보상을 주어 미세 조정했습니다. 반면 DeepSeek-R1은 초기에 이런 지도 미세조정을 건너뛰고, 정답 정확도라는 기계적인 보상만으로 모델 스스로 사고력을 키우는 RL을 적용했습니다 . 이를 통해 GPT 모델들이 인위적인 교정 없이도 고차원 추론이 가능함을 보여준 반면, 출력의 세련미나 일관성은 추가 단계에서 해결하는 방식을 택했죠 . 요약하면, GPT는 먼저 인간에게 배우고 나중에 강화, DeepSeek-R1은 먼저 강화로 추론력을 키우고 나중에 약간 교정했다는 순서 차이가 있습니다.

 

• RLHF 방식의 차이: OpenAI의 RLHF는 일반적으로 신경망 보상 모델(별도의 가치망)을 활용하여, 다소 주관적인 **“바람직한 응답”**을 학습시킵니다. 예를 들어 GPT-4를 튜닝할 때 사람들에게 모델 답변 둘 중 어느 것이 더 도움되는지 묻고, 그런 선호도 데이터를 학습한 보상 모델로 GPT를 상대로 PPO 훈련을 했을 것으로 알려져 있습니다. 반면 DeepSeek-R1 (특히 R1-Zero)의 초기 RL은 규칙 기반 평가에 의존했으며, 오직 문제 해결의 정확성에 초점을 맞춘 것이 큰 차이입니다 . 사람의 주관이 들어갈 여지를 없애 **“정답을 맞혀라”**라는 명확한 목표만 줬기 때문에, 모델이 답변을 꾸미거나 사회적 편향을 걱정하기보다 논리에 집중할 수 있었습니다. 다만 최종 단계에서는 DeepSeek도 유용성/안전성에 관한 보상을 추가하여 RLHF를 수행했는데, 이때 역시 모델의 추론 과정 자체에는 간섭하지 않고 최종 요약 답변의 도움됨 정도를 평가하는 등, 추론력과 도움됨을 분리하여 다목적 보상을 준 점이 밝혀졌습니다 . 결국 GPT-4가 인간 선호 학습을 통해 균형 잡힌 대답을 추구했다면, DeepSeek-R1은 자율 추론에 방점을 찍고 나중에 최소한의 선호도 조정을 가미했다고 볼 수 있습니다.

 

• 아키텍처 및 파라미터: GPT-3.5나 GPT-4는 완전 밀도(Dense) 트랜스포머로, 파라미터 수는 공개되지 않았으나 수백억~수천억 규모로 추정됩니다 (GPT-3는 175B, GPT-4는 더 크다고 알려짐). 반면 DeepSeek-R1은 앞서 언급했듯 **Mixture-of-Experts 구조(총 671B, 활성 37B)**입니다 . MoE는 거대한 모델을 부분적으로만 활성화하므로 병렬처리에 유리하고, 필요한 지식 또는 능력을 담당하는 전문가 모듈을 분산시킬 수 있다는 장점이 있습니다. 실제로 DeepSeek 팀은 이 접근으로 비싼 A100/H100 GPU 대신 H800 등 비교적 저렴한 장비 수천 장을 이용해 학습을 완료했다고 밝혔습니다 . 이는 GPT-4처럼 모든 계층을 Dense로 학습시키는 것보다 비용을 크게 절감한 것으로 알려졌습니다. (한편, GPT-4는 MoE를 사용하지 않은 완전 비공개 모델이기에, 정확한 학습 비용이나 세부 구조를 비교하기는 어렵지만, DeepSeek는 동일한 37B 활성규모로 GPT-4와 견줄 성능을 냈다는 점에서 효율적인 규모 활용의 사례로 볼 수 있습니다.)

 

• 지식 검색 및 도구 활용: OpenAI의 GPT 모델은 기본적으로 훈련된 매개변수에 세상 지식을 담고 있어 추론 시 외부 검색 없이 답변합니다. 다만 ChatGPT에는 플러그인이나 Browse 기능을 붙여 원할 경우 검색을 하도록 확장할 수 있습니다. DeepSeek-R1 자체는 답변 생성 시 외부 지식 검색을 통합하지 않은 것으로 보입니다. “DeepSeek”이라는 이름과 달리, 모델 내에 검색 장치가 있는 것은 아니고 어디까지나 자체 추론으로 답을 도출합니다. 대신, R1은 긴 문서를 분석하거나 복잡한 코드를 단계별로 탐색하는 등 모델 내부의 탐색 능력이 뛰어납니다. 예를 들어 FRAMES와 같은 장문 문맥 QA에서 우수한 성능을 보여 AI 기반 검색/데이터 분석 작업에 잠재력을 시사했고 , 코드 문제에서도 CoT를 통해 여러 가능성을 검토하며 풀이하는 능력을 보였습니다. 즉, GPT-4가 외부 도구 없이도 상당한 추론을 하지만, DeepSeek-R1은 애초에 내부적으로 CoT를 강제하여 일종의 탐색 과정을 답변의 일부로 표출한다는 점이 다릅니다. 한편, 검색 기반 접근법(예: Tree-of-Thoughts, MCTS 등)들이 연구되었으나 GPT-4 성능에는 못 미쳤는데 , DeepSeek-R1은 강화학습을 통해 그 이상의 성능 향상을 달성하여 검색적 추론을 내재화했다는 의미가 있습니다.

 

• 언어 및 응답 스타일: GPT-4는 다국어 데이터로 학습되어 영어 외에도 한국어를 포함한 다양한 언어에 유창합니다. DeepSeek-R1도 영중 이중언어로 학습되었으나, 중국어와 영어에 최적화되어 있어 다른 언어에 대한 대응이 미흡할 수 있습니다 . 예컨대 한국어나 프랑스어로 질문하면 영어로 사고하고 답하려는 경향(언어 mixing)이 보고되었습니다 . 또한 GPT 계열은 사용자 지시에 매우 유연하게 대응하도록 미세조정되어 있어, 추론 과정은 내부적으로 하고 겉으로는 정돈된 답만 제시합니다. 반면 DeepSeek-R1은 기본적으로 추론 과정을 모두 보여주는 포맷으로 훈련되었기 때문에, 특정 설정을 하지 않으면 답변에 <think>...</think>와 <answer>...</answer> 형식이 드러날 수 있습니다. (물론 응용 단계에서 이러한 태그를 숨기거나 활용하는 것은 사용자 몫입니다.) 이처럼 R1은 CoT 기반의 “해설형 답변”에 특화되어 있고, GPT는 간결한 최종 답변 제공에 익숙하다는 차이가 있습니다.

 

• 대화형 능력 및 기능: ChatGPT/GPT-4는 다양한 대화 맥락에서 일관되게 대응하고, 역할을 바꾸거나 함수 호출(JSON 함수 호출)을 수행하는 등 챗봇으로서의 다재다능함이 강조됩니다. DeepSeek-R1은 추론 능력에 비해 그런 멀티턴 대화나 역할 지향 능력은 상대적으로 약한 편입니다 . 실제로 R1은 함수 호출, 복잡한 역할극, JSON 포맷 응답 같은 측면에서 기존 DeepSeek-V3보다도 성능이 떨어지는 것으로 보고되었습니다 . 이는 해당 기능들에 대한 특별한 튜닝을 거치지 않았기 때문으로, **GPT-4 (또는 DeepSeek-V3)**가 챗봇으로 세밀히 조율된 반면 R1은 논리적 1문 1답에 치중했기 때문입니다. 또한 R1은 프롬프트에 민감하여, Few-shot 예시를 넣으면 성능이 저하되고 가능한 한 명확한 지시를 0-shot으로 주는 것이 좋다고 합니다 . GPT-4는 few-shot 러닝을 통해 추가 정보를 제공해도 비교적 안정적으로 이해하는 반면, R1은 오히려 혼란스러워 할 수 있다는 차이입니다. 요컨대, GPT-4가 전천후 대화 AI라면 DeepSeek-R1은 “문제를 풀이해주는 전문 해설자”에 가까운 성격을 가지고 있습니다.

 

성능 비교: DeepSeek-R1 vs OpenAI GPT-4 (OpenAI-o1)

 

• 추론 벤치마크: 논문에서는 DeepSeek-R1의 성능이 OpenAI “o1-1217” 모델과 대등한 수준이라고 보고되었습니다 . (여기서 o1-1217은 GPT-4의 2023년 12월 버전을 가리키는 코드명으로 추정됩니다.) 실제 평가를 보면, MMLU (학술 지식 테스트)에서 GPT-4 91.8%, R1 90.8%로 거의 비슷했고 , MATH(고등 수학 문제 500개)에서는 GPT-4 96.4%, R1 97.3%로 R1이 근소하게 앞섰습니다 . 특히 AIME 2024(수학 경시)에서 GPT-4 79.2%, R1 79.8%로 동급 최고 수준을 보여주었습니다 . 코드 생성 분야에서도, LiveCodeBench 등의 평가에서 R1이 GPT-4를 약간 앞서는 등 뛰어난 결과를 기록했습니다 . 예를 들어 코딩 문제 즉석 해결 비율(pass@1)이 GPT-4 63.4% vs R1 65.9%로 나타났습니다 . 반면 **상식 단답형 질문(SimpleQA)**의 정확도는 GPT-4가 R1보다 높게 나와(R1 30.1% vs GPT-4 47.0%) , 광범위한 일반 지식 면에서는 GPT-4의 우세를 확인할 수 있습니다. 또한 Arena 대결 평가(모델 간 비교)에서도 난이도 낮은 부분은 GPT-4가 앞서지만, 난이도 높은 논리 문제가 주어지면 R1이 우위를 보이는 경향을 보였습니다 . 전반적으로, GPT-4는 보다 균형 잡힌 만능형이고 DeepSeek-R1은 특정 영역(수리·코드 추론)에 특화되어 있습니다. 그럼에도 불구하고 R1은 여러 핵심 벤치마크에서 GPT-4 수준 또는 그 이상의 성과를 냈기에, 공개 모델로서는 이례적인 성능입니다 .

 

• 언어별 성능: 영어권 벤치마크 외에 **중국어 평가(C-Eval 등)**에서는 DeepSeek-R1이 높은 정확도를 보였습니다 . C-Eval 종합 정확도에서 R1은 91.8%로, GPT-4의 기존 공개 결과(약 76~78%)를 크게 상회하는 것으로 나타났습니다 . 이는 R1이 중국어 데이터에도 상당히 노출되어 이중언어 능력이 뛰어남을 의미합니다. 반면 한국어 등의 언어에 대한 직접 평가는 없지만, R1이 한국어 질의에 영어로 답변하는 사례가 있어 다국어 활용에서는 GPT-4보다 제약이 있을 수 있습니다. GPT-4는 명시적으로 한국어로 답변하도록 지시하지 않아도 높은 품질의 한국어 응답을 생성하는데, R1은 그런 세밀한 최적화는 거치지 않았기 때문입니다.

 

• 안전성 및 제한: OpenAI GPT-4는 다양한 사용자 가이드라인 및 안전장치가 적용되어, 부적절한 요청에 완곡히 거절하고 “롤플레잉”을 통한 제약 우회에도 비교적 잘 대응합니다. DeepSeek-R1은 출시 초기에 탈옥(jailbreak) 공격에 취약하다는 보고가 있었습니다 (한 실험에서 63% 정도의 높은 공격 성공률이 확인됨) . 이는 R1이 안전 관련 RLHF가 충분치 않았고 공개 직후라 필터링이 완벽하지 않았기 때문으로 보입니다. 따라서 현 시점에서 GPT-4가 상업 서비스에 적합한 안정성을 갖춘 반면, R1은 연구 목적으로 공개된 상태이며 추가적인 안전 조치가 필요합니다. 사용자는 오픈소스 R1을 적용할 때 프롬프트 설계와 추가 미세조정을 통해 민감한 활용에 대비해야 합니다.

 

DeepSeek-R1의 주요 혁신점과 한계점

• 혁신점 요약:

• 💡 순수 RL로 추론 유도 – **“파인튜닝 없이도 된다”**는 걸 실제로 증명한 첫 사례라는 점이 가장 큰 혁신입니다 . 사람이 한땀한땀 만든 Chain-of-Thought 예시 없이, 모델 스스로 논리 전개 방식을 습득하도록 했고, 그 결과 자기 검증, 반성, 다중 시도 같은 고등 사고 전략의 자연발생을 관찰했습니다 . 이는 대형언어모델 훈련에 있어 강화학습의 새로운 가능성을 열어준 것으로 평가됩니다.

 

• 💡 MoE를 통한 효율적 스케일업 – DeepSeek-R1은 전례 없이 거대한 671B급 파라미터를 현실적인 자원으로 굴릴 수 있음을 보여주었습니다. 필요한 37B 부분만 활성화하는 MoE 구조와 FP8 연산 등의 최적화로, 학습 비용을 억 단위 달러 수준으로 억제하면서도 Dense 수백억 모델 이상의 성능을 달성했습니다 . 이는 파라미터 증가=성능 향상 공식을 유지하면서도 비용 장벽을 낮춘 접근으로, 향후 초거대 모델 연구의 스케일업 방향에 영향을 줄 수 있습니다.

 

• 💡 모델 자기생성 데이터 활용 – Rejection sampling + Self-SFT 방식으로 모델의 지식을 **자가 증폭(self-bootstrapping)**시킨 것도 혁신적입니다 . 과거에도 모델 출력으로 데이터셋을 보강하는 시도가 있었지만, DeepSeek은 대규모 RL로 생성된 고품질 출력을 아예 다음 학습 사이클의 연료로 삼았습니다. 이렇게 함으로써 인간 노동을 최소화하면서도 모델의 약점을 보완할 데이터를 확보해 학습 효율을 극대화했습니다.

 

• *💡 지식 증류 및 개방 – 연구진은 R1을 공개할 뿐만 아니라, 그 추론능력을 작은 모델들로 증류하여 배포했습니다 . 예를 들어 14B 증류 모델이 기존 공개 30B 모델을 능가하는 논리 성능을 보여주었고 , 단 1.5B짜리 모델조차 GPT-4를 수학에서 앞서는 결과(예: AIME 28.9%)를 얻었습니다 . 이는 대형 모델의 추론 패턴을 소형 모델에 이식할 수 있음을 의미하며, 오픈소스 생태계에서 경량 고성능 모델들을 속속 만들어내는 밑거름이 되고 있습니다. (실제로 R1 공개 후 여러 사용자들이 한글 등 다양한 추가 튜닝 버전을 내놓고 있습니다.)

• 💡 학습 비용 논쟁 촉발 – DeepSeek-R1은 **“GPT-4를 1/10~1/18 비용으로 만들었다”**고 홍보되어 큰 화제가 됐습니다 . 비록 이후 분석에서 이 수치에는 R&D나 전체 인프라 비용이 제외되어 있고 실제로는 더 들었을 것이라는 지적도 나왔지만 , 적은 비용으로 폐쇄형 최첨단 모델에 도전했다는 점은 업계에 신선한 충격을 주었습니다. 이는 AI 연구의 접근성과 관련해 중요한 의미를 가지며, 거대 모델 개발이 소수 기업 독점이 아닐 수 있음을 시사했습니다.

 

• 한계 및 개선 과제:

 

• ⚠️ 일반 대화 능력의 미흡 – 앞서 비교했듯, DeepSeek-R1은 멀티턴 대화, 맥락 유지, 역할 지향 응답 등 실용적 대화 에이전트로서의 능력은 제한됩니다 . JSON 함수를 호출하거나 사용자 의도를 추론하는 등 실서비스에 필요한 기능들은 기존 ChatGPT 대비 아직 부족하죠. 추후 장황한 CoT를 활용해 이러한 영역도 개선하는 연구가 예고되어 있습니다 .

 

• *⚠️ 언어 믹싱 및 범용성 – 현 버전 R1은 중국어/영어 이외 언어 처리에 한계가 있습니다 . 예를 들어 한국어 질문에 영어로 답변하는 등 사용자 기대와 다른 출력을 낼 수 있습니다. 향후 더 많은 언어로 플루언시를 높이고 언어 혼용 문제를 해결해야 합니다 .

 

• *⚠️ 프롬프트 민감도 – R1은 프롬프트 엔지니어링에 민감하여, 간단한 질문도 특정 형식을 요구할 수 있고, few-shot 예시 제시는 오히려 모델 혼선을 초래합니다 . 이는 사용 편의성을 저해하므로, 안정적인 프롬프트 처리 능력을 키우는 추가 튜닝이 과제로 남습니다.

 

• *⚠️ 코드/소프트웨어 영역의 제약 – R1은 코딩 능력이 뛰어나지만, 아주 긴 코드나 복잡한 소프트웨어 설계 문제에서는 학습 효율 문제로 충분히 강화학습을 적용하지 못한 측면이 있습니다 . (코드 실행/검증에는 시간이 많이 걸리므로 RL 데이터를 많이 쌓기 어려웠던 것으로 추측됩니다.) 따라서 코드 분야에서 DeepSeek-V3 대비 획기적 향상을 보이지 못한 부분도 존재하며, 이를 개선하기 위해 비동기 평가나 효율적 샘플링 기법을 연구 중이라고 합니다 .

 

• *⚠️ 모델 크기와 인프라 부담 – 37B 활성 파라미터라 해도, DeepSeek-R1을 풀 모델(MoE 671B)로 활용하려면 특수화된 분산 시스템이 필요합니다. 일반 연구자가 다루기에는 여전히 시스템 구성의 어려움과 높은 메모리 요구 등이 걸림돌입니다. 증류 모델들이 이 문제를 어느 정도 해결해주지만, 증류 과정에서 약간의 성능 손실이 있을 수밖에 없습니다. 또한 오픈소스 모델이다 보니 지속적인 업그레이드나 지원은 사용자 커뮤니티에 의존해야 한다는 현실적인 제약도 있습니다.

 

• *⚠️ 훈련 비용 및 데이터 사용 – 비록 비용을 절감했다고 하나, 수백만 달러 규모의 학습 비용과 대량의 문제 정답 데이터가 필요했던 점은 사실입니다. 이런 대규모 강화학습 접근을 복제하려면 여전히 상당한 자원이 요구되며, RL에 활용된 평가용 데이터가 공개 벤치마크와 얼마나 겹치는지에 대한 투명성도 향후 더 논의가 필요합니다. (만약 훈련에 테스트 문제가 일부 포함되었다면 성능 평가는 다소 부풀려졌을 가능성도 있습니다. 논문에서는 공식 리포트의 GPT-4 점수와 비교했다고 하지만, 공정성 확보는 중요한 이슈입니다.)

 

결론적으로, DeepSeek-R1은 **“강화학습을 통한 추론 최적화”**라는 새로운 방향을 제시하여, 거대 언어모델의 능력을 한 단계 끌어올린 혁신적 연구成果입니다. OpenAI GPT-4 수준의 논리·추론 성능을 오픈소스 모델로 구현함으로써 기술 민주화에 기여했고, 미세조정 없이도 모델을 똑똑하게 만들 수 있다는 가능성을 보여주었습니다 .

동시에, GPT 계열과의 비교를 통해 그 장단점이 분명히 드러나기도 했습니다 – GPT-4는 만능형 조련된 조수이고 DeepSeek-R1은 논리에 특화된 거대 두뇌라고 비유할 수 있습니다. 앞으로 DeepSeek 팀과 커뮤니티는 R1의 한계로 지적된 부분들(예: 대화형 능력, 다국어 지원, 안전성)을 보완하고, 이러한 강화학습 기반 기법을 더 정교하게 다듬는 연구를 이어갈 것으로 보입니다.

 

결국 **“파인튜닝 없이도 된다”**는 R1의 교훈은 많은 연구자들에게 영감을 주었고, 향후 등장할 차세대 LLM들에도 적지 않은 영향을 미칠 것으로 전망됩니다. DeepSeek-R1의 도전은 거대 언어모델 분야에서 새로운 길을 개척한 사례이며, 그 성과와 한계를 균형 있게 이해하는 것이 중요하겠습니다.