LLM, JEPA, 그리고 세계 모델(World Model)의 기술적 비연속성과 물리적 지능의 통합 전략

인공지능 연구의 역사는 단순한 통계적 패턴 매칭에서 시작하여 인간의 인지 구조를 모방하려는 거대한 여정으로 이어져 왔다. 최근 수년간 대규모 언어 모델(LLM)이 보여준 비약적인 발전은 인류에게 인공 일반 지능(AGI)이 가시권에 들어왔다는 희망을 안겨주었으나, 동시에 텍스트 기반 학습의 근본적인 한계라는 벽에 부딪히고 있다.¹ 현대 AI 학계의 핵심 쟁점은 현재의 자기회귀적(Autoregressive) 생성 모델이 과연 실세계의 물리 법칙과 인과 관계를 이해하는 진정한 지능으로 진화할 수 있는지, 아니면 얀 르쿤(Yann LeCun)이 제안한 합동 임베딩 예측 아키텍처(JEPA) 및 세계 모델(World Model)과 같은 새로운 설계 패러다임이 필수적인지에 대한 논쟁으로 수렴된다.¹ 이 보고서는 LLM과 세계 모델의 구조적 차이를 심층 분석하고, 물리적 지능을 구현하기 위한 각 모델의 비교 우위를 평가하며, AGI 실현을 위한 구체적인 준비 방향을 제시하고자 한다.

인지적 설계의 근본적 차이: 자기회귀적 생성과 잠재 공간 예측

기존의 대규모 언어 모델과 얀 르쿤이 주도하는 JEPA 및 세계 모델은 데이터를 처리하고 미래를 예측하는 방식에서 근본적인 철학적, 기술적 차이를 보인다. LLM의 핵심 아키텍처인 트랜스포머는 기본적으로 다음 토큰을 예측하는 자기회귀적 방식을 채택하고 있다.⁴ 이는 대규모 텍스트 데이터에 존재하는 통계적 상관관계를 학습하여 문맥적으로 적절한 답변을 생성하는 데 탁월한 성능을 발휘하지만, 예측의 대상이 입력 공간(Input Space)인 토큰이나 픽셀에 머물러 있다는 점이 한계로 지적된다.²

LLM의 메커니즘과 그로 인한 취약성

LLM은 수조 개의 단어 사이의 확률 분포를 학습하여 가장 가능성 높은 다음 단어를 선택한다. 이러한 접근 방식은 언어적 유창성을 보장하지만, 모델이 실제 세계의 물리적 실체나 인과 법칙에 직접적으로 접지(Grounding)되지 않는 결과를 초래한다.¹ 특히 생성 과정에서 발생하는 오류가 다음 토큰 생성의 입력값으로 다시 활용되면서 오류가 기하급수적으로 복합되는 ‘오류 전파(Error Propagation)’ 문제는 장기적인 추론과 계획 수립에서 LLM의 신뢰성을 저해하는 주요 요인이다.⁶

비교 항목	대규모 언어 모델 (LLM)	세계 모델 및 JEPA
기본 목표	다음 토큰(단어/픽셀)의 확률적 생성	실세계 동역학의 추상적 표현 및 예측
학습 데이터	텍스트, 이미지-텍스트 쌍 (저대역폭)	비디오, 센서 데이터, 상호작용 (고대역폭)
예측 공간	입력 공간 (Input Space)	잠재 표현 공간 (Latent Representation Space)
추론 방식	통계적 패턴 매칭 및 상관관계	인과 관계 모델링 및 물리 시뮬레이션
주요 한계	환각(Hallucination), 물리 이해 부족	표현 붕괴(Collapse) 가능성, 실험적 단계

²

JEPA와 세계 모델의 예측 패러다임

이와 대조적으로 JEPA는 입력 데이터의 모든 세부 사항을 복원하거나 생성하려 하지 않는다. 대신, 데이터의 핵심적인 의미와 불변하는 특징을 포착하는 잠재 공간에서의 예측을 지향한다.⁴ 예를 들어, 나무 뒤로 공이 굴러가는 비디오를 학습할 때 생성 모델은 나뭇잎의 미세한 흔들림까지 복원하려 애쓰며 계산 자원을 낭비하지만, JEPA는 공의 궤적과 객체의 영속성이라는 추상적 개념에 집중한다.² 이러한 ‘비생적(Non-generative)’ 접근 방식은 예측 불가능한 세부 노이즈를 무시하고 세계의 본질적인 구조를 학습하게 함으로써 훨씬 더 효율적이고 견고한 표상을 형성한다.⁴

물리 AI(Physics AI)의 구현과 생성 모델의 한계

AGI로 가기 위한 필수 관문 중 하나는 AI가 물리적 세계의 법칙을 이해하고 그 안에서 안전하게 행동할 수 있도록 하는 것이다. 현재 오픈AI의 소라(Sora)와 같은 비디오 생성 모델들이 물리 엔진으로서의 가능성을 타진하고 있으나, 학계에서는 이들이 진정한 물리적 지능을 갖추었는지에 대해 회의적인 시각이 존재한다.¹¹

소라(Sora)와 V-JEPA의 물리 이해력 비교

오픈AI의 소라는 확산 트랜스포머(Diffusion Transformer) 구조를 통해 시각적으로 매우 정교한 영상을 만들어내며 ‘세계 시뮬레이터’라는 명칭을 얻었다.¹³ 하지만 소라의 결과물에서 발견되는 중력 법칙의 위배, 객체의 갑작스러운 소멸, 유체가 고체를 통과하는 현상 등은 이 모델이 물리학을 계산하는 것이 아니라 ‘물리적으로 보일 법한 픽셀의 배치’를 흉내 내고 있음을 시사한다.¹² 이는 데이터 속에 내재된 시각적 패턴을 재구성하는 능력이 우수할 뿐, 인과적 예측 능력을 갖춘 세계 모델과는 거리가 멀다는 비판으로 이어진다.¹²

반면, 메타의 V-JEPA(Video-JEPA)는 픽셀을 생성하지 않고 추상적인 표현 공간에서 비디오의 가려진 부분을 예측하도록 훈련된다.⁵ 연구 결과에 따르면 V-JEPA는 객체 영속성, 연속성, 고체성 등의 물리적 원리를 테스트하는 벤치마크(IntPhys)에서 98%의 정확도를 기록하며, 기존의 멀티모달 LLM(Gemini 1.5 Pro 등)이 무작위 선택에 가까운 성능을 보인 것과 극명한 대조를 이루었다.¹⁶ 이는 물리적 지능이 텍스트나 정적인 이미지가 아닌, 시간적 흐름이 포함된 고대역폭의 비디오 데이터를 통해 잠재 공간에서 학습될 때 비로소 발현될 수 있음을 보여준다.²

구글 딥마인드의 지니 3(Genie 3)와 상호작용성

구글 딥마인드의 지니 3는 텍스트 프롬프트를 통해 상호작용 가능한 3D 환경을 생성함으로써 세계 모델의 또 다른 측면을 보여준다.¹⁷ 지니 3는 단순히 수동적인 영상을 만드는 것을 넘어, 사용자의 입력에 따라 물리적으로 일관된 반응을 보이는 환경을 제공한다.¹⁸ 이러한 모델은 로봇 지능(Embodied AI)이 현실 세계의 위험 없이 다양한 물리적 시나리오를 경험하고 학습할 수 있는 가상 샌드박스 역할을 하며, AGI를 위한 물리적 접지의 핵심 수단으로 부상하고 있다.¹⁸

AGI로의 여정에서 어느 모델이 더 유리한가: 비판적 고찰

AGI 실현에 있어 LLM 기반 모델과 세계 모델(JEPA 포함) 중 어느 것이 더 유리할지에 대한 논의는 지능의 본질을 어떻게 정의하느냐에 달려 있다. 샘 알트만(Sam Altman)으로 대표되는 진영은 언어를 지능의 가장 압축된 형태이자 범용적인 인터페이스로 보고, LLM을 확장하여 추론과 도구 사용 능력을 결합하는 것이 AGI로 가는 가장 빠른 길이라고 주장한다.²⁰ 반면 얀 르쿤은 언어는 지능의 빙산의 일각일 뿐이며, 진정한 지능은 환경과의 상호작용과 물리적 예측 능력을 바탕으로 한 세계 모델에서 기인한다고 본다.⁷

LLM 기반 접근법의 우위와 한계

LLM의 가장 큰 장점은 이미 방대한 인류의 지식 체계를 학습했다는 점과, 텍스트를 통해 고도의 추상적 추론과 의사소통이 가능하다는 점이다.⁴ 코딩, 요약, 수학적 문제 해결 등 가상 공간에서의 지적 작업에는 LLM이 압도적인 효율성을 보인다.²⁰ 그러나 LLM은 ‘상식(Common Sense)’이라 불리는 물리적 직관이 결여되어 있으며, 본인이 생성한 결과물의 진위 여부를 내부적으로 검증할 시뮬레이션 능력이 부족하다.¹

세계 모델 접근법의 우위와 과제

세계 모델은 로봇 공학이나 자율 주행과 같이 물리적 안전과 정교한 행동 계획이 필요한 분야에서 결정적인 우위를 점한다.³ 세계 모델은 “내가 이 행동을 하면 어떤 일이 벌어질까?”라는 질문에 대해 내부적인 시뮬레이션을 수행할 수 있으므로, 실제 행동에 옮기기 전에 결과를 예측하고 계획을 수정할 수 있다.² 하지만 현재의 세계 모델은 LLM만큼 방대한 일반 지식이나 복잡한 논리적 구조를 처리하는 데 있어서는 아직 초기 단계에 머물러 있다.¹

하이브리드 아키텍처: AGI의 종착지

결국 AGI를 향한 가장 유망한 경로는 두 패러다임의 결합으로 수렴될 가능성이 높다. LLM이 고수준의 계획 수립, 언어적 소통, 추상적 논리를 담당하는 ‘대뇌 피질’의 역할을 수행하고, 세계 모델이 물리적 감각, 동역학 예측, 실시간 행동 제어를 담당하는 ‘소뇌 및 기저핵’의 역할을 수행하는 하이브리드 구조가 그것이다.⁸ 2028년에서 2030년 사이에는 V-JEPA 스타일의 지각 시스템과 GPT 스타일의 추론 엔진이 통합된 단일화된 형태의 embodied AGI 시스템이 등장할 것으로 예측된다.²⁰

AGI 시대를 대비하기 위한 전략적 준비 방향

AGI를 준비하는 과정은 단순히 더 큰 모델을 만드는 차원을 넘어, 인공지능의 아키텍처를 근본적으로 재설계하고 이를 지원하기 위한 인프라와 제도를 구축하는 과정을 포함한다.

1. 물리적 접지(Grounding)와 고대역폭 데이터 확보

언어 학습의 데이터 고갈 문제(Data Wall)를 해결하기 위해, 비디오 및 실시간 센서 데이터를 활용한 자율 지도 학습(Self-Supervised Learning)으로 전환해야 한다.² AI가 텍스트 설명을 읽는 데 그치지 않고, 비디오를 통해 세계의 물리적 인과 관계를 스스로 관찰하고 학습하도록 유도해야 한다.² 이는 특히 자율 주행 및 가사 로봇과 같은 분야에서 필수적이다.

2. 에너지 기반 모델(EBM) 및 비결정론적 예측 시스템 도입

현실 세계의 불확실성을 처리하기 위해 확률적 생성 대신 에너지 기반 모델(Energy-Based Models)을 적극 도입해야 한다.¹⁰ 얀 르쿤이 강조하듯, 에너지 점수를 통해 ‘말이 되는 상황’과 ‘말이 안 되는 상황’을 구분하는 방식은 환각 현상을 줄이고 모델의 견고성을 높이는 데 기여할 수 있다.¹⁰ 또한, 잠재 변수 $z$를 활용하여 하나의 원인으로부터 발생할 수 있는 여러 가지 물리적 미래를 동시에 고려할 수 있는 능력을 배양해야 한다.²⁷

3. 시스템 2(System 2) 추론과 내부 시뮬레이션 강화

현재의 AI가 보여주는 즉각적이고 직관적인 반응(System 1)을 넘어, 문제를 분해하고 계획을 수립하며 중간 결과를 검증하는 숙고적 사고(System 2) 기능을 아키텍처 수준에서 구현해야 한다.²⁹ 이는 제미나이 3(Gemini 3) 등 최신 모델에서 시도되고 있는 방향으로, 생성된 답변을 내부적인 세계 모델을 통해 시뮬레이션해 보고 물리적/논리적 모순이 없는지 확인하는 프로세스를 포함해야 한다.³⁰

4. 계층적 세계 모델(H-JEPA)을 통한 장기 계획 수립

단기적인 다음 단어 예측을 넘어, 장기적인 목표를 달성하기 위한 계층적 계획 능력이 필요하다. H-JEPA와 같이 낮은 수준에서는 미세한 움직임을, 높은 수준에서는 추상적인 목표를 다루는 계층적 표현 학습 모델을 개발함으로써, AI가 복합적인 과업을 수행할 수 있도록 준비해야 한다.²⁷

5. 인프라와 에너지 효율성의 최적화

AGI로 가는 길에서 가장 큰 병목 현상은 에너지와 컴퓨팅 자원이 될 것이다.³² 따라서 거대한 파라미터 수에만 의존하는 브루트 포스(Brute-force) 방식보다는, JEPA와 같이 불필요한 세부 정보를 무시하고 핵심적인 의미만 학습하는 효율적인 알고리즘으로의 전환이 필수적이다.²³ 또한 맞춤형 가속기(ASIC)와 에너지 인식 소프트웨어 설계가 병행되어야 한다.³²

결론: 지능의 본질로의 회귀

AGI로의 전환은 단순히 기술적 성능의 향상이 아니라, 지능이 세계를 어떻게 인식하고 그 안에서 어떻게 존재해야 하는지에 대한 근본적인 물음에 답하는 과정이다. 기존의 LLM이 인류의 집단 지성이 담긴 텍스트를 통해 ‘지식’의 보고가 되었다면, 세계 모델과 JEPA는 AI에게 ‘상식’과 ‘물리적 직관’을 부여함으로써 그 지식을 현실 세계와 연결하는 다리가 될 것이다.²

본 보고서의 분석을 종합할 때, 미래의 지능은 언어적 유창함과 물리적 정확성이 결합된 하이브리드 형태가 될 것이며, 이를 준비하기 위해서는 텍스트 중심의 학습에서 벗어나 고대역폭 시각 데이터 기반의 표현 학습과 내부 시뮬레이션이 가능한 세계 모델 구축에 역량을 집중해야 한다. 얀 르쿤이 제안한 자율 인텔리전스 로드맵은 이러한 방향성을 명확히 제시하고 있으며, 이를 통해 우리는 단순히 말을 잘하는 기계를 넘어, 우리와 같은 물리적 공간에서 함께 사고하고 행동하는 진정한 의미의 AGI를 맞이하게 될 것이다.

참고 자료

1. DeepMind CEO Demis Hassabis Says Today’s AI Lacks ‘World Models’, Questions Limits of Large Language Models – ITP.net, 1월 21, 2026에 액세스, 
2. AI’s Next Scaling Law: Not More Data, but Better World Models – 

LLMs vs. World Models — Which Path Leads to AGI? – CXO TV | Techplus Media, 

3. V-JEPA vs LLMs: an AI Comparison – Champaign Magazine, 
4. Inside World Models and V-JEPA: Building AI That Predicts Reality | Towards AI, 
5. What Are Auto-regressive Models? A Deep Dive and Typical Use Cases – Pangeanic Blog, 
6. Boundaries of Large Language Models and Path Forward for AI | by Jacob Grow | Medium, 
7. Controllable world models: a new approach to AGI – Salvador Vilalta, 
8. AI, from LLM to JEPA Joint-Embedding Predictive Architecture? : r/of24 – Reddit, 
9. Yann LeCun’s Vision: Ditching Generative LLMs for Joint-Embedding & Energy-Based AI, 
10. The “Sora” Trap: Why Meta’s V-JEPA 2 Proves That Hallucinating Pixels is Not “Planning”
11. Sora’s Spark in the World Models Debate: Can AI Truly Understand Physics? | VIVE Blog, 
12. Are Video Generation Models World Simulators? · Artificial Cognition, 
13. Yann LeCun doubles down, claims Sora doesn’t count : r/singularity – Reddit, 
14. Well, it looks like Meta’s Yann LeCun may have been right about AI – again – The Decoder
15. How AI learns intuitive physics from watching videos – TechTalks, 
16. World Model in Artificial Intelligence: The Key to Achieving AGI – هوش مصنوعی, 
17. Google’s Genie 3: A Training Ground for AGI – Aragon Research,
18. DeepMind’s Genie 3: The AI That Dreams Up Interactive Worlds | by Cogni Down Under,
19. From V-JEPA 2 and GPT 5 to Hybrid AGI Architecture – Champaign Magazine,
20. LLMs Were Just the Warm-Up. AI’s Next Revolution is World Models – Yan Nuriyev, 
21. World Models vs LLMs: a comparative look at prediction, planning, and control – Fenxi, 
22. Why Meta’s VL-JEPA is the End of the “Generative” Obsession: VL-JPA vs LLM, is this the END? | by Harsh duhan | Jan, 2026 | Medium,
23. World Models: The Next Leap Beyond LLMs | by Graison Thomas | Medium,
24. LLMs vs World Models: Why Yann LeCun Is Wrong About the Future …, 
25. Could someone explain what each of these architectures are that LeCun claims could lead to AGI? : r/singularity – Reddit,
26. A Path Towards Autonomous Machine Intelligence – Temple CIS
27. JEPA: LeCun’s Path Towards More Human-Like AI | by Anil Jain – Medium
28. Critical review of LeCun’s Introductory JEPA paper | Medium – Malcolm Lett,
29. The Industrialization of Certainty: A Comprehensive Assessment of the AGI Research Landscape and the Gemini 3 Ecosystem (January 2026) : r/Realms_of_Omnarai – Reddit,
30. A Path Towards Autonomous Machine Intelligence (Part-1) | by …, 
31. The AI Industry in 2025 — And What to Expect in 2026 – AI World Journal, 
32. The Road to AGI: Why JEPA Might Succeed Where LLMs Fail | by Prateek Dwivedi | Medium,