일리야 수츠케버의 경고, AI의 '스케일링 시대'는 끝났다, 이제 무엇이 오는가?

🧠 AI 혁명의 중심에 선 인물, 일리야 수츠케버의 문제 제기

알렉스넷, 트랜스포머, GPT-3 등 현대 AI 혁명의 주요 전환점마다 핵심적인 역할을 해온 일리야 수츠케버가 오랜 침묵을 깨고 AI의 현재와 미래에 대한 근본적인 질문을 던졌습니다. 그는 단순히 더 큰 모델과 더 많은 데이터를 추구해 온 기존의 경쟁 구도를 넘어, AI가 실제로 어디로 가고 있는지를 재정의해야 할 시점에 도달했다고 진단합니다. 스케일링이라는 강력한 성공 공식이 한계에 도달한 지금, AI는 새로운 방향을 모색해야 하는 전환기에 서 있다는 문제의식이 제기됩니다.

📉 벤치마크와 현실의 괴리, 일반화 능력의 위기

현재의 AI 모델들은 어려운 시험과 벤치마크에서는 뛰어난 성과를 내지만, 실제 업무 환경에서는 반복적인 실수와 비합리적인 행동을 보이는 경우가 많습니다. 이러한 평가 점수와 실제 경제적 가치 사이의 괴리는 AI의 핵심 약점인 형편없는 일반화 능력을 드러냅니다. 수츠케버는 그 원인을 연구자들이 평가 점수를 높이는 데만 집중하며, 특정 시험 문제에 최적화된 보상 구조로 모델을 훈련시킨 ‘보상 해킹’에서 찾습니다. 그 결과 AI는 시험에는 강해졌지만, 예측 불가능한 현실 세계를 다루는 종합적인 판단력은 갖추지 못하게 되었습니다.

⚖️ 판단력의 핵심, 가치 함수의 중요성

이 문제를 해결하기 위한 핵심 개념으로 수츠케버는 ‘가치 함수’를 강조합니다. 현재의 강화 학습은 최종 결과가 나온 뒤에야 보상을 받기 때문에 학습 과정이 비효율적입니다. 반면 가치 함수는 과정의 중간 단계에서도 무엇이 바람직하고 무엇이 잘못되었는지를 즉각 판단하게 해주는 내부 기준 역할을 합니다. 체스에서 게임이 끝나기 전에도 실수를 즉시 인식하는 것처럼, 가치 함수가 제대로 작동할 때 AI는 비로소 진정한 판단력을 갖출 수 있다는 설명입니다.

🎓 암기형 AI와 재능형 AI의 대비

수츠케버는 현재의 AI를 두 명의 학생에 비유합니다. 하나는 수만 시간을 들여 모든 문제 유형을 암기한 특기생이고, 다른 하나는 타고난 이해력을 바탕으로 짧은 시간 학습만으로도 뛰어난 성과를 내는 학생입니다. 오늘날의 AI 모델은 압도적으로 전자에 가깝고, 특정 데이터에 과도하게 최적화되어 유연한 사고와 깊은 일반화 능력이 부족하다는 평가입니다. 이는 단순한 데이터 축적과 반복 학습만으로는 인간과 같은 사고 능력에 도달하기 어렵다는 점을 시사합니다.

🚧 스케일링 패러다임의 종말

지난 약 5~10년간 AI 산업을 지배해 온 핵심 패러다임은 ‘스케일링’이었습니다. 더 많은 데이터와 컴퓨팅 자원을 투입하면 성능이 계속 향상된다는 믿음이 업계를 이끌어왔습니다. 그러나 수츠케버는 이 스케일링의 시대가 명확한 한계에 부딪혔다고 단언합니다. 프리트레이닝 데이터는 유한하며, 이제 단순히 규모를 키우는 것만으로는 과거와 같은 비약적인 성능 향상을 기대하기 어렵습니다. 그동안 스케일링은 일반화 문제라는 근본적 한계를 가려왔을 뿐이라는 지적입니다.

🔬 자본 경쟁에서 아이디어 경쟁으로의 전환

스케일링이라는 ‘공짜 점심’이 끝나면서 AI 분야는 다시 연구와 아이디어가 중심이 되는 시대로 회귀하고 있습니다. 이제 핵심 질문은 모델이 얼마나 큰지가 아니라, 주어진 막대한 컴퓨팅 자원을 어떻게 더 생산적으로 활용할 것인가입니다. 이는 자본 집약적 경쟁에서 창의적 아이디어 중심의 경쟁으로의 전환을 의미하며, 수츠케버가 새로운 연구 중심 기업 SSI를 설립한 배경이기도 합니다. 현재는 아이디어의 수보다 회사의 수가 더 많은 비정상적인 상황이라는 그의 지적이 이를 뒷받침합니다.

🌱 AGI에 대한 새로운 정의, 학습하는 지능

수츠케버는 AGI, 즉 범용 인공지능에 대한 기존의 오해를 정면으로 비판합니다. AGI를 세상의 모든 지식을 이미 알고 있는 완성된 존재로 상상하는 것은 잘못된 관점이며, 인간조차 그런 의미의 AGI가 아니라고 설명합니다. 인간은 모든 것을 미리 아는 대신, 지속적인 학습을 통해 새로운 기술과 지식을 습득합니다. 그가 그리는 미래의 초지능 역시 모든 것을 아는 박사가 아니라, 어떤 일이든 빠르게 학습해 해낼 수 있는 ‘마음의 형태’에 가깝습니다.

🔄 AI를 제품이 아닌 과정으로 바라보는 관점

이러한 관점에서 AI는 정적인 제품이 아니라 끊임없이 학습하는 동적인 과정으로 이해됩니다. 이는 AI 정렬과 안전 문제가 배포 전에 한 번에 해결해야 할 과제가 아니라, 지속적인 교육과 관리의 문제임을 의미합니다. 수츠케버는 이 때문에 점진적이고 선제적인 AI 배포의 중요성을 강조하며, AI 안전에 대한 접근 방식의 근본적인 전환을 요구합니다.

⚠️ 경험을 통한 AI 안전의 필요성

수츠케버는 AI의 잠재적 위험성을 글이나 토론만으로 전달하는 데에는 분명한 한계가 있다고 지적합니다. 강력한 AI를 점진적으로 공개해 대중, 정부, 경쟁사들이 그 힘을 직접 체감하게 해야만 안전 문제가 추상적 논의가 아닌 현실의 문제로 인식된다는 주장입니다. 모두가 AI의 강력함을 실제로 느끼는 순간, AI 기업들은 지금보다 훨씬 더 집요하고 편집증적으로 안전 문제에 접근하게 될 것이라는 예측도 제시합니다.

🔮 스케일링 이후, AI의 미래가 향하는 곳

결국 수츠케버의 메시지는 명확합니다. AI의 미래는 더 큰 모델을 만드는 경쟁에 있지 않습니다. 일반화 능력, 지속적인 학습, 그리고 진정한 판단력을 가능하게 하는 가치 함수와 같은 근본적인 문제를 해결할 새로운 아이디어에 달려 있습니다. AI 분야는 다시 한 번 깊은 사유와 창의성이 요구되는 연구의 시대로 돌아왔으며, 다음 AI 혁명을 이끌 ‘새로운 트랜스포머’는 바로 그 지점에서 탄생할 것이라는 질문을 우리 모두에게 남기고 있습니다.