AI에 대해 "데이터가 크면 좋다" 접근법은 한계에 다다르고 있다

https://archive.is/XwWTi#selection-899.0-1167.1

큰 언어 모델(GPT)과 같은 대규모 언어 모델들은 이름에서도 알 수 있듯이, 그 핵심은 크기입니다. 현대 AI 시스템은 생물학적 뇌를 대략적으로 모델링한 소프트웨어인 거대한 인공 신경망에 의해 구동됩니다. 2020년에 출시된 GPT-3는 거대한 모델이었습니다. 이 모델은 "매개 변수"라고 불리는 시뮬레이션된 뉴런 사이의 연결을 나타내는 1750억 개의 매개 변수를 가지고 있었습니다. 이 모델은 수십억 개의 텍스트 단어를 수백억 개 이상 처리하도록 수천 개의 GPU(인공지능 작업에 특화된 칩)를 이용하여 몇 주간에 걸쳐 훈련되었습니다. 이 모든 비용은 최소 4,600만 달러 이상 들었을 것으로 추정됩니다.

하지만 현대 AI 연구의 가장 일관된 결과는, 크기가 좋다는 것은 좋지만, 더 크면 더 좋다는 것입니다. 그 결과, 모델의 크기는 폭발적으로 증가하고 있습니다. 2023년 3월에 출시된 GPT-4는 이전 모델과 비교하여 약 1조 개의 매개 변수를 가지고 있다고 추정됩니다. 회사의 최고 경영자인 Sam Altman은 이 모델의 개발 비용을 1억 달러 이상이라고 밝혔습니다. 이와 유사한 추세는 산업 전반에 존재합니다. 연구 기관인 Epoch AI는 2022년에 현대적인 모델을 훈련하기 위해 필요한 컴퓨팅 파워가 6~10개월마다 2배로 증가하고 있다고 추정했습니다.

그러나 이런 기하급수적인 크기는 문제가 되고 있습니다. Epoch AI의 10개월마다 2배로 증가하는 추정치가 맞다면, 훈련 비용은 2026년까지 10억 달러를 초과할 수 있습니다. 단, 모델이 먼저 데이터를 고갈시키지 않는다는 가정하에 말입니다. 2022년 10월에 게시된 분석에 따르면, 고품질 텍스트로 훈련하기 위한 재고가 동시에 고갈될 수도 있습니다. 게다가 훈련이 완료된 후에도