100억짜리 라마 3이 오픈소스가 된 이유
메타가 라마 3를 오픈 소스로 풀어놓은 이유
메타가 라마3(Llama 3)를 공개했습니다. AI의 학습지표는 파라미터(매개 변수)로 표현되는데, 라마 3은 8억개(80B), 700억개(700B)짜리 모델 두개를 내놓았죠. 700B 모델은 수학·물리학·역사 등을 종합적으로 평가하는 MMLU(다중작업언어이해) 평가에서 79.5점을 기록해 구글 제미나이 프로 1.0의 71.8점을 넘어섰습니다.
메타는 이 모델을 챗봇에 도입했는데, 말하는 즉시 이미지가 생성됩니다. 여태 스노우의 하이틴 프로필을 만들거나 할 때 적게는 30분, 길게는 24시간 기다렸던 경험이 있으실 텐데요. 이걸 고려하면 즉시 이미지를 만들어내는 라마 3 모델의 규모를 체감할 수 있죠.
릴스 만드려고 구비한 GPU, 라마의 주역이 되다
메타(Meta)는 주가가 폭락하던 2022년에 릴스를 구축하기 위해 H100 GPU를 확보했습니다. 틱톡은 숏폼 영상을 쏟아내는데, 이걸 따라잡기 위해서는 인스타의 인프라가 제한적이었죠. 이런 식으로 뒤쳐지지 않기 위해 GPU를 두배로 주문한 겁니다.
마크 저커버그는 이후에 이 GPU가 LLM 학습에 필요할 것으로 예상하긴 했는데, 그 당시에는 단지 콘텐츠 추천을 위한 것이라고 생각했다고 합니다. 이 결정이 나비효과처럼 지금의 라마 모델을 만든 밑바탕을 깔아준 셈이죠.
메타는 심지어 라마3같은 대규모 모델을 효율적으로 돌리기 위해 맞춤형 실리콘까지 개발하고 있습니다. 먼저 순위 및 추천 유형에 대한 추론을 처리할 수 있는 맞춤형 실리콘을 만들어 릴스, 뉴스피드 광고 등을 만들었죠. 이런 단위 기능에 필요한 실리콘을 내재화할 수 있게 되면서 이제는 더 비싼 NVIDIA GPU를 트레이닝에만 사용할 수 있게 되었습니다.
100억달러 모델을 오픈소싱한 이유
모바일 생태계의 가장 바탕 영역에는 애플이 만든 iOS와 구글이 만든 AOS가 있습니다. 그들에게 수용되지 못한 앱은 시장에 출시될 수 없고, 휴대폰에서 돌아가는 기술을 구현하려면 기본적으로 OS의 룰을 따라야 하죠.
모바일은 그렇게 흘러갔지만, AI는 전혀 다른 판입니다. 아직은 명확한 게이트키퍼는 없죠. '이 규격에 맞지 않으니 출시하시면 안됩니다'라고 말할 수 있는 플레이어는 아직 아무도 없습니다. OS는 폐쇄형인 반면, 지금의 핵심 AI 회사들은 대부분의 소스를 열어두고 운영하고 있으니까요. 미드저니만 해도 오픈AI의 소스를 바탕으로 만든 것이 시작이었습니다.
이런 흐름 안에서 폐쇄형 모델을 만드는 건 득보다 실이 크다고 할 수 있습니다. AI 성능의 핵심은 학습과 데이터, 활용사례인데 폐쇄형 모델은 제한적인 데이터 안에서만 모델을 학습시킬 수 있으니까요.
오픈소스라는게 꼭 돈을 안 벌겠다는 뜻도 아닙니다. 좋은 모델을 한번 구축하고 개발하면 API를 통해 이걸 플랫폼회사에 팔 수 있게 되죠. Microsoft Azure 또는 AWS 와 같은 고객을 만들어 모델을 재판매하고 수익 공유를 할 수 있습니다. 그래서 라마2는 기본적으로 모든 주요 클라우드에서 호스팅 서비스로 제공되고 있죠.
