직원 대부분이 노는데 대형 회사랑 맞먹는 회사 실화냐

직원 대부분이 노는 회사가 있음

노는 직원이 대부분인데 안 망하는 회사 얘기임.

먼저 말해 둠. 가상의 회사임. 정체는 좀 이따 밝힘.

직원이 8명임.
근데 손님 한 명 올 때마다 일하는 건 딱 2명.
나머지 6명은 그 손님 건엔 손도 안 댐.

누가 일할지는 입구의 배정 담당이 정함.
손님 쓱 보고 "이 건은 3번이랑 7번" 하고 찍어 줌.
두 사람 결과물이 오면 "3번 거 많이, 7번 거 조금" 비율 정해서 섞은 다음 손님한테 내보냄.

여기까지 들으면 "6명 월급 루팡 아님?" 싶을 거임.
(엄밀히는 그 손님 건에서만 빠지는 거임. 다음 손님이 오면 배정 담당이 2명을 새로 고름. 아까랑 같은 사람일 수도, 다른 사람일 수도 있음.)

근데 반전 있음.
옆 동네에 손님 한 명 올 때마다 전 직원이 달라붙는 대형 회사가 있음. 손님당 투입 인력이 이 회사의 5배 넘음.
둘이 같은 시험 붙었더니 2명만 일하는 이 회사가 대부분 종목에서 이기거나 비슷하게 나옴.

ㄹㅇ 이 회사 어디 있냐고?

사람 회사는 아님. AI 모델 얘기임.
Mistral AI가 2024년 1월 논문으로 구조를 공개한 Mixtral 8x7B라는 언어 모델 속이 딱 이렇게 생김.
그리고 이번 주 AI 뉴스에 나온 이상한 숫자도 사실 이 회사 얘기임.

이번 주 뉴스 속 '전체 8,160억, 활성 420억'

10월 15일 메타가 새 모델 Muse Spark Open의 오픈 웨이트를 공개함.
화제가 된 건 장소였음. 데이터센터가 아니라 책상 위 Mac Studio(M5 Ultra) 두 대에서 돌아간다는 거임.

발표문엔 이런 숫자가 있음. "전체 파라미터 8,160억 개(활성 420억 개)".
모델 카드엔 "전문가 256개 중 토큰당 8개 활성화"라고 적혀 있음.

직원 256명 중 손님마다 8명만 일하는 회사라는 소리임. 구조 자체는 위에서 본 그 회사랑 같은 발상임.
(※ Muse Spark Open이 Mixtral을 바탕으로 만들어졌다는 뜻은 아님. 같은 설계 아이디어를 이해하는 배경 지식으로 Mixtral 논문을 읽는 거임.)

회사 = AI 모델, 직원 = 전문가

비유랑 실제 개념을 짝지어 보면 이럼.

• 손님 = 토큰. 글을 잘게 쪼갠 조각임. 모델은 문장을 토큰 단위로 하나씩 처리함.
• 직원 = 피드포워드 블록. 논문은 이걸 '전문가(expert)'라고 부름. 층마다 8명 있음.
• 배정 담당 = 라우터. 직원마다 점수를 매겨 상위 2명을 고르고, 그 점수를 두 결과를 섞는 비율로도 씀.
• 회사의 한 층 = 모델의 한 층. Mixtral은 이런 층이 32개 쌓여 있음.
• 전 직원 규모 = 한 토큰이 접근할 수 있는 파라미터 470억 개.
• 그 손님 건에 실제로 일한 직원 = 활성 파라미터 130억 개.

이게 왜 이득이냐면, 논문 설명이 깔끔함.
고르는 수(2명)는 그대로 두고 직원 수만 늘리면, 계산 비용은 사실상 그대로인 채 모델을 키울 수 있음.
회사 실력은 전 직원한테서 나오는데, 손님 한 명당 드는 인건비는 2명분이라는 거임.

물론 실제 MoE는 사람 회사랑 다른 점이 꽤 있음.

• 손님(토큰)은 한 층만 들렀다 가는 게 아님. 32개 층을 전부 거치고, 층마다 배정을 새로 받음. 그래서 같은 토큰이라도 층마다 다른 직원 조합을 만날 수 있음.
• 직원은 월급 받는 사람이 아니라 숫자 덩어리임. 그리고 사람처럼 '전공'이 있는지도 따져 봐야 함. (이게 뒤에 나올 진짜 반전임)
• 일 안 하는 직원도 사무실 자리는 다 있어야 함. 이게 생각보다 중요함. 바로 다음에 나옴.

성적표: 손님당 인력 5분의 1도 안 되는데

비교 상대는 당시 대표 공개 모델 Llama 2 70B임. 이 모델은 토큰마다 700억 개 파라미터를 전부 씀. 위 비유의 '전 직원이 달라붙는 대형 회사'임.
Mixtral은 그 5분의 1도 안 되는 130억 개로 대부분의 벤치마크에서 앞서거나 비슷했음.

• 종합 지식 시험 MMLU: 70.6% 대 69.9%, 근소하게 앞섬.
• 수학 MATH: 28.4% 대 13.8%, 두 배 넘음.
• 코딩 MBPP: 60.7% 대 49.8%.
• 대신 상식 문제(HellaSwag, WinoGrande)는 Llama 2 70B가 조금 높았음. 전 종목 압승은 아님.

대화용으로 다듬은 Mixtral Instruct는 MT-Bench 8.30점을 받아, 논문 기준 2023년 12월 당시 최고의 오픈 웨이트 모델이 됐음.

공짜 점심은 없음: 사무실은 다 지어야 함

계산을 아낀다고 다 공짜인 건 아님.
논문은 계산 비용은 활성 파라미터에, 메모리 비용은 전체 파라미터(470억 개)에 비례한다고 밝힘.
손님마다 2명만 일해도, 회사는 8명 전원의 책상을 다 깔아 둬야 한다는 얘기임. 배정 담당이 길 안내하는 데도 추가 부담이 생김.

여기서 뉴스가 다시 보임.
메타는 Mac Studio 한 대당 최대 512GB 통합 메모리를 GPU가 쓸 수 있어 두 대면 모델 전체를 담을 수 있고, 초당 1.2TB 메모리 대역폭이면 토큰마다 필요한 작은 조각을 읽기에 충분하다고 설명함.
사무실(메모리)은 넓게, 복도(대역폭)는 빠르게. 이건 메타 측 설명이라 독립적으로 확인된 건 아님.

진짜 반전: 직원들한테 전공이 없었음

그럼 1번 직원은 수학 담당, 2번은 생물학 담당일까?
연구진도 궁금해서 직접 까 봄.

결과는 "놀랍게도" 아니었음. (논문에 진짜 Surprisingly라고 써 있음)
arXiv 논문, 생물학 초록, 철학 문서를 넣어 봤는데 직원 배정 분포가 서로 매우 비슷했음. 주제별 전공이 안 보였다는 거임.

대신 보인 건 문법 패턴이었음.
파이썬 코드의 self, 영어의 'Question' 같은 단어, 코드의 들여쓰기가 같은 직원한테 자주 감.
연달아 오는 토큰들이 같은 직원을 만나는 경향도 강했음.

회사로 치면 '수학팀·생물팀'이 아니라 '문장 속 역할별 담당자'에 가까운 셈임. 처음 비유에서 직원을 사람처럼 상상했으면 여기서 살짝 배신당하는 포인트임.

정리하면

1. "전체 OOO억, 활성 OO억" 표기를 보면 전 직원 수 vs 손님 한 명에 실제로 일한 직원 수를 떠올리면 됨.
2. 활성이 작으면 계산은 싸짐. 근데 메모리는 전체 크기만큼 필요함. 그래서 책상 위 Mac 얘기에서 메모리 512GB가 핵심 숫자로 나온 거임.
3. 전문가는 사람 같은 전공이 아니라, 문법·패턴 단위로 일을 나눠 맡는 경향을 보였음.

다음 글은 같은 AI라도 묻는 방식만 바꿨더니 수학 점수가 3배 넘게 뛴 얘기임. 모델은 하나도 안 고치고 질문만 바꿨는데 그게 됨. '다음에 읽을 글'에서 이어서 보셈.