답만 찍던 과외생, 풀이 적힌 예제만 보여 줬더니 성적 떡상한 썰 푼다

결론부터 말한다. 공부량은 그대로였다

문제집 한 권 안 늘렸는데 수학 점수가 3배 넘게 뛰었다.

먼저 밝혀 둔다. 가상의 과외 썰이다. 실제로 있었던 일은 아니고, 이 과외생의 정체는 곧 나온다.

과외생이 하나 있다.
말은 기가 막히게 잘한다. 읽은 책도 어마어마하다.
근데 수학 서술형만 풀면 100점 만점에 17.9점.

문제를 보자마자 답부터 쓴다.
"구내식당에 사과가 23개 있었다. 점심에 20개를 쓰고 6개를 더 샀다. 지금 몇 개인가?"
과외생 답은 "27개."
틀렸다. 정답은 9개다.

보통 이러면 문제집을 더 사 준다. 학원 시간도 늘린다.
이 과외는 둘 다 안 했다.

한 일은 딱 하나다.
시험 직전에 풀이가 적힌 예제 8개를 보여 줬다.

로저는 테니스공 5개를 갖고 있다. 3개들이 2캔을 더 샀다. 3개짜리 2캔은 6개다. 5 + 6 = 11. 답은 11이다.

생각하는 과정을 문장으로 쓴 예제 8개. 그거 보여 주고 같은 시험을 다시 봤다.

56.9점.

공부량은 그대로인데 3배 넘게 떡상했다. 아까 그 사과 문제도 이렇게 풀었다.
"원래 23개. 20개를 써서 23 - 20 = 3. 6개를 더 사서 3 + 6 = 9. 답은 9."

여기서 끝나면 그냥 훈훈한 과외 썰이다.
반전은 두 개다. 하나, 이 과외생은 사람이 아니다. 둘, 같은 방법을 쓴 동생 과외생들은 오히려 점수가 떨어지기도 했다.
정체부터 깐다.

그래서 이 과외생이 누구냐고

사람이 아니다. 구글의 AI 언어 모델 PaLM 540B다.
과외쌤도 내가 아니다. 2022년에 이 실험을 한 구글 연구진(Jason Wei 외)이다.
시험지는 초등~중학교 수준 수학 서술형 문제 모음인 GSM8K이고, '점수'는 정답률(%)을 100점 만점으로 바꿔 부른 것이다.

실험은 진짜다. 숫자도 논문 그대로다. 과외라는 설정만 비유다.
사과 문제와 테니스공 예제는 논문 첫 그림(Figure 1)에 실린 예를 옮긴 것이다. 다만 그 그림의 답이 어느 모델의 출력인지는 따로 적혀 있지 않아서, 썰에서는 설명용으로 과외생의 답처럼 썼다.

과외 썰을 논문 말로 바꾸면

• 과외생 = 대규모 언어 모델. 엄청난 양의 글을 읽고 "다음에 올 말은 뭘까?"를 맞히도록 훈련된 프로그램이다. 스마트폰 자동완성의 초거대 버전이라고 보면 된다.
• 시험 직전에 보여 준 예제 = 퓨샷 프롬프팅. 모델을 다시 훈련하지 않고, 질문 앞에 예제 몇 개를 붙여 패턴을 따라 하게 하는 방법이다.
• 예제에 적힌 풀이 = 생각의 사슬(chain of thought). 중간 추론 단계를 줄줄이 이어 쓴 것에 연구진이 붙인 이름이다.
• 모의고사 = GSM8K.

물론 비유와 실제는 다르다. 세 가지는 짚고 가야 한다.

첫째, 진짜 과외는 학생 머릿속이 바뀐다. 이 실험에서는 모델 안의 숫자(파라미터)가 하나도 안 바뀌었다. 바뀐 건 질문 앞에 붙인 예제뿐이다.
둘째, 사람 과외생은 풀이를 이해하고 쓴다. AI가 정말 사람처럼 '추론'하는지는 논문도 열린 질문으로 남겼다.
셋째, 예제 8개는 질문할 때마다 함께 넣어 준 것이다. 한 번 보고 외운 게 아니다.

다른 과외생들도 같이 뛰었다

연구진은 여러 회사의 대형 모델(GPT-3, LaMDA, PaLM 등)로 똑같이 해 봤다. GSM8K 결과는 이렇다.

PaLM 540B의 56.9%는 당시 최고 기록 55%를 넘었다. 그 55%는 GSM8K 전용으로 미세조정한 GPT-3에 검증기까지 붙인 결과였다.
문제집으로 따로 훈련시킨 모범생을, 예제 8개만 본 과외생이 이긴 셈이다.

수학만이 아니다. 상식 추론 중 '스포츠 이해'(어떤 문장이 스포츠적으로 말이 되는지 판단하는 문제)에서는 PaLM 540B가 95.4%를 찍었다. 논문에 제시된 '도움 없이 푼 스포츠 애호가'의 84%보다 높다.

반전: 동생 과외생은 오히려 망했다

여기서 썰이 꺾인다. 이 방법은 모든 과외생에게 통하지 않았다.

같은 예제를 덩치 작은 모델, 말하자면 '동생 과외생'들에게 보여 줬다.
점수가 안 올랐다. 논문에 따르면 효과는 약 1,000억(100B) 개 파라미터 규모의 모델에서야 나타났다.

작은 모델은 풀이를 쓰긴 썼다. 문제는 그 풀이가 말은 유창한데 논리는 엉터리였다는 거다. 그래서 그냥 답만 쓰게 했을 때보다 점수가 떨어지기도 했다.
"풀이 써 봐" 했더니 그럴듯한 문장으로 엉뚱한 계산을 늘어놓는 상황이다.

연구진은 이를 모델이 일정 규모를 넘어야 나타나는 창발적 능력으로 설명한다.

진짜 '풀이' 덕분 맞나? 가짜 과외 3종 세트

의심 많은 사람은 이렇게 물을 거다. "그냥 글자를 많이 쓰게 해서 계산할 시간이 늘어난 거 아님?"
연구진도 같은 의심을 했고, 가짜 버전 세 가지를 시험했다(GSM8K 기준).

1. 수식만 쓰게 하기: 말로 된 풀이 없이 식만 쓰게 했다. 큰 도움이 안 됐다. 문제 뜻을 말로 풀지 않으면 식으로 옮기기도 어렵다는 얘기다.
2. 점(...)만 찍게 하기: 풀이 길이만큼 의미 없는 점을 찍게 했다. 기존 방식과 비슷했다. 시간 벌기는 비결이 아니었다.
3. 답 먼저, 풀이는 나중에: 역시 기존 방식과 비슷했다. 풀이가 답을 이끌어 내는 순서가 중요하다는 뜻이다.

예제를 쓴 사람을 바꿔도(저자 3명이 각자 작성), 문체를 간결하게 바꿔도 모두 기존 방식보다 크게 좋았다. 특정 과외쌤의 글솜씨 덕분이 아니라는 얘기다.

그래도 완벽한 과외는 아니었다

연구진은 한계도 솔직하게 적었다.

• 정답을 맞힌 풀이 50개를 사람이 검사했더니 2개는 우연히 정답에 도달한 엉터리 풀이였다. 틀린 50개 중 46%는 계산 실수 같은 사소한 오류, 54%는 문제 이해 자체가 크게 틀린 경우였다.
• 올바른 풀이 경로가 보장되지 않는다. 그럴듯한 풀이로 틀린 답을 낼 수 있다.
• 거대한 모델에서만 효과가 나니 실제 서비스에 쓰기엔 비용이 크다.

이 썰의 교훈

1. AI의 실력은 '묻는 법'에 따라 달라진다. 연구진은 기존 방식의 성적이 언어 모델 능력의 "하한선"일 뿐이라고 말한다.
2. 풀이는 창문이 된다. 답에 이르는 과정이 글로 보이니, 사람이 어디서 틀렸는지 들여다볼 수 있다.
3. 그럴듯한 풀이 ≠ 맞는 풀이. 챗봇이 술술 설명해도 중간 단계는 직접 확인해야 한다.

참고로 요즘 챗봇에 흔히 붙이는 "단계별로 생각해 줘" 같은 한 줄 요청은 이 논문의 방법과 똑같지 않다. 이 논문은 풀이가 붙은 예제를 몇 개 보여 주는 방식을 실험했다. 다만 "AI에게 과정을 말하게 하면 더 잘 푼다"는 생각을 대규모 실험으로 보여 준 출발점 중 하나라는 점에서, 오늘 챗봇과 대화하는 방식에 깊은 흔적을 남겼다.

다음 썰은 회사 얘기다. 직원 8명인데 손님마다 2명만 일하는 회사가 있다. 그게 왜 AI 얘기인지는 '다음에 읽을 글'에서 확인하면 된다.