[토론] 얼굴 대신 숫자만 저장하면 안심? 그 숫자로 얼굴이 다시 그려진다면

토론에 앞서, 질문 하나와 가상의 게임 하나

얼굴 사진은 지우고 숫자만 남긴다면, 안심하시겠습니까?
그 숫자로 얼굴이 다시 그려진다면, 대답이 달라지십니까?

오늘은 이런 질문을 하나씩 던지고 함께 따져 보겠습니다. 답은 끝까지 미루지 않고 질문 6에서 드리겠습니다.
먼저 게임 하나를 상상해 보십시오. 실제로 있는 게임은 아닙니다. 비유입니다.

거대한 지구본이 있습니다.
사람마다 지구본 위에 '자기 도시'가 하나씩 있습니다.
사진 한 장이 들어오면, 그 사진은 지구본 어딘가에 핀으로 꽂힙니다.

규칙은 하나입니다. 같은 사람의 사진은 자기 도시 근처에, 다른 사람의 사진은 멀리.

그런데 이 게임에는 이상한 규칙이 두 개 더 있습니다.
연습 때는 자기 도시까지의 거리에 일부러 벌점을 얹고도 이겨야 합격입니다.
그리고 핀 하나의 위치는 숫자 512개로 적힙니다.

첫 질문을 드리겠습니다. 이 게임은 어디에 쓰일까요?

답은 얼굴 인식 AI입니다. 2018년 처음 공개되고 2022년 확장된 ArcFace 논문이 얼굴을 다루는 방식이 바로 이 게임입니다. 저자들은 코드와 학습된 모델을 공개했고, 이후 얼굴 인식 연구에서 널리 쓰이는 기준점이 됐습니다.

(※ 특정 스마트폰이나 앱이 ArcFace를 쓴다는 뜻은 아닙니다. 얼굴 잠금 해제나 인물별 앨범이 풀어야 하는 문제가 이 논문의 문제와 같다는 의미의 징검다리입니다.)

질문 1. 얼굴이 정말 숫자가 될 수 있습니까?

얼굴 인식 AI의 일은 크게 둘입니다.

• 확인(1:1): "이 얼굴이 등록된 주인과 같은 사람인가?" → 잠금 해제 같은 문제
• 찾기(1:N): "이 얼굴은 여러 사람 중 누구인가?" → 인물별 앨범 같은 문제

두 경우 모두 핵심은 얼굴 사진을 숫자 목록으로 바꾸는 것입니다. ArcFace는 얼굴 하나를 512개의 숫자로 요약합니다. 이것이 임베딩이고, 게임 속 '핀의 위치'입니다. 일종의 얼굴 지문입니다.

좋은 얼굴 지문의 조건은 둘입니다. 같은 사람이면 비슷하고, 다른 사람이면 확실히 달라야 합니다.
닮은 형제, 20년 전 사진과 오늘 사진을 떠올려 보십시오. 쉬운 조건이 아닙니다.

질문 2. '닮았다'는 무엇으로 재야 합니까?

ArcFace의 답은 거리 대신 각도입니다.

모든 얼굴 지문의 크기를 똑같이 맞추면(정규화), 지문은 커다란 공의 표면 위 점이 됩니다. 그러면 닮은 정도는 공의 중심에서 본 두 점 사이의 각도로 잴 수 있습니다. 각도가 작으면 닮은 얼굴, 크면 다른 얼굴입니다.

비유와 실제를 짝지어 보겠습니다.

• 지구본 = 크기를 맞춘 얼굴 지문들이 놓이는 공의 표면
• 핀 = 사진 한 장의 임베딩(숫자 512개)
• 자기 도시 = 학습 중 사람마다 정해지는 중심점
• 도시까지의 거리 = 핀과 중심점 사이의 각도

논문 그래프를 보면 학습 초기 사진과 자기 도시 사이 각도는 약 90도(아무렇게나 흩어진 상태)에서 출발해, 학습이 끝날 무렵 약 30도까지 좁혀집니다.

다만 비유의 한계도 분명히 해 두겠습니다. 실제 공간은 3차원 지구본이 아니라 512차원 공의 표면입니다. 머릿속에 그릴 수 없을 뿐, 각도로 비교한다는 원리는 같습니다. 또 실제로 쓸 때는 도시 없이 두 사진의 핀 사이 각도를 바로 비교합니다.

질문 3. 일부러 벌점을 주는 게 합리적입니까?

그냥 "가까이 모여라"라고만 하면 도시 사이 경계가 흐릿해집니다. 논문의 실험 그림에서도 기존 방식(정규화된 소프트맥스)은 사람들을 대충 나누긴 했지만 경계 부분이 애매하게 섞였습니다.

그래서 ArcFace는 학습할 때 정답 각도에 여유분 m을 더한 뒤에도 다른 도시보다 가까워야 정답으로 인정합니다. 합격선이 60점이라도 연습 때는 10점을 깎고도 60점을 넘겨야 통과시키는 셈입니다. 그렇게 연습한 학생은 실전에서 넉넉하게 붙습니다.

연구진은 m을 여러 값으로 시험했고 0.5가 가장 좋았다고 보고합니다. 이름의 'Arc'는 '호(弧)'입니다. 공 위에서 각도는 표면을 따라 잰 거리와 정확히 대응하므로, 각도에 여유를 두는 것은 지구본 표면 위 거리에 여유를 두는 것과 같습니다. 구현은 "코드 몇 줄"이면 된다고 합니다.

질문 4. 이름표 절반이 엉터리인 데이터로도 배울 수 있습니까?

이런 AI를 훈련하려면 이름표 붙은 얼굴 사진이 수백만 장 필요합니다. 보통 유명인 이름으로 인터넷을 검색해 모으는데, 다른 사람 사진이 섞이기 쉽습니다.

논문에 따르면 MS1MV0라는 데이터(약 10만 명, 약 1,000만 장)는 잘못된 사진 비율이 47.1~54.4%로 추정됩니다. 사람 손으로 치우는 건 큰일입니다. 논문이 인용한 선행 연구에서는 약 5만9천 명, 170만 장 규모의 깨끗한 데이터를 만드는 데 50명이 한 달을 매달렸습니다.

확장판의 답은 서브센터입니다. 사람마다 도시를 하나가 아니라 K개의 동네로 나누고, 사진은 그중 아무 동네에나 가까우면 됩니다. 그러면 진짜 그 사람 사진은 가장 큰 동네에 모이고, 잘못 들어온 사진이나 옆모습·가려진 얼굴 같은 까다로운 사진은 작은 동네로 빠집니다. 작은 동네를 걸러내면 데이터가 자동으로 청소됩니다.

주 동네 안의 잘못된 사진 비율은 38.47%에서 12.40%로, 약 3분의 1로 줄었습니다. 다만 동네를 너무 많이(K=10) 만들면 성적이 67.94%로 곤두박질쳤습니다. 연구진은 K=3을 택했습니다.

질문 5. 97.27%는 높은 점수입니까, 낮은 점수입니까?

연구진은 자동 청소한 데이터를 합쳐 IBUG-500K(약 49만3천 명, 1,196만 장)를 만들고 더 큰 신경망으로 학습했습니다.

• LFW (얼굴 인식의 고전 시험): 99.83%. 다만 논문은 이 시험이 이미 약 99.8% 수준에서 '포화'됐다고 말합니다.
• IJB-C(약 3,500명, 사진과 영상 프레임이 섞인 어려운 시험): 97.27%.

97.27%만 보면 LFW보다 낮아 보입니다. 하지만 이 숫자는 남을 본인으로 잘못 통과시키는 비율을 1만 번 중 1번(0.01%)으로 묶어 둔 엄격한 설정에서 진짜 본인을 몇 % 통과시키느냐를 잰 값입니다. "웬만해선 남에게 안 열리게 잠가 두고도 주인은 100번 중 97번 넘게 알아본다"는 뜻입니다. 시험 조건을 보지 않고 숫자만 비교하면 안 되는 이유입니다.

속도는 논문 환경 기준 얼굴 하나에 ResNet50 8.9ms, ResNet100 15.4ms였습니다.

질문 6. 숫자 512개만 새어 나가면 안전합니까?

오늘 제목의 질문입니다. 논문에는 반대 방향 실험이 실려 있습니다. 512개 숫자에서 얼굴 이미지를 되살리는 실험입니다.

별도의 이미지 생성 AI를 따로 훈련하지 않고, 학습된 ArcFace 모델 안에 저장된 통계 정보만으로 그 사람의 특징을 유지한 얼굴을 만들어 냈습니다. 학습 데이터에 없던 사람에 대해서도요.

연구진은 이를 ArcFace가 '구분하는 능력'뿐 아니라 '만들어 내는 능력'도 갖췄다는 근거로 제시합니다. 동시에 "얼굴 지문만 유출되면 괜찮다"고 단정할 수 없다는 점을 보여 주는 대목이기도 합니다.

판정은 여러분께 맡기겠습니다

정리하면 이렇습니다.

1. 얼굴 비교 = 각도 비교. 공 위에 점을 찍고, 일부러 여유를 두고 학습시키는 것만으로 구분력이 크게 좋아졌습니다.
2. 데이터 청소를 AI에게. 서브센터는 엉망인 인터넷 데이터도 AI가 스스로 걸러 쓸 수 있다는 걸 보여 줬습니다.
3. 정확해질수록 신중해야. 1만 번에 1번만 남을 통과시키는 기준도 이용자가 수백만 명이면 실제 오류가 생깁니다. 숫자에서 얼굴을 되살리는 실험은 프라이버시 보호를 함께 고민해야 한다는 신호입니다.

편리함입니까, 소름입니까. 저는 둘 다라고 봅니다. 여러분은 어느 쪽입니까?

다음 글에서는 얼굴 대신 취향을 숫자로 바꾸는 이야기를 다룹니다. 추천 AI가 사용자와 영상을 숫자 묶음으로 기억하고, 그 숫자를 '분 단위'로 고친다는 바이트댄스 논문입니다. '다음에 읽을 글'에서 이어집니다.