옥스퍼드 박사에 1저자 논문이 여러 편, 그런데도 그녀는 LeetCode 150문제를 풀고 FlashAttention을 맨손으로 구현했다. DeepMind에 합격한 Silvia Sapora의 면접 가이드가 화제가 된 건 '준비법' 때문만이 아니다. 그 글에 담긴 공부 목록이 곧 2026년 현대 AI의 전체 지도였기 때문이다. 면접의 역사부터 어텐션·디퓨전·정렬·분산학습의 핵심 개념까지, 쉽고 자세하게 풀어본다.
한 사람의 이력서를 봅시다. 옥스퍼드 대학교 통계학 박사과정(지도교수가 Yee Whye Teh와 Jakob Foerster, 이 분야에서 전설적인 이름들입니다). 1저자 논문 여러 편. 메타(Meta) 소프트웨어 엔지니어 경력, 애플 인턴 경험. 연구 주제는 강화학습·메타러닝·LLM.
이 정도면 어디든 골라 갈 것 같죠? 그런데 이 사람, Silvia Sapora는 DeepMind 면접을 준비하면서 이렇게 했습니다.
결과는? 면접을 끝까지 본 모든 회사에서 합격 — DeepMind(최종 선택), Isomorphic Labs, Cohere, Meta, 그리고 스텔스 스타트업. 그녀가 이 과정을 솔직하게 정리한 글 "ML Job Interviews: The Ultimate Guide"는 2026년 6월 공개되자마자 AI 커뮤니티에서 크게 화제가 됐습니다.
화제가 된 이유는 두 가지입니다. 하나는 충격적인 솔직함 — "당신의 인간으로서의 가치는 이 면접들로 결정되지 않는다"는 문장과 콜라 이야기가 같은 글에 나옵니다. 다른 하나가 이 글의 진짜 보물인데, 그녀가 정리한 '공부 목록'이 사실상 2026년 현대 AI 기술의 전체 지도라는 점입니다.
이 글은 그 지도를 따라갑니다. 면접이 왜 이렇게까지 가혹해졌는지(역사), 그 관문이 어떻게 생겼는지(구조), 그리고 무엇보다 — 그 목록에 적힌 생소한 용어들(FlashAttention, RoPE, MoE, DPO, Flow Matching, FSDP…)이 도대체 무엇이고 왜 중요한지를 하나씩, 쉽게 풀어보겠습니다.
10년 전으로 돌아가 봅시다. 2015년 무렵 "머신러닝 엔지니어"가 되는 길은 지금과 완전히 달랐습니다.
왜 이렇게 됐을까요? 이유는 의외로 단순합니다.
Sapora가 못박은 역설이 하나 있습니다. 면접에 부르기까지는 논문이 결정적이지만, 일단 면접장에 들어가는 순간 "더 이상 논문은 도움이 안 된다(more papers will not help you at this point)"는 겁니다. 그때부터는 오직 "지금 이 자리에서 짤 수 있는가, 설명할 수 있는가"만 남습니다. 그래서 박사들조차 LeetCode를 다시 풀고 어텐션을 백지에 구현하는 겁니다.
Sapora에 따르면 대부분의 탑랩 면접은 거의 같은 구조를 따릅니다. 한 단계씩 통과해야 다음으로 가는, 일종의 보드게임 트랙입니다.
보통 3~8개의 기술 면접이 이 사이에 들어갑니다. 핵심 준비물은 세 가지였습니다.
여기까지가 '형식'입니다. 이제 진짜 내용 — 그 이론 목록으로 들어갑시다. 이게 이 글을 화제로 만든 핵심이자, 여러분이 가져갈 가장 큰 가치입니다.
Sapora는 공부할 주제를 여섯 범주로 정리했습니다. 강화학습, LLM, 생성 모델, 응용 ML(시스템), 일반 ML, 선형대수. 이걸 쭉 펼치면 2026년 현재 프런티어 AI를 떠받치는 거의 모든 기둥이 보입니다.
용어가 생소할 겁니다. 그래서 지금부터 가장 중요한 기둥들을 골라, (1) 왜 생겨났는지 → (2) 핵심 아이디어를 쉬운 비유로 → (3) 구조와 논문, 이 순서로 풀어보겠습니다. 각 개념마다 코어닷투데이가 이미 써둔 상세 해부 글을 함께 링크해 둘 테니, 더 깊이 파고 싶으면 그쪽으로 가면 됩니다.
이 글을 '허브'로 쓰세요. 여기서 전체 지도를 한눈에 보고, 궁금한 기둥은 링크를 타고 들어가 깊게 읽는 방식입니다.
목록의 LLM 범주는 전부 한 가지 위에 서 있습니다. 어텐션(Attention).
문장 "그 동물은 길을 건너지 않았다, 너무 피곤했기 때문에"에서 "그것(it)"이 가리키는 게 동물인지 길인지, 사람은 단번에 압니다. 어텐션은 모델이 이걸 하게 해줍니다 — 각 단어가 문장 속 다른 모든 단어를 '얼마나 주목할지' 가중치를 매기는 것입니다. 2017년 "Attention Is All You Need"가 RNN을 버리고 오직 어텐션만으로 트랜스포머를 만들면서, 현대 AI의 시대가 열렸습니다.
면접 목록에 나오는 Causal Attention(인과적 어텐션 — 미래를 못 보게 가리는 것, GPT가 다음 단어를 예측하는 방식)과 Cross Attention(한 시퀀스가 다른 시퀀스를 바라보는 것, 번역·이미지 캡션에서 쓰임)은 모두 이 어텐션의 변형입니다.
→ 더 깊이: Attention의 모든 것: '집중'이 AI의 역사를 바꾸기까지
어텐션에는 치명적 약점이 있습니다. 순서를 모릅니다. "개가 사람을 물었다"와 "사람이 개를 물었다"를 똑같이 봅니다. 그래서 각 단어에 "너는 몇 번째야"라는 위치 정보를 넣어줘야 합니다.
초기엔 사인·코사인 파동(sinusoidal embedding) 으로 위치를 더해줬습니다. 그런데 2021년 등장한 RoPE(Rotary Position Embedding, 회전 위치 인코딩) 가 판도를 바꿨습니다. 핵심 아이디어는 우아합니다 — 단어 벡터를 그 위치에 비례한 각도만큼 '회전'시킨다.
RoPE는 지금 LLaMA, Qwen 등 사실상 모든 주요 LLM의 표준이 됐습니다. "긴 컨텍스트"가 가능해진 데에 RoPE의 공이 큽니다.
목록에서 가장 자주 "직접 구현해 보라"고 요구되는 게 FlashAttention입니다. 이걸 이해하면 면접관이 좋아하는 이유가 분명해집니다 — 알고리즘과 하드웨어를 동시에 이해하는지를 보여주거든요.
문제는 이렇습니다. 어텐션은 길이 N인 문장에서 N×N 크기의 거대한 행렬을 만듭니다. 문장이 길어지면 이 행렬이 메모리를 제곱으로 잡아먹습니다. GPT-3의 컨텍스트가 한동안 2K에 머문 이유가 이것이었습니다.
2022년, 박사과정 학생 Tri Dao가 낸 해법은 천재적이었습니다. "계산을 더 빨리 하지 말고, 메모리 사이를 덜 걸어다니자."
GPU에는 두 종류의 메모리가 있습니다. 칩 위에 붙은 SRAM(아주 빠르지만 아주 작음)과, 멀리 있는 HBM(크지만 느림). 표준 어텐션은 거대한 N×N 행렬을 느린 HBM에 써놓고 계속 왕복합니다. FlashAttention은 이걸 안 합니다.
결과는 정확도 손실 0%로 2~4배 빠르고, 메모리는 10~20배 절약. 수학은 똑같은데(exact attention) 메모리 접근만 영리하게 바꿨습니다. 오늘날 긴 컨텍스트 LLM은 거의 다 이 위에서 돌아갑니다.
→ 더 깊이: FlashAttention 해부: 박사과정 학생이 만든 커널이 AI 산업 전체를 바꿨다
모델이 커질수록 두 가지 문제가 생깁니다. 어떻게 크게 만들면서도 빠르게? 그리고 어떻게 효율적으로 학습·미세조정? 목록의 이 항목들이 그 답입니다.
LLM을 더 똑똑하게 하려면 파라미터를 늘려야 합니다. 그런데 파라미터가 늘면 모든 입력이 그 전부를 통과해 느려집니다. MoE의 해법은 회사 조직과 같습니다 — 수십 명의 '전문가' 신경망을 두고, 입력마다 그중 한두 명만 골라 부른다.
덕분에 1.8조 파라미터를 '가지고' 있으면서도, 실제 계산은 그 일부만 합니다. "크지만 빠른" 모순이 가능해진 비결입니다.
→ 더 깊이: Mixture of Experts 완전 해부: 1.8조 파라미터인데 왜 빠른가
수백억 파라미터 모델을 내 데이터에 맞게 미세조정하려면 GPU가 산더미처럼 필요합니다. LoRA(Low-Rank Adaptation) 는 이걸 뒤집었습니다. 원본 모델은 얼린 채로 그대로 두고, 옆에 아주 작은 '저차원 행렬' 두 개만 새로 학습합니다. 마치 두꺼운 교과서에 형광펜 메모지만 몇 장 붙이는 것과 같습니다.
학습할 파라미터가 1만분의 1 수준으로 줄어드니, 개인 GPU로도 거대 모델을 미세조정할 수 있게 됐습니다. 오늘날 오픈소스 LLM 커스터마이징의 표준입니다.
→ 더 깊이: LoRA로 가는 수학 여정
모델을 무작정 키운다고 좋아지지 않습니다. 데이터와 파라미터, 연산량 사이엔 최적의 비율이 있습니다. DeepMind의 Chinchilla 논문은 "많은 모델이 사실 데이터에 비해 지나치게 컸다"는 걸 보여주며, 주어진 연산 예산에서 성능을 극대화하는 균형점을 제시했습니다. "GPT를 한 번 더 키울까, 데이터를 두 배 줄까"라는 수십억 달러짜리 의사결정의 근거입니다.
→ 더 깊이: Chinchilla 스케일링 법칙
GPT가 "다음 단어 맞히기"로 똑똑해졌다면, ChatGPT를 유용하고 안전하게 만든 건 정렬(alignment) 기술입니다. Sapora의 강화학습 목록은 이 흐름의 역사 그 자체입니다.
RLHF(Reinforcement Learning from Human Feedback) 는 세 단계입니다.
3단계의 PPO(Proximal Policy Optimization) 가 바로 그 "신뢰 구간 안에서 조금씩만 개선하는" 알고리즘입니다. 한 번에 너무 크게 바꾸면 모델이 망가지므로, 보폭을 제한하며 나아갑니다.
→ 더 깊이: InstructGPT와 RLHF · 인간 선호로 학습하는 심층 강화학습
RLHF는 강력하지만 복잡하고 불안정합니다(보상 모델 따로, 강화학습 따로). 2023년 DPO(Direct Preference Optimization) 가 충격적인 단순화를 제시했습니다 — "언어 모델 자체가 이미 숨겨진 보상 모델이다." 별도의 보상 모델과 강화학습 루프 없이, 선호 데이터로 곧장 분류 문제 풀듯 학습합니다.
| RLHF + PPO | DPO |
|---|---|
| 보상 모델을 따로 학습 | 보상 모델 불필요 (암묵적) |
| 강화학습 루프 — 불안정·고비용 | 단순한 분류 손실 — 안정적 |
| 구현이 까다로움 | 구현이 가볍고 쉬움 |
더 단순한데 성능은 비슷하거나 더 좋습니다. 이후 추론 모델 시대엔 GRPO·DAPO 같은 변형이 등장해, 보상 신호를 더 영리하게 쓰는 방향으로 진화했습니다(DeepSeek-R1이 대표적).
→ 더 깊이: DPO 직접 선호 최적화 · 모든 길은 우도로 통한다 — RLHF는 왜 DPO를 이기는가 · DAPO: 대규모 강화학습
이미지·영상·오디오 생성의 뿌리입니다. 목록의 생성 모델 범주는 깔끔한 진화 계보를 그립니다.
VAE(변분 오토인코더) 는 데이터를 압축된 '잠재 공간'으로 보냈다가 복원하며, 그 공간에서 새 데이터를 뽑아냅니다. GAN은 '위조범(생성자)'과 '감별사(판별자)'를 경쟁시켜 진짜 같은 이미지를 만듭니다. 한 시대를 풍미했지만, GAN은 학습이 불안정하기로 악명 높았습니다.
→ 더 깊이: VAE 해설 · GAN 해설 · 오토인코더
오늘날 이미지 생성(Stable Diffusion, Midjourney 등)의 주역은 디퓨전(Diffusion) 입니다. 아이디어가 직관적입니다.
학습 때 이미지에 노이즈를 단계적으로 입혀 완전한 잡음으로 만들고(정방향 과정), 모델에게 이 과정을 거꾸로 되돌리는 법을 가르칩니다(역방향 과정, DDPM/DDIM). 생성할 땐 순수 노이즈에서 시작해 한 단계씩 '조각'하듯 이미지를 만듭니다. 목록의 Score Function, Forward/Reverse SDE가 이 수학적 토대입니다.
→ 더 깊이: 디퓨전 모델 해설
가장 최신 흐름이 Flow Matching입니다. 디퓨전이 노이즈를 향한 구불구불한 확률 과정(SDE)이라면, Flow Matching은 노이즈에서 데이터로 가는 '속도장(velocity field)'을 직접 학습합니다. 즉 매 단계의 방향을 직선처럼 단순하게 잡습니다(ODE).
| 디퓨전 (SDE) | Flow Matching (ODE) |
|---|---|
| 노이즈를 예측 → 거기서 방향 유도 | 속도(방향)를 직접 예측 |
| 구불구불한 확률 경로, 노이즈 스케줄 필요 | 직선 보간, 스케줄 불필요 |
| 샘플링 단계가 많음 | 더 적은 단계, 더 안정적 |
더 단순하고, 더 빠르고, 수치적으로 더 안정적입니다. Stable Diffusion 3, Flux 같은 최신 모델이 이 방향으로 옮겨갔습니다. 면접에서 "디퓨전과 Flow Matching의 차이"는 2026년 단골 질문입니다.
→ 더 깊이: Flow Matching 생성 AI
연구만으로는 프런티어 모델을 못 만듭니다. 수천 개 GPU에 모델을 어떻게 나눠 담고 동기화하는가가 똑같이 중요합니다. Sapora의 '응용 ML' 목록이 이 영역입니다.
| DDP (데이터 병렬) | FSDP (완전 분할) | 텐서 병렬 |
|---|---|---|
| 모델 전체를 GPU마다 복제 | 모델·옵티마이저 상태를 GPU들에 쪼개 분산 | 한 layer의 행렬 연산 자체를 여러 GPU로 분할 |
| 모델이 한 GPU에 들어갈 때 | 모델이 너무 커서 한 GPU에 안 들어갈 때 | 초거대 layer를 쪼개야 할 때 |
여기에 혼합정밀도 학습(float16/bf16으로 메모리·속도 절약), 그래디언트 체크포인팅(메모리 아끼려 일부 중간값을 버리고 재계산), 그래디언트 누적(작은 배치를 모아 큰 배치 효과) 같은 기술이 더해집니다. 모두 "제한된 하드웨어로 더 큰 모델을 학습한다"는 한 가지 목표를 향합니다.
이 영역은 추론(inference) 단계에서도 똑같이 중요합니다 — 양자화, KV 캐시, 배칭 같은 기술로 거대 모델을 실제 서비스 가능하게 만듭니다.
→ 더 깊이: 70B 모델을 스마트폰에서 — AI 추론 최적화의 모든 것 · 양자화 완전 가이드 · 엔터프라이즈 AI 스케일링
화려한 최신 기술 아래엔 변하지 않는 기초가 있습니다. Sapora의 '일반 ML'과 '선형대수' 목록은 40개가 넘는 고전 개념으로 가득합니다 — 역전파, 경사하강법, BatchNorm/LayerNorm/RMSNorm, Adam/AdamW, 편향-분산 트레이드오프, KL 발산, 베이즈 정리, 고유값·고유벡터, 야코비안·헤시안….
면접관이 이걸 묻는 이유는 분명합니다. 최신 논문은 유행을 타지만, "왜 학습이 발산하는가", "이 그래디언트는 어디서 폭발하는가"를 진단하는 능력은 이 기초에서 나옵니다. 트랜스포머를 백지에 짜다가 막혔을 때 당신을 구하는 건 RoPE 지식이 아니라 선형대수입니다.
→ 더 깊이: 경사하강법 · 활성화 함수의 모든 것 · AdamW 옵티마이저 · 8-bit Adam
기술 목록만이었다면 이 글이 이렇게까지 화제가 되진 않았을 겁니다. Sapora는 보통 숨기는 것들을 그대로 적었습니다.
감정 준비를 '기술'로 다뤘다. 잠을 못 자고, 입맛을 잃고, 콜라로 버틴 이야기. 그러면서 "규칙적 운동, 일관된 저녁 루틴, 사회적으로 고립되지 않기"를 실제 전략으로 제시합니다. 그리고 핵심 문장 — "당신의 인간으로서의 가치는 이 면접들로 결정되지 않는다." 합격/불합격에 인격을 묶지 말라는, 의외로 가장 많이 공유된 대목입니다.
돈에 관한 불편한 진실. 스타트업이 제시하는 스톡옵션을 곧이곧대로 믿지 말라고 경고합니다. 영국 기준으로 옵션을 행사하는 순간 — 단 한 주도 안 팔았는데 — 차익에 소득세가 붙고, 퇴사 90일 안에 행사 못 하면 날아갑니다. 그래서 "리크루터가 스타트업 지분을 포함한 총보상 숫자를 부르면, 정중히 웃되 마음속으로는 크게 할인하라"고 조언합니다.
전략적 타이밍. 우선순위가 낮은 회사부터 면접 봐서 '워밍업'하고, 경쟁 오퍼가 동시에 도착하도록 일정을 조율하라. 동료 탑랩(OpenAI 등)의 경쟁 오퍼는 협상에서 큰 힘이 되지만, 무명 스타트업 오퍼는 그렇지 않다고 솔직하게 적습니다.
Sapora의 가이드를 덮으며 남는 건 세 가지 통찰입니다.
첫째, "아는 것"과 "만들 수 있는 것"의 시대가 갈렸다. 논문을 인용할 줄 아는 사람은 많지만, 그 논문의 어텐션을 20분 안에 백지에 짜는 사람은 드뭅니다. 2026년의 ML 면접은 정확히 그 경계를 시험합니다. 구현 능력이 곧 실력의 증거가 됐습니다.
둘째, 이 목록은 면접용을 넘어 '현대 AI 자체의 목차'다. 어텐션 → 위치 인코딩 → 효율화(MoE·LoRA) → 정렬(RLHF·DPO) → 생성(디퓨전·Flow) → 시스템(FSDP). 이 흐름을 이해하면, 새 논문이 나와도 "아, 이건 어느 기둥의 변주구나"가 보입니다. 면접을 안 보더라도, 이 지도는 AI를 따라잡으려는 모든 사람에게 유용합니다.
셋째, 그럼에도 사람이 먼저다. 가장 기술적인 가이드가 가장 인간적인 문장으로 끝납니다. 채용은 본질적으로 확률적(stochastic) 이고 — 운과 타이밍이 작용하며 — 한 번의 결과가 당신을 정의하지 않습니다.
생소했던 용어들이 이제 조금은 지도 위의 좌표처럼 느껴졌으면 합니다. FlashAttention은 "메모리를 덜 걸어다니는 법", RoPE는 "단어를 회전시켜 순서를 새기는 법", DPO는 "보상 모델을 건너뛴 정렬", Flow Matching은 "노이즈에서 데이터로 가는 직선". 이 좌표들을 손에 쥐는 순간, 프런티어 AI는 더 이상 외계어가 아닙니다.
그리고 그 좌표 하나하나를 더 깊이 파고들 준비가 됐다면 — 위에 링크해 둔 코어닷투데이의 해부 글들이 다음 정거장입니다.
참고 자료: Silvia Sapora, "ML Job Interviews: The Ultimate Guide" · FlashAttention (Dao et al., 2022) · RoFormer / RoPE (Su et al., 2021) · DPO (Rafailov et al., 2023) · Flow Matching (Lipman et al., 2023) · Chinchilla (Hoffmann et al., 2022)
