79명의 전문가가 블라인드로 평가하자 AI 아이디어가 인간보다 '더 새롭다'는 결과가 나왔다. 1년 뒤 같은 팀이 43명에게 그 아이디어를 각각 100시간씩 실제로 구현하게 했다. 점수는 역전됐다. 왜 종이 위의 참신함은 실행을 견디지 못하는가 — 두 연구의 수치를 따라가며, AI 브레인스토밍을 도입한 조직이 겪는 일과 그 처방을 정리한다.
요즘 많은 팀의 기획 회의는 이렇게 시작한다. "일단 AI한테 아이디어 50개 뽑아 달라고 하자." 10분 뒤 화면에는 그럴듯한 제안이 줄지어 떠 있다. 회의 분위기는 좋다. 사람이 일주일 고민해도 못 낼 것 같은 조합들이 있다. 몇 개를 골라 다음 분기 과제로 올린다.
그리고 석 달 뒤, 그 과제들은 어떻게 되어 있나.
이 글은 그 질문에 대한 가장 정교한 실험을 다룬다. 스탠퍼드의 시청레이(Chenglei Si), 양디이(Diyi Yang), 하시모토 타츠노리(Tatsunori Hashimoto)가 2024년과 2025년에 연속으로 발표한 두 연구다. 첫 번째는 "AI 아이디어가 더 새롭다"는 결과로 널리 인용됐다. 두 번째는 그 아이디어를 실제로 실행했을 때 무슨 일이 벌어지는지를 쟀다. 두 번째는 첫 번째만큼 인용되지 않는다. 그래서 이 글을 쓴다.
결론을 먼저 말하면 —
종이 위에서 새로워 보이는 것과, 100시간의 실행을 견디는 것은 다른 능력이다. 그리고 현재의 LLM은 전자에 후자보다 훨씬 능하다.
이 결론은 전편에서 「LLMs can't jump」의 증거를 저울에 올릴 때 한 장(章)으로 다뤘다. 이번 글은 그 한 장을 독립시켜 끝까지 파고든다. 연구 수치를 그대로 따라간 뒤, 후반부에서는 AI 브레인스토밍을 이미 도입한 조직이 무엇을 바꿔야 하는지로 옮겨 간다.
2024년 9월에 공개된 「Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers」는 제목 그대로 규모가 무기였다. 그 전까지 "LLM이 창의적인가"를 다룬 연구는 대부분 LLM이 LLM을 평가하거나, 소수의 저자가 직접 채점하는 방식이었다. 이 연구는 그 관행을 깼다.
| 항목 | 내용 |
|---|---|
| 아이디어 작성자 | 49명의 NLP 연구자 (26개 기관). 평균 논문 12편, 인용 477회. 아이디어당 $300, 평균 5.5시간 투입 |
| 평가자 | 79명의 전문가 (32개 기관). 79명 중 72명이 주요 AI 학회 리뷰 경험. 리뷰당 $25, 평균 31.7분 |
| 주제 | 편향, 코딩, 안전, 다국어, 사실성, 수학, 불확실성 — 7개 |
| 조건 | ① 인간 아이디어 ② AI 아이디어 ③ AI 아이디어를 사람이 재정렬 — 각 49개, 총 147개 |
| 평가 | 블라인드. 298개 리뷰. 참신성·흥미도·실현 가능성·효과·종합 각 1~10점 + 서술 근거 |
AI 쪽 에이전트는 단순한 "아이디어 내 줘" 프롬프트가 아니었다. 관련 논문을 검색해 최대 120편을 읽고(RAG), 주제당 4,000개의 씨앗 아이디어를 생성한 뒤, 중복을 제거하고, Claude 3.5 Sonnet 기반의 스위스 토너먼트 랭커로 순위를 매겼다. 2024년 기준 최선의 파이프라인이었다.
| 지표 (1~10) | 인간 | AI | AI + 사람 재정렬 |
|---|---|---|---|
| 참신성 | 4.84 | 5.64 (p<0.01) | 5.81 (p<0.001) |
| 흥미도 | 4.55 | 5.19 (p<0.05) | — |
| 실현 가능성 | 6.61 | 6.34 (유의하지 않음) | 6.44 (유의하지 않음) |
| 효과 | 5.13 | 5.47 (유의하지 않음) | 5.55 (유의하지 않음) |
| 종합 | 4.68 | 4.85 (유의하지 않음) | 5.34 (p=0.04) |
세 가지 통계 검정 모두에서 AI 아이디어가 인간 아이디어보다 유의하게 더 새롭다고 나왔다. 실현 가능성은 조금 낮았지만 통계적으로 의미 있는 차이는 아니었다. 이 결과는 빠르게 퍼졌다. "LLM이 전문가보다 창의적이다"라는 헤드라인으로.
그러나 논문 안에는 헤드라인에 실리지 않은 두 가지 경고가 있었다.
AI 에이전트가 주제당 4,000개의 아이디어를 만들었지만, 임베딩 기반으로 중복을 걸러내자 약 5%, 200개 정도만 서로 달랐다. 더 문제는 추세였다. 논문의 표현을 빌리면 —
"에이전트가 새 배치를 계속 생성할수록, 새 배치 안의 비중복 비율은 계속 줄어들고, 누적 비중복 아이디어 수는 결국 정체된다."
즉 "더 많이 뽑으면 더 다양해진다"는 가정이 틀렸다. 어느 지점부터 LLM은 같은 아이디어를 다른 문장으로 반복한다.
이 현상은 1년 뒤 시카고 대학 팀이 6,749명의 과학자를 동원한 대규모 연구에서 하이브마인드(hivemind)라는 이름을 얻는다. 여러 LLM이 같은 방향으로 수렴하는 집단적 동질화. 전편 4-2절에서 다뤘다.
연구진은 "LLM이 평가자 역할을 할 수 있는가"도 함께 쟀다. 기준은 사람 평가자들끼리의 일치율이었다.
(균형 정확도. 50%는 동전 던지기.)
인간 전문가들의 일치율도 56%로 낮다 — 아이디어 평가는 원래 주관적이다. 그런데 LLM 평가자는 그보다도 낮았다. GPT-4o의 직접 채점은 동전 던지기와 같았다. "AI가 아이디어를 내고 AI가 고르게 하자"는 파이프라인이 왜 위험한지가 여기서 수치로 드러난다.
그리고 평가자들이 AI 아이디어에 남긴 서술 근거에는 이미 다음 연구의 예고편이 들어 있었다. 구현 세부가 너무 모호하다, 데이터셋을 용도에 맞지 않게 쓴다, 베이스라인이 없거나 부적절하다, 모델 능력을 비현실적으로 가정한다, 연산량이 과도하다. 참신성 점수를 높게 주면서도 이런 메모를 함께 남긴 것이다.
첫 번째 연구에서 남은 질문은 분명했다. 평가자가 "새롭다"고 느낀 것과, 실제로 해 보면 새로운 것은 같은가? 2025년 6월의 「The Ideation–Execution Gap: Execution Outcomes of LLM-Generated versus Human Research Ideas」는 이 질문에 정면으로 답하려고, 연구 방법론에서 거의 전례 없는 일을 했다. 아이디어를 실제로 실행했다.
"알고리즘을 바꾼 경우는 없었다"는 대목이 중요하다. 실행자들은 아이디어의 핵심을 그대로 유지했다. 점수가 떨어졌다면 그것은 실행자가 아이디어를 훼손해서가 아니라, 아이디어가 실행을 만나서다.
같은 아이디어의 실행 전 점수와 실행 후 점수를 나란히 놓는다.
| 지표 | 인간 · 실행 전 | 인간 · 실행 후 | AI · 실행 전 | AI · 실행 후 |
|---|---|---|---|---|
| 참신성 | 4.91 | 4.90 | 5.78 | 4.73 |
| 흥미도 | 4.40 | 4.48 | 5.65 | 3.90 |
| 효과 | 4.83 | 4.78 | 6.00 | 4.13 |
| 종합 | 4.60 | 3.97 | 5.38 | 3.41 |
인간 아이디어의 점수는 거의 움직이지 않았다. 참신성 −0.01, 흥미도 +0.08, 효과 −0.05. 종합만 −0.63 떨어졌는데, 이는 실행 리뷰가 원래 더 엄격하기 때문이다.
AI 아이디어는 모든 지표에서 1~2점 가까이 추락했다.
(막대 길이는 종합 하락폭 1.98을 최댓값으로 한 비율.)
인간과 AI의 하락폭 차이는 네 지표 모두 통계적으로 유의했다(FDR 보정 후 p = 0.025 / 0.001 / 0.003 / 0.004). 그리고 순위가 뒤집혔다. 실행 전에는 AI가 네 지표 모두에서 앞섰고, 실행 후에는 인간이 네 지표 모두에서 앞섰다. 실행 후 인간-AI 차이 자체는 표본 43개에서 유의 수준에 닿지 않았지만, 방향은 일관됐다. 실행 단계에서만 측정한 건전성(soundness)은 인간 5.38 대 AI 4.73으로 유의하게(p=0.01) 인간이 높았다.
흥미로운 부수 발견 하나. AI 아이디어에서는 실행 전 흥미도와 실행 후 흥미도 사이에 약한 음의 상관이 있었다. 실행 전에 더 흥미로워 보인 AI 아이디어일수록 실행 후에 더 실망스러웠다는 뜻이다. 가장 반짝이는 것이 가장 크게 무너진다.
숫자는 "무너진다"를 보여준다. 왜 무너지는지는 실행자와 평가자의 기록에 있다.
논문이 가장 먼저 꼽은 사례다.
"AI 생성 아이디어는 전문가나 원어민을 모집해 대량의 모델 출력을 주석하게 하는 인간 평가를 제안하기를 좋아하는데, 이것은 비용과 시간 때문에 실행자에 의해 항상 변경됐다."
AI 아이디어 중 6개가 인간 평가를 LLM-as-judge로 대체했다. 그러자 평가자들이 바로 그 점을 지적했다. "수동 평가가 없으면 출력이 정말 문화적 적응성에서 개선됐는지, 아니면 LLM 판정자가 의존하는 다른 데이터 아티팩트가 있는지 가늠하기 어렵다."
이것은 AI 아이디어의 전형적 실패 구조다. 아이디어 단계에서는 "전문가 평가"라는 한 줄이 엄밀해 보인다. 실행 단계에서는 그 한 줄이 수백만 원과 몇 주로 번역된다. 번역이 불가능하면 대체되고, 대체되면 아이디어의 핵심 근거가 약해진다.
"실행 중에는 모든 단계 하나하나가 현실적인 실행 제약에 접지되어야 하며, 이는 아이디어 단계보다 높은 실현 가능성 기준을 부과한다."
아이디어 단계의 "실현 가능성" 점수는 평가자의 상상 속에서 매겨진다. 평가자는 "이 정도면 될 것 같다"고 느낀다. 실행자는 느끼지 않는다. 데이터셋을 열어 보고, 모델을 돌려 보고, 예산을 확인한다. 첫 번째 연구에서 AI 아이디어의 실현 가능성 점수가 인간보다 낮았지만 유의하지 않았던 것을 떠올려 보자. 유의하지 않았던 이유는 AI 아이디어가 실현 가능해서가 아니라, 평가자가 실현 가능성을 상상으로만 쟀기 때문일 수 있다.
실행 후 리뷰에서 새로 드러난 문제의 목록은 짧고 명확하다.
논문은 이 셋이 "아이디어 평가 단계에서는 거의 전적으로 간과된다"고 썼다. 즉 첫 번째 연구의 79명 전문가도 이것을 보지 못했다. 전문가의 눈이 아니라 실행이라는 절차만이 이것을 드러낸다.
여기서 흔한 오해 하나를 짚어야 한다. "그건 2024년 모델 이야기고, 지금 모델은 더 똑똑하다." 일부는 맞다. 그러나 위 세 패턴은 모델이 똑똑하지 않아서 생기는 것이 아니다.
LLM은 실행해 본 적이 없는 것에 대해 말한다. 학습 데이터는 논문이다. 논문에는 성공한 실험이 실린다. 실패한 실험, 예산이 모자라 대체한 평가, 베이스라인이 의외로 강해서 접은 아이디어는 논문에 없다. 전편에서 본 Bisht et al.의 표현으로는 암묵지의 부재다. 그래서 LLM의 아이디어는 논문의 문법을 완벽히 따르되, 논문이 되기 전에 죽은 아이디어들이 왜 죽었는지를 모른다.
이것은 더 큰 모델로 자동 해결되는 문제가 아니다. 학습 데이터의 선택 편향이 만드는 구조적 문제이며, 모델이 실행 피드백을 받아 가설을 고치는 루프 — Ding & Li가 GPT-4에게 가상 실험실을 줬을 때 없었던 바로 그것 — 없이는 좁혀지지 않는다.
이제 연구실을 나와 회사로 간다. 위의 실험은 NLP 연구 아이디어를 대상으로 했지만, 구조는 AI 브레인스토밍을 도입한 모든 조직에 그대로 적용된다. 실제로 다음 증상이 나타나고 있는지 확인해 보자.
AI로 뽑은 아이디어는 읽기 좋다. 구조가 잡혀 있고, 근거가 붙어 있고, 기대 효과가 적혀 있다. 그래서 기획 심사에서 점수를 잘 받는다. 첫 번째 연구의 79명 전문가가 그랬듯, 심사위원도 읽으면서 평가한다.
그러나 분기 말 성과는 심사 점수와 따로 논다. 이것이 Ideation–Execution Gap의 조직 버전이다. 심사가 잘못된 것이 아니다. 심사는 원래 실행을 보지 못한다.
"AI한테 50개 뽑아 달라"의 결과물을 임베딩으로 묶어 보면 — 연구에서 4,000개가 200개였듯 — 서로 다른 것은 한 줌이다. 회의실에서는 50개로 보인다. 문장이 다르니까. 그러나 팀이 실제로 고른 3개는 높은 확률로 같은 방향의 변주다.
더 조용한 문제는 없는 것이다. Bao et al.이 6,749명의 과학자 평가로 보여줬듯, LLM은 "이 방향은 틀렸을 수 있다", "아무것도 하지 않는 것이 나을 수 있다"를 자발적으로 내지 않는다. 50개의 아이디어 중 "하지 말자"는 0개다.
메세리와 크로켓이 2024년 Nature에 쓴 이해의 환상(illusions of understanding)이 여기서 작동한다. AI가 쓴 기획안은 담당자가 직접 쓴 것보다 더 완성돼 보이고, 담당자는 그것을 읽었기 때문에 이해했다고 느낀다. 그러나 실행자들이 기록했듯, 실행은 "모든 단계 하나하나"를 요구한다. 읽어서 생긴 이해는 첫 번째 단계에서 바닥난다.
AI 아이디어의 실행 전 흥미도와 실행 후 흥미도가 음의 상관을 보인 것을 기억하자. 조직에서는 이것이 "임원이 가장 좋아한 과제가 가장 크게 실패한다"로 나타난다. 반짝이는 아이디어일수록 "전문가 평가", "범용 적용", "기존 데이터 활용" 같은 번역 불가능한 한 줄이 많다.
연구가 보여준 것은 "AI 아이디어를 쓰지 마라"가 아니다. 첫 번째 연구의 세 번째 조건 — AI가 내고 사람이 재정렬 — 이 종합 점수에서 유일하게 유의하게 높았다(5.34, p=0.04). AI의 폭과 사람의 판단을 결합하면 둘 다보다 낫다. 문제는 결합의 방식이다.
심사 양식에서 "기대 효과" 칸을 줄이고 "첫 번째 실험" 칸을 키워라. 첫 실험은 무엇이고, 며칠 걸리고, 무엇이 나오면 중단하는가. 이 칸을 채우지 못하는 아이디어는 점수와 무관하게 보류한다. 실행자들이 "모든 단계가 현실에 접지돼야 한다"고 한 것을 심사 단계로 앞당기는 것이다.
AI 아이디어에서 가장 위험한 문장은 틀린 문장이 아니라 너무 짧은 문장이다. "전문가 평가를 거친다", "기존 데이터를 활용한다", "적절히 프롬프트를 조정한다." 이런 문장 하나하나를 시간과 돈으로 번역해 보라. 번역이 안 되면 그것이 석 달 뒤 실패 보고서의 첫 줄이다.
실행 후 리뷰에서 가장 많이 지적된 것이 빠진 베이스라인이었다. AI 아이디어를 받으면 가장 단순한 대안을 먼저 적어라. 규칙 기반, 수작업, 기존 도구, 또는 "아무것도 안 하기". AI 아이디어는 이 비교에서 가장 자주 무너지고, 그 사실은 실행 전에 한 시간이면 확인된다.
LLM은 시키지 않으면 귀무가설을 내지 않는다. 그러니 시켜라. 아이디어를 받을 때마다 별도로 요구한다. "이 아이디어가 틀렸다면 가장 가능성 높은 이유 세 가지", "이 방향 자체를 하지 말아야 할 이유". 하이브마인드를 깨는 가장 싼 방법이고, 전편에서도 같은 처방을 했다.
GPT-4o의 직접 채점은 동전 던지기였다. "AI로 100개 뽑고 AI로 10개 추리자"는 파이프라인은 무작위 10개를 고르는 것과 통계적으로 다르지 않다. 고르는 일은 사람이 한다. 단, 사람도 56%밖에 일치하지 않으니 한 명이 아니라 서너 명이 독립적으로 고른 뒤 겹치는 것을 취한다.
직접 해 보자. 아래 체크리스트는 실행 연구에서 반복해 나타난 하락 원인을 여섯 개 경고 신호로 옮긴 것이다.
샘플 A와 샘플 B는 같은 아이디어다. 차이는 범위를 좁히고, 베이스라인을 정하고, 첫 실험을 반나절로 잡고, 실패 원인을 미리 적은 것뿐이다. 이 차이가 실행 후 점수 2점의 차이다.
공정하게 한계를 적는다.
표본이 작다. 실행 연구는 43개 프로젝트다. 하락폭의 차이는 유의했지만, 실행 후 인간-AI 절대 점수 차이는 유의 수준에 닿지 않았다. "AI 아이디어가 실행 후 더 나쁘다"보다 "AI 아이디어가 실행에서 더 크게 깎인다"가 정확한 표현이다.
2024년의 에이전트다. 아이디어는 2024년 중반 모델과 파이프라인으로 생성됐다. 추론 모델과 도구 사용이 보편화된 2026년의 에이전트는 다를 수 있다. 다만 3장에서 짚었듯 핵심 원인 — 실행 경험의 부재와 학습 데이터의 선택 편향 — 은 모델 크기로 해결되는 종류가 아니다. Bao et al.(2026)이 추론 모델에서도 하이브마인드와 귀무가설 부재를 확인한 것이 방증이다.
NLP 연구 아이디어다. 실행 비용이 비교적 낮고 평가 지표가 명확한 분야다. 실행 비용이 더 높은 분야(하드웨어, 임상, 정책)에서 틈은 더 벌어질 가능성이 높지, 좁아질 가능성은 낮다.
실행자가 전문가였다. 43명은 논문을 쓸 수 있는 연구자였다. 실행자가 덜 숙련됐다면 인간 아이디어도 더 떨어졌을 것이다. 그러나 블라인드 배정이므로 이 효과는 두 조건에 같이 작용한다.
첫 번째 연구의 헤드라인 — "AI 아이디어가 더 새롭다" — 는 틀리지 않았다. 79명의 전문가가 그렇게 봤다. 두 번째 연구는 그 헤드라인을 부정하지 않는다. 한 단어를 고친다.
AI 아이디어는 더 새로워 보인다.
그리고 새로워 보이는 것과 새로운 것 사이의 거리가, 43명이 100시간씩 걸어서 잰 그 틈이다.
전편에서 자하비의 "도약"을 다섯 단계의 저울에 올렸을 때, 1단계 — 언어적 새로움 — 는 LLM이 이미 통과한 칸이었다. 이번 글은 그 칸이 왜 다음 칸의 증거가 되지 못하는지를 보여준다. 참신성은 문장의 속성이 아니라 실행을 통과한 뒤에 남는 것의 속성이다. 아인슈타인의 등가원리가 새로웠던 것은 1907년에 그렇게 느껴져서가 아니라, 1919년의 일식 관측을 통과했기 때문이다.
그러니 조직의 질문도 바뀌어야 한다. "AI가 낸 아이디어가 얼마나 새로운가"가 아니라 — "우리는 그 아이디어를 실행까지 데려갈 절차를 갖고 있는가." 그 절차는 AI가 대신 만들어 주지 않는다. 적어도 지금까지의 증거로는.
두 연구
이 글이 기대는 주변 연구
시리즈
![[특집] 생각은 이제 세 개의 시스템에서 일어난다 — 시스템 3과 '인지적 항복'의 역사, 사례, 그리고 2026년](/_next/image?url=%2Fblog%2Fsurrender-sp-hero.png&w=3840&q=75&dpl=dpl_H6AnbANQC8N8ALo2uVFMN4yiRG3P)