카너먼의 시스템 1·2에 세 번째 시스템을 붙인 논문이 나왔습니다. 와튼스쿨 연구팀은 1,372명·9,593시행의 사전등록 실험으로 'AI가 맞으면 정확도가 25%p 오르고, 틀리면 14%p 떨어지는' 구조를 측정했습니다. 더 불편한 결과는 확신도입니다 — 받은 답의 절반이 틀렸는데도 확신은 11.7%p 올라갔고, 오류에 반복 노출되어도 내려가지 않았습니다. 시간 압박도, 돈과 즉시 피드백도 이 패턴을 없애지 못했습니다.
이 글은 와튼스쿨(펜실베이니아대) 스티븐 D. 쇼(Steven D. Shaw)와 기디언 네이브(Gideon Nave)가 2026년 1월 SSRN에 공개한 논문 「Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender」를 다룹니다.
제목은 대놓고 카너먼을 겨냥합니다. 『생각에 관한 생각(Thinking, Fast and Slow)』에 단어 하나가 추가되었습니다. Artificial.
논문의 주장은 한 문장으로 요약됩니다.
인간의 사고는 이제 두 개의 시스템이 아니라 세 개의 시스템에서 일어난다. 그리고 세 번째 시스템은 뇌 밖에 있다.
이런 종류의 이론 논문은 흔히 개념 제안에서 멈춥니다. 이 논문이 읽을 만한 이유는 그러지 않았기 때문입니다. 저자들은 사전등록(preregistration)된 실험 세 개를 돌려 1,372명, 9,593시행의 데이터를 모았고, 핵심 주장을 승산비 하나로 요약할 수 있는 수준까지 밀어붙였습니다.
그 숫자를 미리 보고 시작하겠습니다.
AI가 맞았을 때와 틀렸을 때, 같은 사람이 같은 문제를 맞힐 승산의 차이는 16.07배였습니다.
시스템 1과 시스템 2는 심리학에서 가장 널리 쓰인 구분입니다. 시스템 1은 빠르고 자동적이며 연상에 기댑니다. 시스템 2는 느리고 반성적이며 규칙에 기댑니다. 카너먼(2011)이 대중화했지만 그 혼자의 것은 아니고, 스타노비치와 웨스트(2000)의 자율적 마음 대 분석적 마음, 슬로먼(1996)의 연상 대 규칙, 엡스타인(1994)의 경험 체계 대 합리 체계, 리버먼(2007)의 X-시스템 대 C-시스템까지 같은 구조가 여러 전통에서 반복 발견되었습니다.
이 틀은 충동구매부터 도덕 판단, 위험 인식, 확신도 보정까지 놀랄 만큼 넓은 현상을 설명해 왔습니다.
그런데 논문은 이 모든 모형이 하나의 전제를 공유한다고 지적합니다. 저자들이 '뇌에 갇힌 인지 가정(brain-bound cognition assumption)'이라고 부르는 전제입니다.
빠르든 느리든, 직관이든 숙고든, 모든 처리는 생물학적 뇌 안에서 일어난다.
2026년의 의사결정 환경은 이 전제와 어긋납니다. 여행 일정을 ChatGPT에게 짜게 하고, 낯선 골목에서 지도 앱이 시키는 대로 걷고, 소개팅 앱의 매칭을 받아들일 때, 우리는 외부 자극에 반응하는 것이 아니라 추론의 일부를 기계에 위임하고 있습니다.
이것이 사변이 아니라는 증거가 이미 나와 있습니다. 논문이 인용하는 부지진(Budzyń) 등의 2025년 연구는 『Lancet Gastroenterology & Hepatology』에 실린 다기관 관찰 연구인데, AI 보조 대장내시경에 반복 노출된 전문의들의 '맨손' 진단 성적이 떨어졌습니다. 알고리즘 권고에 계속 의존하는 과정에서 숙련 자체가 침식된 것입니다.
이중처리 이론에는 이 현상을 담을 자리가 없습니다. 그 틀에서 AI는 도구이거나 자극일 뿐이고, 인지의 능동적 참여자로 모델링되지 않습니다.
논문은 세 번째 시스템을 이렇게 정의합니다.
시스템 3(인공): 인간의 마음이 아니라 알고리즘 체계에서 발원하는, 외부적·자동적·데이터 기반의 추론.
그리고 네 가지 성질로 특징짓습니다.
논문의 Table 1은 세 시스템의 인지적 어포던스를 나란히 놓습니다. 이 표가 이 논문에서 가장 인용될 부분일 겁니다.
| 시스템 1 (빠름) | 시스템 2 (느림) | 시스템 3 (인공) | |
|---|---|---|---|
| 기원 | 인간 (직관·연상) | 인간 (분석·반성) | 인공 (알고리즘·통계) |
| 처리 속도 | 빠름 | 느림 | 빠름 / 가변 |
| 인지적 노력 | 낮음 | 높음 | 없음 / 가변 (접근성에 의존) |
| 정확도 | 편향에 취약 | 규범적이지만 노력이 큼 | 구조화된 영역에서 높음, 열린 과제에서 취약 |
| 정서 입력 | 감정이 이끈다 | 감정을 조절한다 | 감정 중립 |
| 윤리 추론 | 암묵적 규범 | 명시적 숙고 | 무당파적, 학습 데이터에 의존 |
| 정당화 | 경험적 또는 사후적 | 논리적으로 조직됨 | 데이터 기반, 외부에서 생성됨 |
여기서 눈에 걸리는 칸은 '인지적 노력: 없음'입니다. 시스템 3은 시스템 2의 기능 상당 부분을 수행하면서, 시스템 2의 비용을 사용자에게 청구하지 않습니다. 논문의 표현으로는 "사고의 비용–편익 계산 자체를 바꾼다"는 뜻입니다.
이 지점에서 논문의 핵심 개념이 나옵니다.
우리는 원래 '인지적 구두쇠(cognitive miser)'입니다. 노력을 아끼려 합니다. 계산기를 쓰고 메모를 하고 내비게이션을 켭니다. 이건 리스코와 길버트(2016)가 인지적 오프로딩(cognitive offloading)이라 부른 현상이고, 특별히 새롭지 않습니다.
논문은 그와 다른 것을 이름 붙입니다.
인지적 항복(cognitive surrender): 시스템 3의 출력에 판단, 노력, 책임을 넘겨버리는 행동적·동기적 경향. 특히 그 출력이 유창하고 자신 있고 마찰 없이 제시될 때.
차이가 미묘해 보이지만 논문은 선을 분명하게 긋습니다.
여기서 중요한 단서를 하나 달아둘 필요가 있습니다. 논문도 명시합니다. 인지적 항복은 본질적으로 비합리적인 것이 아닙니다. 확률적 영역이나 대규모 데이터가 필요한 판단에서 통계적으로 더 우수한 시스템에 위임하는 것은 적응적이고, 때로는 최적입니다.
문제는 다른 데 있습니다. 논문의 문장이 정확합니다.
"사용자가 언제, 왜 위임했는지 스스로 모를 수 있고, 인간과 기계의 행위 주체성 사이 경계가 흐려진다."
논문 Table 2는 삼중 시스템 아래에서 가능한 여섯 개의 표준 경로를 정리합니다. 같은 답이 나와도 그 답이 어디서 만들어졌는지는 전혀 다를 수 있습니다.
이 여섯 경로 중 논문이 실험으로 측정한 것은 오프로딩과 항복 두 개입니다. 나머지는 이론적 제안으로 남아 있습니다 — 이건 나중에 한계 항목에서 다시 짚겠습니다.
세 실험 모두 공통 과제를 씁니다. 인지 반영 검사(Cognitive Reflection Test, CRT) 7문항입니다. 만프레디와 네이브(2022)에서 가져와 각색했고, 모든 문항에 '직관적인 오답'과 '숙고해야 나오는 정답'이 짝지어져 있습니다.
CRT를 고른 이유는 명확합니다. 이 과제는 시스템 1과 시스템 2를 분리하기 위해 설계된 도구입니다. 여기에 시스템 3을 붙이면 세 시스템이 같은 문항에서 경합하는 장면을 만들 수 있습니다.
설계의 핵심은 여기입니다.
단, 현재 문항에 대해 물으면 어시스턴트는 숨겨진 시드 프롬프트에 따라 둘 중 하나를 반환한다.
AI-Accurate → 올바른 숙고형 정답 + 짧은 근거 AI-Faulty → 자신 있게 제시된 직관형 오답 + 짧은 근거
어느 문항이 어느 쪽인지 참가자는 알 수 없다. 시행마다 무작위 배정된다.
이 설계가 영리한 부분은 '같은 사람 안에서(within-subjects)' AI 정확도를 시행마다 뒤집었다는 점입니다. 사람 사이의 능력 차이가 아니라, 한 사람이 AI 품질에 따라 얼마나 흔들리는지를 직접 측정할 수 있습니다.
주요 측정치는 네 개입니다. 정확도, 시스템 3 상담 여부(챗을 열었는가), 채택/기각 행동(챗을 열었을 때 AI 권고를 따랐는가), 그리고 확신도(0~100 슬라이더).
과제 후에는 개인차 척도를 받습니다. AI 신뢰(Trust in AI, 3문항), 인지 욕구(Need for Cognition, 5문항 단축형), 실험 1에만 인지적 종결 욕구(NFCC, 15문항), 그리고 유동 지능(13문항 2분 제한)입니다.
분석은 R의 lme4로 일반화선형혼합모형(GLMM, 로짓 링크)을 씁니다. 참가자와 문항에 랜덤 절편·기울기를 넣었습니다. 펜실베이니아대 IRB 승인(#858904)을 받았고, 자료와 사전등록 문서는 OSF에 공개되어 있습니다.
설명보다 한 번 겪는 게 빠릅니다. 아래는 실험 절차를 네 문항으로 축소한 것입니다. AI는 절반의 문항에서 자신 있게 틀린 답을 줍니다.
참가자 359명. 대학 부속 행동연구실에서 대면으로 모집했습니다. Brain-Only 조건 121명(AI 없음)과 AI-Assisted 조건 238명으로 2:1 과대표집했습니다.
AI에 접근할 수 있는 참가자들은 AI-Accurate 시행의 54.4%, AI-Faulty 시행의 52.8%에서 챗을 열었습니다. 절반이 넘습니다. 이 숫자가 논문의 첫 번째 명제 — "시스템 3 사용은 인간 추론에서 이미 보편적이다" — 를 지지합니다.
그리고 열었을 때 어떻게 했는가.
기각률이 오류 시행에서 유의미하게 높았던 것은 사실입니다(OR = 4.19). 사람들은 완전히 눈이 먼 상태가 아닙니다. 뭔가 이상하다는 신호를 어느 정도 감지합니다.
그런데도 자신 있게 틀린 AI의 답을 다섯 번 중 네 번 그대로 채택했습니다.
이 논문에서 가장 자주 인용될 세 개의 숫자입니다.
기준선 45.8%에서 위로 25.2%p, 아래로 14.3%p. AI-Accurate 대비 AI-Faulty의 승산비는 0.07로, 정답을 맞힐 승산이 약 14배 낮아집니다. 효과 크기 Cohen's h는 0.81(95% CI [0.72, 0.91])로, 행동 실험 기준으로는 매우 큰 값입니다.
여기서 방향이 중요합니다. AI가 틀렸을 때의 정확도는 그냥 낮아진 게 아니라 AI가 아예 없던 조건보다 낮아졌습니다. 도움을 못 받은 게 아니라 손해를 봤다는 뜻입니다.
AI-Assisted 조건에서 참가자들이 받은 AI 답변의 약 절반이 틀렸습니다. 그런데 과제 후 확신도는 이렇게 나왔습니다.
| 조건 | 평균 확신도 | 표준오차 | 95% 신뢰구간 |
|---|---|---|---|
| AI-Assisted | 77.0% | 1.30% | [74.4, 79.6] |
| Brain-Only | 65.3% | 2.21% | [61.0, 69.6] |
+11.7%p. Hedges' g = 0.54. 그리고 결정적인 추가 분석이 있습니다. AI-Assisted 조건 안에서 틀린 AI 답변을 몇 번 받았는지에 따라 확신도가 유의미하게 떨어지지 않았습니다(β = −1.14, p = 0.202).
즉, 오류에 반복 노출되어도 확신이 조정되지 않았습니다. 이것이 논문이 말하는 항복의 대사(metabolism)입니다. 정확도는 AI에 연동되는데 확신은 AI 사용 자체에 연동됩니다.
개인차 분석이 흥미롭습니다. 세 척도의 상관은 작았습니다(−0.19 ≤ r ≤ 0.18) — 서로 다른 것을 재고 있다는 뜻입니다.
| 특성이 높을 때 | 챗 사용 | 오류 시행 정확도 | 오류 AI 채택 |
|---|---|---|---|
| AI 신뢰 | 늘어남 (OR 1.64) | 낮아짐 (OR 0.36) | 늘어남 (OR 3.47) |
| 유동 지능 | 줄어드는 경향 (p = 0.062) | 높아짐 (OR 1.96) | 줄어듦 (OR 0.23) |
| 인지 욕구 | 줄어듦 (OR 0.65) | 높아짐 (OR 1.86) | 유의하지 않음 |
| 인지적 종결 욕구 | 차이 없음 | 차이 없음 | 늘어남 (OR 2.11) |
인지적 종결 욕구가 재미있습니다. '빨리 결론을 내고 싶은 성향'은 AI를 더 쓰게 만들지도, 정확도를 떨어뜨리지도 않았지만, 일단 물어봤을 때 그 답을 채택할 확률만 두 배 올렸습니다. 항복이 '사용량'의 문제가 아니라 '채택 문턱'의 문제라는 것을 보여주는 결과입니다.
시간 압박은 시스템 2를 억제하는 가장 잘 확립된 조작입니다. 그래서 저자들은 압박을 걸면 시스템 3 의존이 커질 것이라고 예측했습니다.
참가자 485명(연구실 138명 + Prolific 347명). 이번엔 전원 AI 접근이 가능하고, 대신 무작위 위치에 Brain-Only 프로브 시행 한 개를 심어 기준선으로 씁니다. 그리고 시간 압박 조건 228명(문항당 30초 카운트다운)과 통제 조건 257명(무제한)으로 나눴습니다. 시간 초과는 오답 처리했습니다.
먼저 고전적 결과가 재현되었습니다. Brain-Only 프로브에서 시간 압박군은 32.6%, 통제군은 46.9%를 맞혔습니다. 시간이 없으면 CRT 성적이 떨어진다는 것, 이건 교과서대로입니다.
그런데 시간 압박이 AI 의존을 늘리지는 않았습니다. 챗 사용률은 통제 53.9%, 압박 49.9%로 오히려 살짝 낮았고, '정확한 AI를 따르는 것 대 틀린 AI를 따르는 것'의 선택성에서 시간 압박 × 시행 유형 상호작용은 유의하지 않았습니다(p = 0.102).
대신 논문이 발견한 것은 사람의 종류에 따라 시간 압박의 결과가 갈린다는 사실입니다. 저자들은 사전등록한 기준으로 참가자를 두 유형으로 나눴습니다.
결과는 두 집단에서 전혀 다른 모양이었습니다.
| 집단 · 시행 | 통제 조건 | 시간 압박 조건 |
|---|---|---|
| Independents (전체) | 51.5% | 34.0% |
| AI-Users · AI 정확 | 80.0% | 71.3% |
| AI-Users · AI 오류 | 20.4% | 12.1% |
Independents는 시간 압박에 무너졌습니다(51.5% → 34.0%). 그리고 이들의 정확도는 AI 시행 유형에 따라 달라지지 않았고, Brain-Only 참가자와도 통계적으로 구분되지 않았습니다. 예상대로입니다.
AI-Users는 시간 압박에 상대적으로 덜 흔들렸습니다. 대신 AI 품질에 완전히 종속되었습니다. AI-Users만으로 돌린 모형에서 시행 유형의 주효과는 OR = 40.9였습니다.
여기서 논문의 두 번째 발견이 나옵니다. 시간 압박 아래에서 가장 정확한 사람은 "AI를 썼고, 그 AI가 맞았던" 사람이었습니다. 71.3%로, 시간 압박 통제군 Brain-Only(32.6%)의 두 배가 넘습니다.
즉 시스템 3은 시간 압박의 인지적 비용을 실제로 흡수해 줍니다 — 그 출력이 정확한 한에서.
이 실험에서 조용하지만 중요한 결과가 하나 더 나옵니다. 두 집단의 심리적 성향을 비교해 보니 이렇습니다.
| 척도 | AI-Users | Independents | 차이 |
|---|---|---|---|
| AI 신뢰 | 4.44 | 3.45 | 유의미 (p < 2.2×10⁻¹⁶) |
| 인지 욕구 | 3.36 | 3.57 | 유의미 (p = 7.6×10⁻¹⁰) |
| 유동 지능 | 6.12 | 6.16 | 차이 없음 (p = 0.518) |
유동 지능은 'AI를 쓸지 말지'를 전혀 예측하지 못했습니다. AI를 쓰는 사람과 안 쓰는 사람을 갈라놓는 것은 능력이 아니라 신뢰와 성향이었습니다.
다만 유동 지능은 다른 지점에서 작동했습니다. 쓰고 난 다음, 틀린 답을 걸러내는 단계에서입니다(실험 1의 OR 0.23). 이 구분이 실무적으로 중요합니다. "똑똑한 사람은 AI를 덜 쓴다"는 서사는 데이터가 지지하지 않습니다. 데이터가 지지하는 것은 "똑똑한 사람도 똑같이 쓰되, 틀린 걸 조금 더 자주 잡아낸다"입니다.
세 번째 실험은 반대 방향을 시험합니다. 숙고를 되살릴 수 있는가.
참가자 450명(Prolific). 인센티브+피드백 조건 238명은 정답당 0.20달러를 받고 20달러 추첨 응모권을 받으며, 답을 제출할 때마다 즉시 정오 피드백을 받습니다. 통제 조건 212명은 둘 다 없습니다. 확신도는 이번엔 문항마다 측정했습니다(피드백 직전).
이 조작에는 이론적 목적이 하나 더 있습니다. 항복이 단지 '지각된 AI 정확도에 맞춘 시스템 1 휴리스틱'이라면, 문항별 오류 신호를 직접 주면 그 휴리스틱은 빠르게 교정되어야 합니다.
20.0% → 42.3%. OR = 4.25입니다. 그리고 같은 조작이 정확한 AI를 따르는 비율은 오히려 올렸습니다(87.6% → 92.2%). 사람들이 그냥 AI를 덜 믿게 된 게 아니라 분별력이 좋아진 것입니다. 시행 유형 × 조건 상호작용은 OR = 8.19로 강했습니다.
정확도도 전방위로 올랐습니다.
| 시행 유형 | 통제 | 인센티브+피드백 | 차이 |
|---|---|---|---|
| Brain-Only 프로브 | 42.4% | 64.2% | +21.8%p |
| AI 정확 | 68.5% | 81.0% | +12.5%p |
| AI 오류 | 30.7% | 45.5% | +14.8%p |
AI-Users만 떼어 보면 그림이 분명해집니다.
| AI-Users | AI 정확 | AI 오류 | 격차 |
|---|---|---|---|
| 통제 | 77.2% | 26.8% | 약 50%p (OR 25.74) |
| 인센티브+피드백 | 84.8% | 40.6% | 약 44%p (OR 24.37) |
두 조건 모두에서 정확도가 올랐고 격차는 50%p에서 44%p로 좁아졌습니다. 하지만 여전히 44%p입니다. 돈을 걸고 매 문항마다 정답을 알려줘도, AI가 맞았는지 틀렸는지가 성적의 절반 가까이를 결정했습니다.
확신도 쪽에서도 같은 패턴이 나왔습니다. AI를 쓴 시행의 문항별 확신도는 82.2%로 Brain-Only 프로브(77.5%)보다 높았고, AI가 맞았는지 틀렸는지에 따라 유의미하게 달라지지 않았습니다(p = 0.682). 다만 한 가지 위안은 있습니다. 확신도가 완전히 무용한 신호는 아니었습니다 — 확신도 10점 상승은 정답 승산 22% 증가와 연결되었습니다(OR 1.22).
논문은 세 실험의 시행 데이터를 사전등록된 방식으로 통합했습니다. N = 1,372, 9,593시행입니다.
세 실험에 걸쳐 AI가 맞았을 때 정답을 낼 승산이 16배 이상 높았습니다. 효과 크기는 세 실험 모두 큰 편에 안정적으로 머물렀습니다.
이 부분이 논문의 핵심 논증입니다.
| 조작 | Brain-Only | AI 정확 | AI 오류 | 격차 승산비 |
|---|---|---|---|---|
| 기본 | 기준 | 기준 | 기준 | 15.50 |
| 시간 압박 | −13.5%p | −13.5%p | −11.3%p | 14.28 |
| 인센티브+피드백 | +18.1%p | +9.8%p | +14.4%p | 11.05 |
상황 조작은 모든 조건의 성적을 통째로 위아래로 옮겼을 뿐, 정확한 AI와 틀린 AI 사이의 격차는 15.50 → 14.28 → 11.05로 조금 줄어드는 데 그쳤습니다.
비교해 보면 크기 차이가 선명합니다. 시간 압박의 효과는 OR 0.42, 동기 조작의 효과는 OR 3.45입니다. 항복 효과(OR 11~16)가 이들보다 훨씬 큽니다.
논문의 결론은 여기서 나옵니다. 인지적 항복은 특정 상황의 부산물이 아니라 삼중 시스템 생태의 고유한 동역학(native dynamic)이다.
논문 Figure 10은 이 구조를 한 장으로 보여줍니다. 시스템 3 사용률을 가로축에 놓으면, 정확도는 사용률과 함께 두 방향으로 갈라집니다.
왼쪽 끝(사용률 0%)은 AI 없이 푼 성적이고, 오른쪽으로 갈수록 정확도가 AI 품질에 얹힙니다. 이 나팔의 폭이 곧 내 판단이 아니라 도구 품질에 맡겨진 몫입니다.
같은 통합 데이터에서 저자들은 '시스템 3을 열었고 그 출력이 틀렸던 시행'만 골라 세 갈래로 분류했습니다.
| 조건 | 항복 (틀린 AI를 따름) | 오프로딩 (기각하고 정답) | 실패한 기각 |
|---|---|---|---|
| 전체 | 73.2% | 19.7% | 7.1% |
| 인센티브+피드백 | 57.9% | 37.1% | 약 5% |
| 시간 압박 | 증가 (OR 3.19) | 6.2% | 13.8% |
이 표가 이 논문에서 실무적으로 가장 쓸 만한 부분입니다. 항복 대 오프로딩의 비율은 고정된 인간 본성이 아니라 상황이 움직이는 변수입니다.
인센티브와 피드백을 주면 오프로딩이 약 19%p 늘어납니다(OR 0.38, p = 0.034). 시간 압박을 걸면 오프로딩이 약 12%p 줄고 항복이 늘어납니다(OR 3.19, p = 0.044). 시간 압박에서 특히 눈에 걸리는 건 '실패한 기각'이 7.1%에서 13.8%로 거의 두 배가 되었다는 점입니다. 압박 아래에서는 AI를 의심하는 것조차 별 도움이 안 됩니다. 의심할 시간은 있어도 다시 풀 시간은 없기 때문입니다.
| 특성 (1 표준편차당) | 정확도 격차 확대 | 항복 대 오프로딩 |
|---|---|---|
| AI 신뢰 | OR 2.81 | OR 4.36 |
| 인지 욕구 | OR 0.83 | OR 0.46 |
| 유동 지능 | OR 0.69 | OR 0.37 |
방향은 직관과 맞습니다. 신뢰가 높으면 취약해지고, 숙고 성향과 유동 지능은 보호합니다. 그런데 크기가 대등하지 않습니다. 신뢰 1SD가 만드는 항복 승산 4.36배를 상쇄하려면 숙고 성향과 유동 지능을 각각 1SD 이상 끌어올려야 합니다.
좋은 논문일수록 무엇을 보여주지 않았는지가 분명합니다. 저자들이 밝힌 한계와, 제가 덧붙이고 싶은 유보를 함께 정리합니다.
첫째, 통제된 실험실 환경입니다. 내적 타당도는 높지만 일반화에는 제약이 있습니다. 실제 환경에서 AI 상호작용은 생태적·사회적·동기적 체계 안에 박혀 있습니다. 저자들은 금융 앱, 온라인 건강 플랫폼, 리테일 추천 시스템에서의 현장 실험을 후속 과제로 제안합니다.
둘째, 과제가 CRT 하나입니다. CRT는 잘 검증된 도구이지만 특정한 형태의 인지만 포착합니다. 확률적 추론, 일상적 의사결정, 도덕 판단 등 다른 영역으로 확장해야 삼중 시스템 이론의 일반성을 말할 수 있습니다.
셋째, 단일 노출의 스냅숏입니다. 현실에서 사람들은 AI와 반복해서 상호작용하며 신뢰를 학습하고 조정합니다. "AI에 대한 신뢰는 경험과 함께 커지는가 줄어드는가", "사람들은 시간이 지나면 오류를 잡아내는 법을 배우는가" 같은 질문에 이 논문은 답하지 않습니다.
AI 오류율 50%는 현실적이지 않습니다. 실제 어시스턴트가 CRT급 문제의 절반을 틀리지는 않습니다. 다만 이건 설계 결함이라기보다 목적의 차이입니다. 이 실험은 '현실의 피해 규모'를 추정하려 한 게 아니라 '항복이 존재하는가, 그리고 얼마나 큰가'를 측정하려 한 것입니다. 그 목적에는 오류율을 높게 잡는 것이 맞습니다. 다만 여기서 나온 25%p / 15%p 같은 숫자를 실제 업무 상황에 그대로 옮기면 안 됩니다.
더 예리한 문제는 오류의 종류입니다. 이 실험에서 AI가 낸 오답은 무작위 오답이 아니라 '직관형 오답' — 즉 참가자의 시스템 1이 스스로 만들어낼 답과 같은 답이었습니다. 그러면 "AI를 따랐다"와 "내 직관에 동의하는 외부 목소리를 만났다"가 뒤섞입니다. 채택률 79.8%의 일부는 항복이 아니라 확증일 수 있습니다.
논문이 이 문제를 정면으로 다루지는 않지만, 데이터에는 반론의 근거가 있습니다. Brain-Only 정확도가 45.8%인데 AI-Faulty 정확도는 31.5%였습니다. 틀린 AI는 참가자를 자기 직관의 수준보다 14%p 더 아래로 끌어내렸습니다. 순수한 확증이라면 기준선 근처에 머물렀어야 합니다. 그러니 항복은 실재하지만, 이 설계에서 측정된 크기는 "내 직관과 방향이 같은 AI 오류"에 대한 상한선으로 읽는 것이 안전합니다. 직관에 반하는 AI 오류에 대해서는 이 논문이 말해주는 바가 없습니다.
여섯 경로 중 넷은 아직 이론입니다. Table 2의 재귀·혼성 경로와 오토파일럿은 개념적으로 설득력 있지만 실험에서 분리 측정되지 않았습니다. '확인 후 채택'과 '사후 합리화'를 구분하려면 과정 추적 데이터(반응시간, 시선, 대화 로그)가 필요하고, 이 논문에는 그 분석이 없습니다.
그리고 '시스템 3'이라는 이름 자체가 논쟁적입니다. 클라크와 차머스의 확장된 마음(1998), 웨그너의 교류 기억(1987), 인지적 오프로딩(2016)은 이미 '뇌 밖의 인지'를 다뤄왔습니다. 저자들도 이를 인정하며 자신들의 기여를 "실시간으로 위임·신뢰·기각을 결정하는 동적 위임(dynamic delegation)을 모델링한다"는 점에 둡니다. 타당한 주장입니다. 다만 새로운 시스템 번호를 붙일 만한 일인지, 기존 틀의 확장으로 충분한지는 앞으로 인용사(引用史)가 판정할 문제입니다.
논문은 마지막에 스스로 선을 긋습니다. "경종을 울리려는 것이 아니라 설계와 교육의 과제로 본다." 저는 이 태도가 이 논문의 가장 좋은 부분이라고 생각합니다. 데이터가 지목하는 개입 지점이 개인의 의지가 아니라 환경이기 때문입니다.
실험 3이 가장 실용적인 발견을 남겼습니다. 정확한 AI를 더 잘 따르게 하면서 동시에 틀린 AI를 더 잘 기각하게 만드는 조합이 존재합니다. 그 조합은 '경고 문구'가 아니라 결과 신호와 유인 정렬이었습니다.
이 논문을 조직 언어로 옮기면 이렇게 됩니다.
AI 도입의 성과는 도구 성능이 아니라 '항복 대 오프로딩'의 비율로 결정됩니다. 같은 도구, 같은 사람이라도 이 비율은 상황에 따라 57.9%에서 80% 이상까지 움직였습니다.
그리고 그 비율을 움직이는 레버는 실험에서 두 개 확인되었습니다.
| 실험의 레버 | 조직 언어로 옮기면 | 관측된 효과 |
|---|---|---|
| 시간 압박 | 촉박한 마감, 처리량 목표 | 항복 증가 (OR 3.19), 오프로딩 6.2%로 붕괴 |
| 인센티브 + 즉시 피드백 | 결과 책임 + 짧은 검증 루프 | 오프로딩 37.1%로 상승 (OR 0.38) |
여기서 실무적으로 중요한 함의가 나옵니다. "AI를 쓰지 말라"는 지침은 데이터가 지지하지 않습니다. 실험 2에서 시간 압박 아래 가장 정확했던 집단은 AI를 쓴 사람들이었습니다(71.3%). 반대로 AI를 거의 안 쓴 Independents는 압박에서 34.0%로 무너졌습니다.
효과적인 지침은 도구 사용을 금지하는 쪽이 아니라 검증 루프를 짧고 값싸게 만드는 쪽에 있습니다. 그리고 신뢰가 높은 사람일수록 이 루프가 더 필요하다는 것 — 신뢰 1SD가 항복 승산을 4.36배로 올린다는 것 — 을 함께 고려해야 합니다. 관리자가 조심해야 할 대상은 AI를 의심하는 사람이 아니라 AI를 가장 좋아하는 사람입니다.
논문의 정책 제안 중 가장 인용할 만한 대비는 이것입니다.
"'감을 믿어라(trust your gut)'가 판단을 시스템 1로 밀어붙이는 말이었다면, '데이터를 믿어라(trust the data)'는 판단을 시스템 3으로 밀어붙이는 말이 될 수 있다."
완전한 알고리즘 투명성은 비현실적이거나 불필요할 수 있습니다. 대신 필요한 것은 답의 성격에 대한 표시입니다. 이 답이 근거에 정박한 것인지, 확률적 추정인지, 불확실한지를 알 수 있으면 사용자가 시스템 3 사용량을 스스로 조절할 수 있습니다.
논문의 마지막 문단에 이 글 전체를 요약하는 문장이 있습니다.
"우리는 단지 AI를 사용하는 것이 아니다. 우리는 AI와 함께 생각한다(We do not merely use AI; we think with it)."
이 논문이 던지는 질문은 AI가 위험한지 아닌지가 아닙니다. 훨씬 구체적입니다.
내 판단이 내 것이 아닐 때, 나는 그것을 알아차릴 수 있는가.
실험 데이터가 준 답은 냉정합니다. 확신도는 알아차리지 못했습니다. 틀린 AI를 반복해서 받아도 확신은 떨어지지 않았습니다. 시간 압박도, 돈과 즉시 피드백도 격차를 44%p 이하로는 좁히지 못했습니다.
그러나 같은 데이터가 다른 것도 보여줍니다. 비율은 움직였습니다. 항복 73.2%는 고정값이 아니라 조건부 값이었고, 조건을 바꾸면 57.9%가 되었습니다. 개입 지점은 개인의 결심이 아니라 도구의 설계와 일의 구조에 있습니다.
한 문장으로 줄이면 이렇습니다.
시스템 3은 이미 우리 사고 안에 들어와 있고, 우리가 조정할 수 있는 것은 그것을 쓸지 말지가 아니라 '검증에 드는 비용'이다.
원 논문
이중처리 이론 계보
분산 인지 · 인접 개념
알고리즘 수용 · 회피
AI 의존의 실측 결과
