블로그로 돌아가기
Edge AICloud AI엣지 컴퓨팅IoT지연시간NPU
Edge AI vs Cloud AI 특집 (Part 1): 추론을 어디서 할 것인가 — 두 세계의 탄생과 핵심 개념
자율주행차는 브레이크를 밟기 위해 클라우드에 물어볼 시간이 없다. CDN에서 시작된 '가장자리의 컴퓨팅'이 AI를 만나 Edge AI가 되기까지 — 역사, 기술적 차이, 핵심 트레이드오프를 처음부터 이해한다.
코어닷투데이2026-03-0919분
들어가며: 100밀리초의 차이가 생사를 가른다
시속 100km로 달리는 자율주행차 앞에 보행자가 나타났다. 브레이크를 밟아야 한다. 이 판단에 주어진 시간은 100밀리초(0.1초).
클라우드 AI: 카메라 데이터를 서버로 전송(50ms) → AI 추론(30ms) → 결과 수신(50ms) = 130ms 이상. 너무 늦다.
Edge AI: 차량 내부 칩에서 즉시 처리 = 10ms 이내. 살 수 있다.
이것이 "추론을 어디서 할 것인가"라는 질문이 단순한 기술 선택이 아니라 생사의 문제가 되는 이유다.
AI 추론의 두 가지 선택
Cloud AI
중앙 집중형
강력한 서버에서 추론. 무한한 연산 능력. 네트워크 필수.
Edge AI
분산형
현장의 기기에서 추론. 초저지연. 오프라인 작동.
이 글은 두 파트로 나뉜다. Part 1은 역사와 핵심 개념을, Part 2는 하드웨어, 실전 응용(IoT·자율주행·모바일), 한국 생태계를 다룬다.
제1장: 역사 — "가장자리"의 탄생
CDN — 모든 것의 시작 (1998)
Edge AI의 역사는 AI가 아니라 콘텐츠 배포에서 시작된다.
1995년, 월드와이드웹의 발명자 Tim Berners-Lee가 MIT 동료들에게 도전 과제를 던졌다: "인터넷 콘텐츠를 더 효율적으로 전달하는 방법을 발명하라."
MIT 응용수학 교수 Tom Leighton과 박사과정 학생 Danny Lewin이 일관성 해싱(consistent hashing) 알고리즘을 개발했고, 1998년 Akamai Technologies를 설립했다.
핵심 아이디어: 콘텐츠를 중앙 서버 하나에서 보내는 대신, 사용자에 가까운 서버(edge server)에 복사해 두고 거기서 전달한다. 물리적 거리가 줄면 지연 시간이 줄어든다.
이것이 **"가장자리(edge)에서 처리한다"**는 개념의 원형이다.
포그 컴퓨팅 — 클라우드와 엣지 사이 (2012)
2012년, Cisco가 **포그 컴퓨팅(Fog Computing)**이라는 용어를 만들었다. IoT 기기가 폭발적으로 늘어나면서, 모든 데이터를 클라우드로 보내는 것이 비현실적이 되었다.
포그 컴퓨팅은 클라우드와 IoT 기기 사이에 라우터, 게이트웨이 같은 중간 계층을 두어 데이터를 가까운 곳에서 처리하는 개념이다. 2015년에는 Cisco, ARM, Dell, Intel, Microsoft, Princeton이 공동으로 OpenFog Consortium을 설립했다.
Edge AI의 등장 (2014~)
GPU가 딥러닝 학습을 가속화하면서(2009년 Google Brain), 연구자들은 다음 질문을 던졌다: "학습은 클라우드에서 하더라도, 추론은 현장에서 할 수 없을까?"
1998 — CDN (콘텐츠를 가장자리로)
↓
2012 — 포그 컴퓨팅 (연산을 가장자리로)
↓
2017 — Apple Neural Engine (AI 칩을 기기에)
↓
2026 — Edge AI가 산업 표준이 되다
흐름이 보이는가? 콘텐츠 → 연산 → AI 순서로, 점점 더 복잡한 작업이 "가장자리"로 내려오고 있다.
제2장: Cloud AI — 왜 처음에는 클라우드였는가
클라우드가 합리적이었던 이유
AI 학습(training)에는 엄청난 연산 능력이 필요하다. GPT-4 급 모델을 학습하려면 수만 개의 GPU가 수개월간 돌아가야 한다. 이런 인프라를 개별 기업이 보유하는 것은 비현실적이다.
클라우드 AI의 진화:
| 시기 | 이정표 |
|---|---|
| 2006 | AWS S3/EC2 출시 — IaaS의 시작 |
| 2017 | Amazon SageMaker — 완전 관리형 ML 서비스 |
| 2018 | Google Cloud AI Platform |
| 2021 | Google Vertex AI — AutoML + AI Platform 통합 |
| 2024 | Vertex AI Agent Builder, 200개 이상 모델 |
| 2026 | Cloud AI 시장 규모 $1,334억 |
클라우드 AI의 강점
| 강점 | 설명 |
|---|---|
| 무한한 연산 | 필요한 만큼 GPU를 빌릴 수 있다 |
| 최신 모델 | Claude, GPT-4o 등 최신 모델에 즉시 접근 |
| 학습 | 대규모 모델 학습은 클라우드에서만 가능 |
| 관리 부담 없음 | 인프라 관리를 클라우드 제공자가 담당 |
그런데 왜 클라우드만으로는 안 되는가
Cloud AI의 구조적 한계
지연 시간
데이터 전송 + 추론 + 수신 = 수백 ms. 실시간 판단에 부적합.
네트워크 의존
인터넷이 끊기면 AI도 멈춘다. 비행기, 지하, 오지에서 무용지물.
프라이버시
민감 데이터가 외부 서버로 전송. GDPR/HIPAA 위반 위험.
비용
대량 추론 시 API 비용 급증. 데이터 전송 비용(egress fee) 추가.
전력
데이터센터가 전 세계 전력의 1.5% 소비 (2024). 2030년 두 배 예상.
제3장: 핵심 비교 — 6가지 축
1. 지연 시간 (Latency)
가장 결정적인 차이다.
Edge AI는 클라우드 대비 2~10배 빠르다. 자율주행, 로봇 제어, 실시간 번역 같은 시간 민감 작업에서 이 차이는 결정적이다.
2. 대역폭 (Bandwidth)
자율주행차는 초당 약 1 GB의 데이터를 생성한다. 이것을 실시간으로 클라우드에 전송하는 것은 현재 네트워크 인프라로 불가능하다.
Edge AI는 데이터를 현장에서 처리하고, 핵심 결과만 전송한다. 산업 IoT에서 대역폭 부담을 80~90% 줄인다.
3. 프라이버시와 보안
| 항목 | Edge AI | Cloud AI |
|---|---|---|
| 데이터 위치 | 기기 내부에 유지 | 외부 서버로 전송 |
| GDPR 컴플라이언스 | 본질적으로 충족 | 별도 조치 필요 |
| 국경 간 데이터 이동 | 해당 없음 | 규제 대상 |
| 유출 위험 | 기기 물리적 도난에 한정 | 네트워크·서버·API 전 경로 |
2018년 이후 EU GDPR 벌금 누적: 56.5억 유로(약 8조 원). 2026년 8월에는 EU AI Act가 전면 시행된다. 데이터가 기기를 떠나지 않는 Edge AI는 이런 규제 환경에서 구조적 이점을 갖는다.
4. 비용
| 항목 | Edge AI | Cloud AI |
|---|---|---|
| 초기 투자 | 높음 (하드웨어 구매) | 낮음 (종량제) |
| 운영 비용 | 낮음 (전기+유지보수) | 높음 (API 비용 누적) |
| 스케일링 비용 | 기기 추가 구매 | API 호출량에 비례 |
| 데이터 전송 비용 | 거의 없음 | egress fee ($0.02/GB+) |
월 1억 건 이상의 추론이 필요한 경우, Edge AI의 TCO가 클라우드보다 낮아진다. 하이브리드 아키텍처는 순수 접근법 대비 15~30% 비용 절감이 보고된다.
5. 가용성 (오프라인 작동)
Edge AI의 가장 강력한 장점 중 하나: 네트워크 없이도 작동한다.
- 원격 유전 시추 장비
- 해양 선박
- 농장 자율 트랙터
- 의료 기기
- 비행기 내부
이런 환경에서 클라우드 AI는 무용지물이다. Edge AI는 독립적으로 작동한다.
6. 전력 소비
| 항목 | Edge 기기 | 클라우드 GPU |
|---|---|---|
| 소비 전력 | 5~50W | 300~700W |
| 데이터 전송 에너지 | 해당 없음 | 엣지 처리 대비 ~3배 |
제조업 사례: Edge AI 도입으로 GPU 비용 92% 절감, 에너지 65~80% 절감이 보고되었다.
IEA에 따르면 전 세계 데이터센터가 2024년 약 415 TWh를 소비했으며, 2030년까지 두 배로 증가할 전망이다. Edge AI는 이 문제의 구조적 해답 중 하나다.
제4장: 하이브리드 — 제3의 선택
Edge만도, Cloud만도 아닌
현실 세계 배포의 대부분은 하이브리드 아키텍처다. 2026년 소매업의 **78%**가 하이브리드 Edge-Cloud 설정을 계획 중이다.
작업이 들어온다
↓
시간 민감? 프라이버시 필요?
↓
→ Edge에서 처리
→ Cloud로 전송
분할 추론 (Split Inference)
모델 실행을 Edge와 Cloud에 나눠서 하는 기법이다:
- 초기 레이어(특징 추출): Edge에서 실행 — 속도와 프라이버시 확보
- 심층 레이어(분류·추론): Cloud에서 실행 — 연산 능력 활용
이 방식으로 순수 클라우드 대비 에너지 75% 절감, 비용 80% 절감이 모델링되었다.
연합 학습 (Federated Learning)
원본 데이터를 한 곳에 모으지 않고, 각 기기에서 로컬로 학습한 뒤 모델 업데이트만 합치는 방식이다. 데이터가 기기를 떠나지 않으므로 프라이버시를 보장한다.
Google 키보드(Gboard)의 자동완성이 대표적 사례. 수십억 대 기기의 타이핑 패턴을 학습하면서도, 개별 사용자의 입력 데이터는 기기 밖으로 나가지 않는다.
모델 증류 (Model Distillation)
거대한 Teacher 모델의 지식을 작고 효율적인 Student 모델로 전달하는 기법. Student 모델은 Edge에서 실행할 수 있을 정도로 작지만, Teacher의 지식을 상당 부분 보존한다.
Waymo의 자율주행 시스템이 이 방식을 사용한다: 대형 모델이 학습한 판단력을 차량 내부의 경량 모델로 증류해 실시간 배포한다.
양자화 (Quantization)
모델의 숫자 정밀도를 낮추어 크기를 줄이는 기법:
| 기법 | 메모리 절감 | 정확도 영향 |
|---|---|---|
| INT8 | 4배 (FP32 대비) | ~1% 미만 하락 |
| INT4 (AWQ, GPTQ) | 8배 | 보통; 70B 모델을 소비자 GPU에서 가동 가능 |
| FP8 | 2배 (FP16 대비) | H100/H200에서 프로덕션 표준 |
| 1-bit | 32배 | 2026년 프로덕션 준비 완료 |
최적 파이프라인: 먼저 가지치기(pruning), 그 다음 양자화. 두 기법을 결합하면 최대 효율을 달성한다.
제5장: 언제 무엇을 선택하는가
| 상황 | 추천 | 이유 |
|---|---|---|
| 밀리초 단위 판단 필요 | Edge | 자율주행, 로봇, 공장 라인 |
| 민감 데이터 처리 | Edge | 의료, 금융, 개인정보 |
| 오프라인 환경 | Edge | 오지, 선박, 비행기 |
| 대량 반복 추론 | Edge | 비용 효율 (대규모 시) |
| 모델 학습 | Cloud | 엄청난 연산 필요 |
| 복잡한 멀티스텝 추론 | Cloud | 대형 모델 필요 |
| 간헐적 고부하 작업 | Cloud | 종량제가 유리 |
| 대부분의 실전 | 하이브리드 | Edge에서 1차 처리, Cloud에서 복잡한 작업 |
다음 편 예고
Part 2에서는 실전으로 들어간다:
- Edge AI 하드웨어 지형도 (NVIDIA Jetson Thor부터 Google Coral까지)
- 자율주행의 Edge AI (Tesla, Waymo, Hyundai의 접근)
- 모바일 AI (Apple Intelligence, Samsung Galaxy AI, 온디바이스 LLM)
- IoT와 스마트 팩토리
- 한국 Edge AI 생태계 (삼성, 현대, FuriosaAI)
- Edge AI 프레임워크 실전 가이드