수치는 사내 알파 클러스터 기준입니다.
THE PROBLEM
기관에 GPU는 있는데,
왜 AI 서비스는 나오지 않을까요
모델을 만드는 일과 그 모델을 누군가 쓸 수 있게 띄우는 일 사이에는 인프라라는 긴 공백이 있습니다. 대학·연구소·공공기관·기업에서 똑같이 반복되는 장면입니다.
서버는 있는데, 쓰는 사람은 한 명
비싸게 들인 GPU 서버가 SSH 계정 하나와 순번표로 돌아갑니다. 누가 쓰는 동안 다른 사람은 기다리고, 아무도 안 쓰는 밤에는 그대로 놉니다.
데모 하나 띄우는 데 2주
서버 요청, 방화벽, 도메인, 인증서, 배포 스크립트. 모델은 하루 만에 만들었는데 동료에게 보여 줄 주소를 받기까지 결재와 대기가 이어집니다.
데이터는 밖으로 못 나간다
편한 퍼블릭 클라우드 배포 서비스가 많지만, 기관 데이터와 학습한 모델을 외부 서버에 올릴 수 없습니다. 결국 다시 수작업 배포로 돌아갑니다.
누가 얼마나 썼는지 모른다
연구실·부서마다 GPU를 얼마나 썼는지 기록이 없으니 예산을 나누기도, 증설 근거를 대기도 어렵습니다. 공용 자원은 늘 먼저 잡는 사람의 것이 됩니다.
Deploy는 이 공백을 기관 안에서 메웁니다.
퍼블릭 클라우드 PaaS의 편한 개발 경험을, 기관이 가진 서버와 GPU 위에 그대로 옮겨 옵니다.
HOW IT WORKS
3단계면 끝납니다
설정은 폼 하나이고 YAML은 쓰지 않습니다. 크기, GPU, 복제본 수, 환경변수, 헬스체크를 화면에서 고르면 됩니다.
저장소를 연결합니다
Git 저장소 주소와 브랜치만 적습니다. Dockerfile이 있으면 그대로, 없으면 Node·Python·Go·Rust·Java 등 언어와 프레임워크를 자동으로 감지해 빌드합니다. 템플릿이나 이미 만든 이미지로 시작해도 됩니다.
빌드와 배포는 자동입니다
클러스터 안에서 이미지를 만들어 프로젝트 전용 저장소에 올리고, 무중단으로 교체합니다. 웹훅을 걸어 두면 push마다 반복되고 단계별 로그가 실시간으로 보입니다.
주소를 공유합니다
프로젝트마다 TLS가 적용된 주소가 바로 열립니다. 브랜치마다 미리보기 주소가 따로 생겨 리뷰가 쉬워지고, 롤백은 버튼 하나입니다.
빌드와 앱은 서로 분리된 공간에서 돌고, 모든 과정이 기관 클러스터 안에서 끝납니다.
FEATURES
코드부터 GPU·데이터베이스까지, 콘솔 하나에서
AI 서비스를 만드는 데 필요한 것을 따로 신청하고 따로 엮지 않아도 됩니다.
세 가지 배포 경로
Git 저장소에서 빌드, 템플릿에서 시작, 이미 만든 컨테이너 이미지 실행. 웹 앱부터 워커·WebSocket 서버까지 상시 컨테이너로 돕니다.
GPU를 종류·조각 단위로
프로젝트마다 GPU를 0~4장, 원하는 모델로 붙입니다. A100은 한 장을 여러 조각(MIG)으로 나눠 메모리와 연산을 격리한 채 여러 사람이 동시에 씁니다. 조각은 요청 후 10초 남짓이면 준비됩니다.
관리형 데이터베이스 19종
PostgreSQL(pgvector)·Redis부터 Qdrant·OpenSearch·Neo4j, 에이전트 메모리 서버, S3 호환 오브젝트 스토리지까지. “프로젝트에 연결” 한 번이면 접속 정보가 환경변수로 들어갑니다.
브랜치 미리보기
프로덕션이 아닌 브랜치를 push하면 별도 주소에 환경이 하나 더 올라갑니다. 지도교수·팀장 리뷰는 링크 하나로, 브랜치를 지우면 함께 정리됩니다.
배치 작업
끝나면 사라지는 대량 실행. 일감을 최대 1만 개 조각으로 나눠 여러 Pod가 동시에 처리합니다. 대량 추론·데이터 변환·전처리에 GPU를 붙여 돌리고, 시작·일시 중지·취소는 콘솔이나 API로.
코드 샌드박스
LLM 서비스가 사용자 코드를 안전하게 실행하도록 gVisor로 한 겹 더 격리한 실행 환경을 제공합니다. 네트워크는 차단·허용 목록·인터넷 중 고르고, 한글 글꼴·문서 변환 도구가 미리 들어 있습니다.
모니터링과 로그
반복 종료·메모리 초과·이미지 오류를 구분한 상태 판정, Pod별 CPU·메모리·GPU 사용률, 실시간 로그와 30일 보관 로그, Slack·이메일 알림까지 한 화면에.
AI 코딩 에이전트와 함께
REST API와 에이전트용 문서(llms.txt)를 제공합니다. Claude Code 같은 코딩 에이전트가 빌드를 걸고, 로그를 읽고, 실패를 스스로 고쳐 다시 배포합니다.
사내 ChatGPT를 오후 한나절에
템플릿 13개가 검증된 이미지·포트·GPU·헬스체크를 폼에 미리 채워 줍니다. vLLM으로 오픈 모델을 서빙하고 Open WebUI를 붙이면, 기관 데이터가 밖으로 나가지 않는 대화형 AI가 바로 열립니다.
BUILT FOR INSTITUTIONS
한 클러스터, 여러 조직. 서로 보이지 않게
개발자 한 명을 위한 도구가 아니라 기관 전체가 함께 쓰는 플랫폼으로 설계했습니다. 자원은 나눠 쓰고, 권한과 비용은 조직 단위로 관리합니다.
예시 화면입니다.
조직과 역할
연구실·학과·부서를 조직으로 나누고 소유자·관리자·구성원 역할을 줍니다. 구성원은 이메일 초대로만 들어옵니다.
조직별 한도
프로젝트 수, vCPU, 메모리, GPU 상한을 조직마다 정합니다. 한 팀이 공용 GPU를 독점할 수 없습니다.
예산과 내부 정산
자원 사용량을 매시간 집계해 조직에 배정한 예산에서 차감합니다. 단가는 기관이 직접 정하고, 월별 사용 내역은 CSV로 내려받아 연구비·부서 예산 정산에 씁니다.
조직 간 네트워크 격리
프로젝트마다 별도 실행 공간을 두고, 다른 조직의 서비스와 플랫폼 내부에는 닿지 않도록 네트워크 경계를 겹겹이 둡니다.
전용 이미지 저장소
빌드된 이미지는 프로젝트 전용 저장소에 들어가고 올라가는 순간 취약점을 검사합니다. 자격증명은 그 프로젝트에만 통합니다.
감사 기록
생성·배포·설정 변경·구성원 변경 등 모든 쓰기 작업이 누가 했는지와 함께 30일간 남습니다.
USE CASES
이런 기관을 위해 만들고 있습니다
수업과 연구가 같은 GPU를 나눠 씁니다
- 학과 수업은 학생마다 JupyterLab·과제 앱을 GPU 조각으로
- 연구실은 학위 논문 데모를 브랜치 미리보기로 지도교수에게
- 학기 말 사용량 표로 학과·연구실별 예산 정산
모델을 논문에서 서비스로
- 학습한 모델을 vLLM 템플릿으로 바로 API로 공개
- 대량 추론·전처리는 배치 작업으로 밤사이 병렬 처리
- 과제별 조직으로 나눠 과제비 단위로 사용량 집계
기관 데이터는 기관 안에서
- 내부 문서로 만든 AI 비서를 외부 클라우드 없이 운영
- 부서별 격리와 감사 기록으로 보안 점검 대응
- 외주 개발사도 같은 배포 흐름으로 납품·운영
사내 AI 앱의 셀프서비스
- 현업 팀이 만든 사내 도구를 티켓 없이 직접 배포
- 사내 ChatGPT·RAG 검색을 사내 GPU에서 서빙
- 팀별 한도와 예산으로 인프라 비용을 가시화
ROADMAP
먼저 우리가 쓰고, 그다음 기관에 드립니다
Deploy는 코어닷투데이가 자기 서비스를 올리려고 만든 플랫폼입니다. 사내에서 검증한 것만 기관에 공급합니다.
사내 알파
deploy.core.today에서 코어닷투데이 팀이 실제 사내 서비스와 실험을 매일 올리며 다듬고 있습니다. 직접 써 보며 불편한 점부터 고칩니다.
파일럿 기관
첫 기관의 서버와 GPU 위에 설치해, 기관 계정·도메인·보안 요건에 맞춰 함께 운영하며 정식 버전의 기준을 잡습니다.
기관 공급
여러 기관이 각자의 인프라에서 쓰는 설치형으로 공급합니다. 설치부터 업데이트, 운영 지원까지 코어닷투데이가 함께합니다.
정식 버전 공급 형태
기관 서버에 설치
기관이 보유한 서버와 NVIDIA GPU 위에 플랫폼을 올립니다. 서버 대수와 GPU 구성은 상담에서 함께 설계합니다.
기관 계정과 연동
구성원이 쓰던 기관 계정으로 로그인하도록 연동 방식을 기관 환경에 맞춰 협의합니다.
기관 도메인으로
콘솔과 서비스 주소가 기관 도메인 아래 열립니다. 단가와 예산 정책도 기관이 정합니다.
운영 지원
설치 이후 업데이트, 장애 대응, 사용자 교육까지 운영에 필요한 기술 지원을 제공합니다.
알파에서 아직 안 되는 것
정식 버전까지 채워 갈 목록입니다. 먼저 알고 상담하시면 계획을 세우기 쉽습니다.
- 앱 컨테이너의 영구 디스크 (데이터는 관리형 DB·오브젝트 스토리지에)
- TCP·UDP 포트 직접 공개 (현재는 HTTPS 서비스 중심)
- ARM 전용 이미지
- 벡터·검색·그래프 DB 엔진의 시점 복원
자주 묻는 질문
지금 바로 쓸 수 있나요?
현재는 코어닷투데이 사내 알파(deploy.core.today)로 운영하고 있으며, 정식 버전은 기관 단위로 공급합니다. 도입 상담을 남겨 주시면 파일럿 일정과 구성안을 안내해 드립니다.
우리 기관 서버에 설치할 수 있나요?
정식 버전은 기관이 보유한 서버와 GPU 위에 설치해 쓰는 형태로 공급합니다. 서버 대수, GPU 종류, 네트워크 환경(외부망 연결 여부 포함)을 상담에서 확인한 뒤 맞는 구성을 제안해 드립니다.
쿠버네티스를 알아야 하나요?
아닙니다. 사용자는 저장소 주소와 브랜치를 적고 크기·GPU·환경변수를 화면에서 고르기만 합니다. YAML은 쓰지 않습니다. 클러스터 운영은 플랫폼과 코어닷투데이 운영 지원이 맡습니다.
GPU 한 장을 여러 사람이 나눠 쓸 수 있나요?
네. A100은 한 장을 여러 조각(MIG)으로 나눠 메모리와 연산을 격리한 채 동시에 쓸 수 있고, 요금도 조각 비율만큼 계산합니다. 조각은 필요할 때 만들어지고 쓰지 않으면 회수됩니다. 사내 알파는 A100·V100으로 운영 중입니다.
연구실·부서별로 사용량을 나눠 볼 수 있나요?
조직(연구실·학과·부서) 단위로 한도와 예산을 정하고, 사용량은 매시간 집계해 예산에서 차감합니다. 자원 단가는 기관이 직접 정하며 월별 사용 내역을 CSV로 내려받아 정산에 쓸 수 있습니다.
기관 계정으로 로그인할 수 있나요?
사내 알파는 core.today 계정으로 로그인합니다. 정식 버전의 기관 계정 연동 방식은 도입 기관의 인증 환경에 맞춰 상담에서 협의합니다.
우리 기관의 GPU도
git push 한 번으로
보유 서버와 GPU, 쓰는 사람과 보안 요건을 알려 주시면 기관에 맞는 구성안과 파일럿 일정을 함께 잡아 드립니다.