추론 경제학

🔀모델 라우팅 #

프런티어 + SLM 하이브리드 아키텍처

현장에서 수렴하고 있는 패턴은 이렇다. 프런티어 모델 = 추론의 중추(계획 수립, 복잡한 판단, 최종 종합), SLM = 라우팅 / 실행 / 엣지 추론(단순 분류, 빠른 실행, 로컬 처리). 모든 요청을 GPT-5급 모델로 보내는 것은 비효율적인 설계다. 엔지니어링의 질문은 이것이다: 어떤 유형의 작업을 SLM이 프런티어 모델 수준의 품질로 처리할 수 있고, 어디서 반드시 프런티어 모델이 개입해야 하는가?

라우팅 파이프라인 #

의도 파악 → 분류 → 라우팅 → 캐시

1) 의도 라우팅: SLM이 요청 유형을 분류 → 단순 작업은 SLM이 처리하고, 복잡한 작업은 프런티어로 에스컬레이션한다. 2) 컨텍스트 압축: SLM이 긴 컨텍스트를 요약해 프런티어로 넘긴다, 토큰 절감. 3) 결과 필터링: SLM이 프런티어 모델의 출력을 검증하고 후처리한다. 4) 캐시 인지 실행: 반복되는 패턴은 캐시나 SLM이 응답한다. 잘 설계된 파이프라인은 프런티어 모델 호출을 60~80% 줄인다.

Phi-4: 실행 계층으로서의 SLM #

타협이 아니라 설계 선택

마이크로소프트 Phi-4 시리즈는 SLM이 더 이상 '성능이 떨어지는 작은 모델'이 아님을 보여준다. Phi-4-mini(파라미터 3.8B)는 고품질 합성 학습 데이터를 통해 수학·코딩 벤치마크에서 더 큰 모델과 대등한 성능을 낸다. 변화의 핵심은 SLM이 독립형 어시스턴트가 아니라, 분산 에이전트 아키텍처에서 특정 목적에 맞춰 만들어진 실행 계층 부품이라는 점이다.

SLM에 남은 약점 #

3가지 실패 양상

① 롱컨텍스트 신뢰성: 수만 토큰을 넘어서면 일관성이 떨어진다. ② 환각 안정성: 복잡한 사실 추론에서 오류율이 높다. ③ 다단계 에이전트 일관성: 여러 단계를 거치며 계획의 정합성이 무너진다. 이는 단순히 크기를 줄여서 생긴 문제가 아니라 현재 학습 방법론의 한계를 반영한다. 다음 Phi 버전이 이 격차를 어디까지 좁히는지가 핵심 관전 지표다.

🤖에이전트형 워크플로의 비용 폭증 #

토큰 소비가 복리로 불어난다

전통적 챗봇: 사용자 메시지 1건 → LLM 응답 1건. 에이전트형 워크플로: 작업 분해(호출 1~3건) + 하위 작업 실행 호출 N건(툴 사용 포함) + 검증·재시도 호출 M건 + 최종 종합(호출 1~2건). 단순한 코딩 작업 하나가 LLM 호출 10~50건으로 처리된다. 각 단계가 이전 컨텍스트를 끌어오기 때문에 토큰 수는 에이전트 깊이에 따라 기하급수적으로 늘어난다. 추론 비용이 매출원가(COGS) 문제가 된 이유다.

코딩 에이전트의 단위 경제성 #

고정 요금제 × 사용량 인플레이션

Cursor, Windsurf, Devin, GitHub Copilot는 모두 같은 구조적 문제를 안고 있다: 월 구독료는 고정인데 추론 비용은 에이전트 사용량에 비례해 늘어난다. 가장 큰 가치를 만들어내는 헤비 유저가 동시에 가장 큰 비용을 발생시킨다. 흑자로 가는 길은 추론 비용이 사용량 증가보다 더 빠르게 하락하는 것뿐이며, 이는 모델 라우팅, SLM 배치, 공격적인 캐싱을 통해서만 가능하다.

open_in_new startupxo.com/ko/news/2026/05/claude-code-agentic-workflow-expansion

Claude Code의 에이전트 확장 #

자동완성 → 자율 실행

Anthropic의 Claude Code 로드맵은 자동완성에서 자율적인 다단계 실행으로의 전환을 겨냥한다: GitHub 이슈를 던져 넣으면 에이전트가 코드베이스를 분석하고, 변경 범위를 잡고, 구현을 작성하고, 테스트를 돌리고, PR을 연다. 경쟁 지표는 '세션당 생성한 코드 줄 수'에서 '이슈에서 프로덕션 배포까지 절감한 시간'으로 옮겨간다. 에이전트 오케스트레이션 계층 자체가 제품이 된다.

스타트업의 빈틈: 에이전트 감사 SaaS #

추적 가능성이 컴플라이언스 요건이 된다

AI 에이전트가 프로덕션 코드를 자율적으로 수정하면, '어떤 결정이 어떤 변경으로 이어졌는가'가 보안·컴플라이언스 요건이 된다. 아직 시장을 장악한 플레이어는 없다. 비어 있는 세 가지 영역: (1) 감사 가능성을 위한 에이전트 행동 로그 구조화, (2) 엔터프라이즈 코드베이스를 위한 도메인 특화 에이전트 파인튜닝 플랫폼, (3) Claude Code + Cursor + Devin을 동시에 운영하는 팀을 위한 멀티 에이전트 오케스트레이션 미들웨어.

🛡️국방 AI: 동일한 추론 문제 #

정부급 보안 제약 위에서

국방 AI도 동일한 추론 경제학 압박에 직면해 있다. 다만 제약 조건이 자릿수 단위로 더 가혹하다. FedRAMP High, 미 국방부 Impact Level 5/6, NATO 주권 요건, 에어갭 환경. Palantir의 온톨로지 계층 + MAVEN/TITAN 프로그램은 정부급 AI 인프라가 어떤 모습인지 보여준다. Helsing의 180억 달러 라운드는 유럽 방위산업이 같은 스택을 독자적으로 구축하고 있다는 신호다.

Helsing 180억 달러: 유럽의 Palantir 베팅 #

180억 달러 밸류에 12억 달러, Daniel Ek 투자

뮌헨에 본사를 둔 Helsing이 180억 달러 밸류에이션으로 12억 달러를 조달했다. NATO 군을 위한 AI 기반 공중 전술 지원, 레이더 신호 처리, C2(지휘통제) 자동화가 사업이다. 이번 라운드의 논리는 유럽 방위산업이 5년 전 미국 Palantir가 서 있던 바로 그 변곡점에 와 있다는 것이다. 기존 주계약 업체(BAE, Rheinmetall)는 소프트웨어 계층을 만들지 못한다. Helsing의 180억 달러 밸류는 국방 AI 소프트웨어가 프로젝트 용역이 아니라 플랫폼 사업으로 평가받는다는 사실을 입증한다.

open_in_new startupxo.com/ko/news/2026/05/helsing-defense-ai-18b-funding

에어갭 추론 아키텍처 #

정부 AI의 구조적 제약

소비자 AI: Claude/GPT로 API 호출 한 번. 정부 AI: 기밀 데이터는 에어갭 경계를 벗어날 수 없다. FedRAMP High = 비민감 연방 데이터(Azure Government, AWS GovCloud). Impact Level 5/6 = 기밀 국방부 데이터(물리적으로 격리된 에어갭 필수). Palantir의 '주권 AI(sovereign AI)' 배치는 SIPR/JWICS 기밀 등급 망 안에서 모델을 온프레미스로 구동한다. 국방 AI가 구조적 해자를 갖는 이유가 여기 있다: 인프라 장벽은 실재한다.

👨‍💻LLM 추론 비용 엔지니어 #

아직 아무도 직함을 붙이지 않은 떠오르는 직무

AI 제품의 비용 구조를 설계하는 엔지니어다. 라우팅 파이프라인(어떤 요청을 어떤 모델로 보낼지)을 구축하고, 도메인 작업에 맞춰 SLM을 파인튜닝하며, 컨텍스트 압축과 캐싱을 구현한다. 이 직함은 아직 대부분의 채용공고(JD)에 등장하지 않는다, 'ML 인프라 엔지니어'나 'AI 플랫폼 엔지니어' 공고 속에 섞여 있다. 하지만 AI 네이티브 SaaS 기업과 빅테크 AI 제품팀에서는 이미 비용을 가장 좌우하는 기술 직무다.

진입 경로 #

백엔드 + ML + FinOps가 여기서 만난다

유력한 진입 경로 세 가지: (1) 백엔드 엔지니어, API 설계 + 비용 모니터링 경험이 곧바로 이어진다. (2) ML 엔지니어, 파인튜닝과 평가 경험이 핵심 자산이다. (3) DevOps·인프라 엔지니어, FinOps 마인드셋이 이미 갖춰져 있다. 어느 쪽도 맨바닥에서 시작할 필요가 없다. 이 전문성은 기존 역량이 새로운 조합으로 재배치되는 지점에 있다.

툴체인 2026 #

vLLM + Ollama + LangSmith

SLM 모델: Phi-4-mini, Llama 3.2 3B/1B, Gemma 2 2B. 프런티어: GPT-4o, Claude Sonnet. 추론 서버: vLLM, Ollama, TensorRT-LLM, llama.cpp. 평가: Promptflow, LangSmith, 커스텀 평가. 모니터링: Datadog, Langfuse, Phoenix. 시작점: Ollama 로컬 배포 → 프런티어 모델과 벤치마크 비교 → 단순 복잡도 분류기 구축 → 실제 트래픽 라우팅 → 비용 차이 측정.