推理经济学

🔀模型路由

前沿模型＋SLM的混合架构

在生产环境中正在收敛的模式：前沿模型＝推理中枢（规划、复杂判断、最终综合）；SLM＝路由／执行／边缘推理（简单分类、快速执行、本地处理）。把所有请求都丢给GPT-5级别是一种低效设计。工程上的关键问题是：哪些任务类型SLM能以前沿模型的质量处理，又有哪些必须由前沿模型介入？

路由流水线

意图 → 分类 → 路由 → 缓存

①意图路由：SLM对请求类型分类→简单任务由SLM处理，复杂任务升级到前沿模型。②上下文压缩：SLM先对长上下文做摘要再交给前沿模型，减少token。③结果过滤：SLM对前沿模型输出做校验与后处理。④缓存感知执行：重复模式由缓存或SLM承接。设计良好的流水线可将前沿模型调用减少60–80%。

Phi-4：作为执行层的SLM

不是妥协，而是设计选择

微软Phi-4系列表明，SLM不再是‘更小、性能更差的模型’。Phi-4-mini（38亿参数）凭借高质量合成训练数据，在数学和编程基准上比肩更大的模型。转变在于：把SLM当作分布式智能体架构中专门打造的执行层组件，而非独立的助手。

SLM仍存的弱点

三种失败模式

①长上下文可靠性：超过数万token后一致性下降。②幻觉稳定性：在复杂事实推理上的错误率更高。③多步智能体一致性：步数越多，计划的连贯性越差。这些不仅是缩小规模带来的问题，更反映出当前训练方法的局限。下一代Phi在哪里弥合这些差距，是关键观察指标。

🤖智能体工作流的成本爆炸

Token消耗在复利式增长

传统聊天机器人：用户1条消息→LLM1次回复。智能体工作流：任务拆解（1–3次）＋N个子任务执行调用（含工具使用）＋M次校验／重试＋最终综合（1–2次）。一个简单的编程任务会展开成10–50次LLM调用。每一步都会带上之前的上下文——token数随智能体深度呈几何级数增长。这正是推理成本变成COGS（销货成本）问题的原因。

编程智能体的单位经济

固定定价 × 用量膨胀

Cursor、Windsurf、Devin、GitHub Copilot都面临同一个结构性问题：月度订阅是固定的，但推理成本随智能体用量上升。创造最多价值的重度用户，也产生最多成本。走向盈利的路径要求推理成本下降快于用量增长——而这只能通过模型路由、部署SLM和激进缓存来实现。

open_in_new startupxo.com/ko/news/2026/05/claude-code-agentic-workflow-expansion

Claude Code的智能体扩展

自动补全 → 自主执行

Anthropic的Claude Code路线图，瞄准从自动补全到自主多步执行的跃迁：丢进一个GitHub issue，智能体便分析代码库、界定改动范围、编写实现、运行测试、提交PR。竞争指标从‘每次会话生成的代码行数’转向‘从issue到生产部署所节省的工时’。智能体编排层本身成为产品。

创业空白：智能体审计SaaS

可追溯性成为合规要求

当AI智能体自主修改生产代码时，‘哪个决策导致了哪处改动’就成为安全与合规要求。目前尚无主导厂商。三处空白：(1)面向可审计性的智能体行为日志结构化，(2)面向企业代码库的领域专用智能体微调平台，(3)为同时运行Claude Code＋Cursor＋Devin的团队提供的多智能体编排中间件。

🛡️国防AI：同样的推理问题

只是处在政府级安全约束之下

国防AI面临完全相同的推理经济压力——只是约束严苛上若干量级。FedRAMP High、DoD Impact Level 5/6、NATO主权要求、气隙（air-gap）环境。Palantir的Ontology层＋MAVEN／TITAN项目，展示了政府级AI基础设施的样貌。Helsing的180亿美元融资，标志着欧洲国防正独立搭建同一套技术栈。

Helsing 180亿美元：欧洲版Palantir的押注

180亿估值融资12亿——Daniel Ek加持

总部位于慕尼黑的Helsing以180亿美元估值融资12亿美元。为NATO各国军队提供AI驱动的空中战术辅助、雷达信号处理、C2自动化。融资逻辑是：欧洲国防正处于5年前美国Palantir所处的拐点。传统主承包商（BAE、Rheinmetall）做不出软件层。180亿美元估值证明，国防AI软件被当作平台业务而非项目服务来定价。

open_in_new startupxo.com/ko/news/2026/05/helsing-defense-ai-18b-funding

气隙推理架构

政府AI的结构性约束

消费级AI：向Claude／GPT发一次API调用即可。政府AI：机密数据不能越过气隙边界。FedRAMP High＝非敏感的联邦数据（Azure Government、AWS GovCloud）。Impact Level 5/6＝机密的DoD数据（必须物理隔离的气隙）。Palantir的‘主权AI’部署在SIPR／JWICS密级网络中以本地（on-premises）方式运行模型。这正是国防AI拥有结构性护城河的原因——基础设施壁垒是真实存在的。

👨‍💻LLM推理成本工程师

尚无人正式命名的新兴角色

设计AI产品成本结构的工程师。搭建路由流水线（哪个请求走哪个模型），为领域任务微调SLM，实现上下文压缩与缓存。大多数职位描述里还没有这个头衔——它被混在‘ML Infrastructure Engineer’和‘AI Platform Engineer’的招聘里。但在AI原生的SaaS公司和大厂AI产品团队中，这已是最攸关成本的技术岗位。

入行路径

后端＋ML＋FinOps在此交汇

三条有力的入行路线：(1)后端工程师——API设计＋成本监控经验可直接迁移；(2)ML工程师——微调与评测经验是核心资产；(3)DevOps／基础设施工程师——已具备FinOps思维。这些都不需要从零开始。这一专长，正诞生于既有技能以新组合方式结合之处。

工具链2026

vLLM ＋ Ollama ＋ LangSmith

SLM模型：Phi-4-mini、Llama 3.2 3B/1B、Gemma 2 2B。前沿：GPT-4o、Claude Sonnet。推理服务器：vLLM、Ollama、TensorRT-LLM、llama.cpp。评测：Promptflow、LangSmith、自建eval。监控：Datadog、Langfuse、Phoenix。入门路径：用Ollama本地部署→与前沿模型做基准对比→搭一个简单的复杂度分类器→对真实流量做路由→测量成本差。