一、纯文本大模型 API 调用（网页 / 机器人文字对话，不含语音）

公有云在线 API（通义千问、文心一言、豆包、GPT 系列，国内节点）

影响关键：输入 Prompt 越长，TTFT 越高；高峰期共享算力时延上浮 30%~80%。

私有化本地部署（vLLM/TensorRT-LLM，单卡 H100/A100，INT4 量化）

•7B：TTFT 150–350ms

•13B：TTFT 250–500ms

•34B/70B：TTFT 500–1200ms

二、【重点】AI 电话呼叫 / 智能外呼 / 语音坐席（全链路 ASR→LLM→TTS）

行业共识：人与人自然对话停顿均值≈200~500ms

用户体感阈值：

Ø  ＜800ms：流畅接近真人

Ø  800ms～1.5s：轻微卡顿，尚能接受

Ø  ＞1.5s：明显迟疑，挂断率上升

Ø  ＞2s：体验极差，客户极易挂断

全链路时延拆解（流式流水线优化方案，最优区间）

1.VAD 静音端点检测：150～300ms（判断用户说完话）

2.ASR 流式识别：100～200ms

3.LLM 大模型 TTFT：200～500ms

4.TTS 首音频分片：80～180ms

5.网络、中间件调度：50～150ms

优化到位的商用方案：端到端感知时延 500ms～800ms（标杆水平）

常规成熟商用平台：800ms～1200ms（普遍验收标准）

老旧非流式架构：经常 1.5～2.5s

新一代语音原生实时大模型（OpenAI Realtime、Gemini Live、国内语音大模型），省去独立 ASR/TTS 串联，最优可压至 350–600ms。

三、影响响应时间的核心因素

1.模型规模：参数越大推理越慢；优先轻量化模型做呼叫

2.上下文长度：历史对话越长，KV 缓存计算变重，时延持续抬升

3.是否联网工具调用 (RAG / 查 CRM)：调用一次 API 额外增加 200–800ms

4.部署方式：公有共享实例 > 专属算力；就近机房 / 边缘部署显著降网络延迟

5.推理技术：流式推理、KV 缓存、量化、预测式 VAD（不等用户说完提前推理）是语音呼叫提速核心手段

四、企业项目常用验收参考标准

1）文本机器人 API 验收

•基础要求：P95 TTFT ≤1.5s

•优秀标准：P95 TTFT ≤1.0s

2）AI 电话呼叫中心（智能外呼 / 进线客服）

•最低验收门槛：端到端≤1.5s

•推荐优质指标：P95 ≤1000ms，平均≤800ms

•高端金融 / 政务高标准：平均≤700ms

五、常见误区提醒

1.不要只看实验室裸模型 TTFT：电话场景必须算上 VAD、ASR、TTS、通信线路时延；裸模型速度快≠通话流畅。

2.区分 “首 token” 和 “听到声音”：LLM 输出第一个文字≠用户听到语音，还要叠加 TTS 合成时间。

3.高并发下时延会恶化：压测务必测 P95/P99 延迟，不能只看平均值。