Live API 为开发者提供了必要的工具,用于构建能够处理流式音频、视频和文本的应用及智能代理,且具有极低的延迟。这种速度对于打造真正的互动式体验至关重要,为客户服务支持解决方案、教育平台和实时监控服务等领域开辟了广阔的创新空间。
Link to Youtube Video (visible only when JS is disabled)
近日,我们宣布推出适用于 Gemini 模型的 Live API 预览版,这是赋能开发者构建强大且可扩容的实时应用的重要一步。立即通过 Google AI Studio 或 Vertex AI 中的 Gemini API 体验最新功能。
自去年 12 月推出实验性版本以来,我们一直在认真倾听您的反馈,并整合了多项新功能和能力,使 Live API 达到生产就绪状态。更多详细信息,请查阅 Live API 文档:
session_resumption
),以便重新连接会话并从上次中断处继续。GoAway
消息,使用户能够在进程终止前妥善处理。activityStart
、activityEnd
)手动控制轮次。speechConfig
配置输出语言。usageMetadata
字段获取详细的令牌计数,按模态和提示/响应阶段细分,深入了解使用情况。为了激发您的下一个项目灵感,我们将展示一些开发者在其应用中巧妙运用 Live API 的精彩案例:
Daily 将 Live API 支持整合到了适用于 Web、Android、iOS 和 C++ 的 Pipecat 开源 SDK 中。
借助 Live API 的强大功能,Pipecat Daily 打造了一款基于语音的猜词游戏“Word Wrangler”。您可在这个融合了 AI 技术的经典文字游戏中测试自己的描述能力,并探索如何自行构建一个类似的应用!
LiveKit 将 Live API 支持集成到了 LiveKit Agents 中。此框架适用于构建语音 AI 代理,可提供完全开源的平台,支持创建服务器端智能代理应用。
”在 Live API 出现之前,没有任何其他 LLM 能够提供可直接提取流式视频的开发者接口。”
—— 首席执行官 Russell d’Sa
点击此处查看演示。该公司构建了一个 AI Copilot,可以一边与您一起浏览互联网,一边实时分享它对所见内容的见解。
Hey Bubba 是一款专为卡车司机打造的以语音为核心的智能 AI 代理应用。通过利用 Live API,它实现了无缝的多语言语音通信,使司机能够完全免触摸操作。其主要功能包括:
Live API 不仅支持司机的互动(通过函数调用和上下文缓存来实现如未来取货查询等功能),还使 Bubba 能够在电话中完成协商和预订。这使得 Hey Bubba 成为面向美国规模最大、最具多样性的职业群体的一款综合性 AI 工具。
Link to Youtube Video (visible only when JS is disabled)
Live API 已准备好为您的下一个实时语音应用提供支持,立即开启您的开发之旅:
祝大家尽情享受构建的乐趣!