秘塔 AI 搜索宣布推出其全新「极速」模型,实现了在单张 H800 GPU 上高达 400 tokens/秒的响应速度,承诺用户在大部分问题上都能体验到 2 秒内完成的「秒回」搜索体验。秘塔 AI 搜索团队表示,实现这一速度提升得益于对 GPU 的 kernel fusion 以及 CPU 的动态编译优化。这些技术改进旨在优化数据处理流程,以期缩短生成答案的时间。

秘塔 AI 搜索宣布推出其全新「极速」模型,实现了在单张 H800 GPU 上高达 400 tokens/秒的响应速度,承诺用户在大部分问题上都能体验到 2 秒内完成的「秒回」搜索体验。秘塔 AI 搜索团队表示,实现这一速度提升得益于对 GPU 的 kernel fusion 以及 CPU 的动态编译优化。这些技术改进旨在优化数据处理流程,以期缩短生成答案的时间。
最新评论
您好,这是一条评论。若需要审核、编辑或删除评论,请访问仪表盘的评论界面。评论者头像来自 Gravatar。