 

复旦携手腾讯推出说话人视频生成工具 DICE-Talk

2025-05-18 分类：AI快讯阅读(44) 评论(0) 赞(0)

由复旦大学与腾讯联合研发的 DICE-Talk 说话人视频生成工具于近日正式发布，以其卓越的情感表达能力和逼真的人物表现引发行业热议。DICE-Talk 的核心创新在于其身份-情感分离处理机制。通过将说话人的身份特征（如面部细节、肤色）与情感表达(表情、语气)解耦，DICE-Talk 确保在情感变化时人物外观保持高度一致，避免了传统生成工具中常见的「表情跳变」问题。

赞(0)  打赏

版权声明：本文采用知识共享署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称：《复旦携手腾讯推出说话人视频生成工具 DICE-Talk》
文章链接：https://www.agidt.com/?p=209
本站资源仅供个人学习交流，请于下载后24小时内删除，不允许用于商业用途，否则法律问题自行承担。

分享到

Banny 

代码之子，广告之舵；市场之巅，历尽阡陌。昔日的代码园丁，今朝的 AI 智能匠，愿与你，共创辉煌，书写未来新篇章。欢迎+V：86458694；个人微网：https://www.npie.net/

评论抢沙发

作者介绍

Banny

191文章总数
9983阅读总数
5点赞总数

阅读作者的全部文章

快讯

Dify 1.5.0：变量监视器发布，让工作流调试所见即所得
在构建 AI 应用时，一条生产级工作流往往是一条复杂的逻辑链：它可能始于 RAG 的知识检索，继而调用工具获取实时数据，再通过一或多个 LLM 节点进行推理，最终由代码节点整合输出。

这个过程很强大，但也让调试变得极具挑战。当最终结果未达预期时，问题究竟出在哪一环？是 RAG 检索的文档不相关？是工具返回了异常数据？还是 LLM 的推理出现了偏差？

在以往，我们只能在工作流的入口输入，在出口等待一个最终结果，中间的执行过程对我们而言是不透明的。定位问题严重依赖于事后的日志分析和反复的全局重试，这个过程充满了猜测与等待，既低效又充满不确定性。

我们相信，开发者需要的是一个高度透明、可控的构建环境。因此，dify 1.5.0 带来了一套全新的工作流构建与调试机制，旨在将 AI 应用构建升级为“实时迭代”的体验。

痛点回顾

虽然 Dify 过去就提供了单步执行功能，允许你单独运行和测试某个节点，但这种调试方式存在着明显的局限性：
- 无法保存节点运行结果： 每次单步调试后，节点的运行结果不会被保存，退出节点后所有信息都会丢失；
- 变量重复输入： 每次调试都需要手动输入该节点所需的所有变量，无法复用已经运行好的上游节点结果；
- 缺乏全局视图： 需要在日志中逐个查看各个节点的输出，无法获得整数据状态概览；
- 调试成本高： 一旦发现问题，往往需要重新运行整条工作流，包括那些耗时或昂贵的 API 调用。
当整个工作流的输出效果不理想时，你需要像侦探一样在日志中翻找，逐个检查每个节点的输出，试图找出到底是哪个环节出了问题。这种被动式的问题排查方式，不仅效率低下，更缺乏直观性和确定性。

功能升级

在 Dify v.1.5.0 中，我们力求解决这个问题，因此打造了一个所见即所得的开发环境：

1. 状态暂存与逐步执行机制

上次运行（Last Run）： 无论你是单步运行，还是完整执行了整个工作流，每个节点都会自动保存其最后一次成功运行的数据。它包含了该节点当时接收的输入、输出以及元数据。它就像是每个节点的“行车记录仪”，准确记录在 draft 版本中的单步调试或全量运行结果，为你提供了不可篡改的、可供随时回溯的“事实依据”。

变量复用： 基于这套状态暂存机制，我们实现了真正的逐步执行能力。只要变量监视器中存在某个节点所需的变量，你就可以直接单步运行该节点，系统会自动获取依赖数据并在执行后更新变量监视器。这意味着你可以像在 Jupyter Notebook 中执行单个 Cell 一样，随时运行工作流中的任意节点，所有的数据依赖关系都由工作流处理。

2. 变量监视器

我们在画布底部新增了“变量监视器”面板。

https://docs.dify.ai/zh-hans/guides/workflow/debug-and-preview/variable-inspect

这是一个全局的、实时的状态监控中心，它集中展示了当前工作流中所有已生成的变量及其内容。你再也无需在节点的输入输出中来回翻找，所有数据状态一目了然。更重要的是，你可以在此直接编辑大多数变量的值，从而在不重新运行昂贵或耗时的上游节点（如复杂的 LLM 调用或 API 请求）的情况下，模拟不同数据对下游节点的影响。

这两大机制相互配合，将工作流的开发模式转变为更透明化的迭代。每个节点的状态都被完整保存和可视化，每次调试都能精准定位和快速验证，让复杂的 AI 应用开发变得像搭积木一样直观和可控。

实战场景：构建并调试“AI 投研助手”

让我们通过一个真实的例子，感受这种新模式的威力。

假设我们要构建一个 AI 投研助手，其工作流结构如下：

开始 → 知识检索节点获取知识库内的财报 & Exa 网页抓取助手获取互联网上的信息（并行） → 模板转换节点合并内容 → LLM 节点处理信息 → 最终输出

为了演示调试能力，我们模拟一个新手可能遇到的场景：由于对知识检索节点的输出格式不够熟悉，在模板转换节点中未能正确输入知识库的内容。虽然模板转换节点能够正常运行，但由于缺少了知识库的关键信息，导致 LLM 节点接收到的输入不完整，最终输出的内容质量不够理想。

过往调试流程

在过去，如果发现内容质量不够理想，你需要经历一个繁琐的排查过程：

问题定位阶段： 进入历史记录界面找到运行记录，逐个点击节点查看输出内容，最终发现模板转换节点的输出缺少了知识库内容（但节点本身运行正常）。

修复验证阶段： 回到工作流编辑页面，修改模板转换节点代码后，面临两个都不理想的选择：
- 重新运行整个工作流，包括耗时的知识检索节点和网页抓取节点；
- 单步调试 LLM 节点，但需要手动输入修复后的模板转换节点输出内容。
重复循环： 如果效果仍不满意，整个流程需要反复进行。

这个过程不仅浪费时间，还会产生不必要的 API 调用成本，特别是当你需要多轮调试时。

全新调试流程

现在，你可以这样做：

1. 运行完整工作流：一键运行整条工作流，所有节点的执行结果会自动保存到变量监视器中。变量监视器面板清晰展示了每个节点的输出状态；

2. 快速定位问题：在变量监视器中，你可以直观地看到 Exa 网页搜索节点正常工作，但模板转换节点的输出中缺少了知识库的内容；

3. 精准修复配置：发现问题后，直接修复模板转换节点的代码，确保它能正确整合知识库内容。

4. 单步验证：
- 单步运行模板转换节点：模板转换节点将自动从变量监视器获取上游的知识库和网页数据，且此节点的新输出可以自动更新到变量监视器内；
- 单步运行 LLM 节点：LLM 节点将自动使用更新后的模板转换节点的完整输出作为其新输入。你可以立即看到优化效果，无需重跑上游节点。
5. 迭代优化：如果 LLM 节点的输出还需要进一步优化，你还可以继续调整 LLM 节点的 Prompt 设计，让其更加全面。每次修改后，只需单步运行相关节点，几秒钟就能看到效果。

效率对比

传统流程： 发现问题 → 查找历史 → 手动输入变量 → 单步调试 → 重新配置 → 重跑工作流 → 验证效果（可能需要多轮循环）

交互式流程： 发现问题 → 查看变量检查器 → 修复节点或直接编辑变量 → 单步运行 → 立即看到效果

时间从可能的数十分钟缩短到几分钟，成本和效率提升显而易见。

总结

Dify 1.5.0 的这项核心更致力于为日益复杂的 AI 应用开发流程注入更多的确定性与可观测性。我们希望通过提供一个实时交互、状态透明的构建环境，帮助开发者更快地验证想法、更精准地定位问题、更自信地构建和交付强大而可靠的生产级 AI 应用。
1天前
Dify 1.5.0 上线：这次调试功能，真的省了我一半时间
昨天 dify 正式发布了 1.5.0 版本，带来了一个非常贴心的更新：流程调试增强。对于日常用工作流做应用开发的人来说，这是一次真正的效率升级。

🧪 全新的调试能力：三大核心功能

Dify 1.5.0 的调试体验，主要体现在以下三点改进：
- • 持久化调试变量
  每个节点的输入输出数据，系统都会自动保存。以后调试流程时，哪怕中断也不用从头来过，流程跑过的地方都能复用之前的结果。
- • 变量监视面板
  在画布底部新增了“变量监视”区域，可以集中查看每个节点当前的变量值，还能直接编辑。对后续节点的影响一目了然。
- • 节点独立调试 + 自动变量注入
  每个节点都可以单独运行，系统会自动填充依赖的上下文变量，不需要我们手动去凑输入数据，类似 Jupyter Notebook 的体验，非常省心。
其他升级功能，看下chatgpt的总结吧

看看以前调试有多麻烦？

以往我们调试流程的时候，只能在“预览”模式下查看流程执行结果。如下图：

如果刷新或者回退，只能看到最终结果，看不到中间过程，一不小心就得反复跑流程，调好几遍。

而且每次要调某个节点时，变量还得自己准备，尤其是遇到嵌套结构的变量，一不小心就整理错了。

新版本调试体验实测

升级后，每个节点都会保存最近一次运行的结果：

点击流程对应的节点
- • 点击1，可以看到上次执行的过程
- • 点击2调试当前节点，直接利用当前节点的历史输入进行调试，我们可以观察3的位置对应的时间变化吐槽一下：目前如果节点的输入数据不对，暂时不能直接修改再调试，只能用原始数据。对测试边界场景不太友好。
变量缓存也能看、能改了

刚吐槽完，马上就打脸了，升级后，在画布底部新增了一个“查看缓存”按钮，点击后可以看到当前所有变量的快照：

在这里我们可以：
- • 查看所有节点的输出变量
- • 直接修改变量值进行调试
我把变量做个修改，大家可以对比看下
- • 上次运行的结果是1990年的
- • 我把缓存里的query改了以后，变成了1992
- • 我点击1调试
上次运行的输入已经变成了1992年。说明调试的时候，都是取的缓存里的内容。

通过上面的操作，意味着调试现在可以变成“模块化”了，每一部分都能单独测试、验证。

总结：真正的开发者体验提升
- • 对我来说，之前调一个流程可能要跑三五遍（三五遍算少的），还要复制变量、格式化数据，耗时又容易出错；
- • 现在基本能做到“出错即定位、修改即重试”，工作流开发体验提升非常明显；
- • 除了调试，1.5.0 还增加了不少实用的小功能（MatrixOne、SendGrid、Notion分页支持等），大家可以在设置页面自行探索。
最后说一句

Dify 这波更新让我明显感觉到它从“可用”向“好用”演进。开发者不需要为了调试浪费时间、重复造数据，这才是真正为工作流开发服务的产品思维。

如果你也在用 Dify 做 AI 应用，不妨升级试试看。
1天前
Dify发布V1.5.0版本，变量监视与状态缓存太实用了

最近，dify更新的频率是真的高，上周刚更新完V1.4.3，这次直接到V1.5.0了。

看一下都更新了什么吧！

🏗️ 主要特性：增强的工作流调试

我们彻底重建了工作流调试工具！通过改进的界面、持久化的调试变量以及增强的仪表盘集成，您可以毫不费力地可视化工作流并进行故障排查。现在可以直接从仪表盘跟踪工作流的运行情况，花更少的时间在调试上，将更多时间用于创造卓越的工作流。

✨新功能与改进

1、拖放式 DSL：将 DSL 文件直接拖放到浏览器中，轻松创建应用程序。

2、增强的默认模板：现在包含 sys.files，以支持功能更强大的 Web 应用程序。

3、隐藏表单属性：提供更大的 UI 灵活性和控制力。

4、MatrixOne 集成：通过集成的 MatrixOne 向量数据库（VDB）实现更高级的数据策略。

5、Firecrawl 深度搜索：通过增强的搜索端点，实现更丰富的内容发现。

6、Notion 分页：更轻松地浏览从 Notion 提取的数据。

7、SendGrid 集成：实现无缝、可靠的邮件发送。

🛠️ 优化与修复

1、智能登录重定向：通过自动登录重定向，实现智能的用户导航。

2、环境同步：导入时自动同步环境和会话变量。

3、API 用户体验改进：增强了加载状态、图标支持和渲染修复。

4、响应式图表：通过更平滑、响应更迅速的图表，改善了分析交互体验。

5、稳定的 Markdown 处理：通过改进的 Markdown 处理机制，防止崩溃并增强数据完整性。

6、应用程序图标选择器：通过稳定的高度和可折叠部分，使界面更整洁、更有条理。

7、即时数据集洞察：直接从您的工作流中快速访问基本的数据集信息。

测试

这次更新的功能真的太实用了，我就用以前数据可视化的例子，给大家展示一下两个最重要的功能：

1. 状态暂存与逐步执行机制

上次运行（Last Run）： 点击单个节点，可以看到多了一个上次运行的标签。如果是以前，想单节点测试，还得构造或去工作流里复制输入的数据，现在在这里一目了然，无论你是单步运行，还是完整执行了整个工作流，每个节点都会自动保存其最后一次成功运行的数据。

变量复用： 直接点击节点右上角的运行按钮就可以直接基于上次的结果进行测试了。

2. 变量监视器

就用我之前的数据可视化的案例，执行完成后可以看到下方明显多了一个查看缓存的按钮。

点击查看缓存，可以看到所有节点的变量都在此显示

我可以修改参数提取器的输出，比如改为各导演票房占比，然后运行下一个节点rookie_text2data，自然语言转SQL，发现输入参数已经同步更改了，是不是很方便。

这次更新的功能大大减少了调试时间，对开发者太友好了，点个赞！

1天前
Gemini CLI 开源发布，免费提供 AI 编程助手挑战 Cursor

刚刚，谷歌最新发布开源 AI 智能体 Gemini CLI，这款开源智能体将 Gemini 的能力直接接入终端，能够提供轻量化的 Gemini 访问通道。Gemini CLI 支持通过自然语言实现代码编写、问题调试及工作流优化，还可以作为多功能本地工具，完成内容生成、问题解决、深度研究及任务管理等各类任务。地址

2天前
HeyGen AI 视频 Agent 一键生成爆款视频

HeyGen 推出 AI 视频 Agent，通过简单素材上传，自动完成从故事规划、脚本编写到镜头选择的整个视频制作流程，几分钟内即可获得可直接发布的专业级视频内容。支持多种视频类型，操作流程简便，无需专业视频编辑技能，智能化提示引导用户轻松上传素材并设定创作需求，AI 完成从脚本到成片的全部工作。

2天前
可灵 AI 推出「视频音效」功能，实现「所见即所听」沉浸体验

可灵 AI 全系列视频模型上线「视频音效」功能，用户生成视频时可同步生成立体声音效，实现「所见即所听」。升级的「音效生成」功能新增「视频生音效」模块，基于自研多模态视频生音效模型 Kling-Foley，实现音画帧级对齐。该功能已向所有用户限时免费开放。

2天前