实时视频风格迁移指南让视频通话画面秒变动漫风格【免费下载链接】Vision-AgentsOpen Vision Agents by Stream. Build voice and vision agents quickly with any model or video provider. Uses Streams edge network for ultra-low latency.项目地址: https://gitcode.com/GitHub_Trending/vi/Vision-Agents想给视频通话加一个动漫滤镜常规做法是先录像、导出、再离线渲染效果出来时对话早结束了。Vision-Agents 的实时视频风格迁移把处理粒度压到帧级摄像头画面刚产生重绘后的帧就同步发出全程不打断对话效果直接落在对方屏幕里。实时视频风格迁移和离线渲染差在哪离线风格化是一条导出素材 → 送渲染服务 → 等结果的流水线一段视频可能要等几分钟到几小时做后期剪辑够用用在直播交互上就彻底不可行。实时带来的差别在于风格不再是事后加到成片上的效果而是流里的一部分。对方看到的不是十分钟前的 Ghibli 版本而是当前这一秒的动画化画面。Vision-Agents 依托 Stream 的边缘网络部署在全球节点上的低延迟传输网络维持音视频延迟在 30ms 以内重绘后的画面和声音几乎同时到达观感上就像对面那个人本来就以这种风格存在。Decart 插件如何工作本地画面到风格化帧的链路这条链路由 Vision-Agents 的 Decart 插件承载核心组件是RestylingProcessor。一句话讲清它的帧流路径捕获本地视频轨道 → 通过 WebSocket一种可以双向持续传数据的长连接适合逐帧推送把帧发到 Decart 的 Realtime API → 服务端模型默认lucy_2_rt逐帧重绘 → 返回的风格化帧被封装成一条新的视频轨道重新发布到通话里。类比一下相当于给通话接了一个现场画室你的原始画面持续喂进去画家沿同一条连接实时把成品画递回来。一条命令装依赖一段代码跑通实时风格迁移需要准备三样东西装依赖在自己的项目里执行uv add vision-agents[decart]直接跑仓库示例的话在示例目录下uv sync即可。配密钥在.env里写入DECART_API_KEYDecart 模型服务以及 Stream 的STREAM_API_KEY/STREAM_API_SECRET低延迟视频传输用参考仓库根目录的.env.example。初始化 Agent把 processor 挂到Agent的processors参数上即可。最短可运行形态processor decart.RestylingProcessor( initial_promptStudio Ghibli animation style, modellucy_2_rt, ) agent Agent( edgegetstream.Edge(), agent_userUser(nameStyled AI), instructionsBe helpful, llmgemini.Realtime(), processors[processor], )构造函数还暴露了几个常用参数输出分辨率width/height默认 1280x720mirror面向前置摄像头initial_image则接受参考图本地路径、URL 或 base64 都行——这就是 Lucy 一类模型做虚拟换装的入口。换一行 prompt 换一种画风动态换风格风格不必在初始化时写死。给 LLM驱动对话的大语言模型注册一个工具函数它就能在对话中动态改风格llm.register_function(descriptionChange the video style prompt) async def change_style(prompt: str) - str: await processor.update_prompt(prompt) return fStyle changed to: {prompt}比如做互动叙事时剧情从阳光午后推进到一个黑暗的暴风雨夜晚模型会自行调用change_style(a dark and stormy night)画面氛围几秒内跟着切换。若要同时更换风格描述和参考图改用update_state(prompt..., image...)做原子更新——仓库示例 decart_example.py 就基于它做虚拟衣橱用户在通话里说换一件超级英雄服装prompt 与参考图一起切换画面里的人立刻换装完成。实时视频风格迁移适合哪些场景适合给视频会议或社交产品加视频转动漫滤镜的团队适合直播、互动剧情这类需要随内容切换视觉风格的场景也适合用参考图定义人物形象的虚拟试穿与虚拟形象项目。共同点是处理的对象不是一段上传的素材而是一股不断产生的帧流离线工具链在这里天然不够用。完整可运行示例见 plugins/decart/example/decart_example.py安装方式与参数说明在 plugins/decart/README.md。把两个密钥准备好第一通重绘过的视频通话一个下午就能搭完。【免费下载链接】Vision-AgentsOpen Vision Agents by Stream. Build voice and vision agents quickly with any model or video provider. Uses Streams edge network for ultra-low latency.项目地址: https://gitcode.com/GitHub_Trending/vi/Vision-Agents创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
