如何用 LiveTalking 3 分钟跑通一个实时数字人【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream让数字人对着屏幕实时说话,还要口型对得上、延迟低、能被用户打断——自己拼这套链路要折腾不少事。LiveTalking(实时交互流式数字人引擎)把它封装成一个 Python 服务:喂进文字或音频,它负责 LLM 回复、TTS 合成、口型渲染,再把画面推出去。 项目速览LiveTalking(原 metahuman-stream)是实时交互流式数字人引擎,实现音视频同步对话,已在业内获得广泛商用。核心特性:支持 wav2lip、musetalk、ultralight 等多种口型模型,一个参数切换支持声音克隆、说话被打断、全身视频拼接WebRTC、RTMP、虚拟摄像头三种输出方式多会话并发,可自定义数字人形象提供 HTTP API,任意业务系统都能驱动数字人 3分钟跑起来别急着翻源码,先跑起来再说。环境以 Ubuntu 22.04、Python 3.12、PyTorch 2.9.1、CUDA 12.8 测试通过为准,CUDA 版本不同的按 PyTorch 官网装对应版本:git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream cd metahuman-stream conda create -n livetalking python3.12 conda activate livetalking pip install torch2.9.1 torchvision0.24.1 torchaudio2.9.1 --index-url https://download.pytorch.org/whl/cu128 pip install -r requirements.txtwav2lip256.pth 模型和 wav2lip256_avatar1.tar.gz 形象包从官方网盘下载,地址在 README「快速开始」一节。模型拷进 models/ 目录并重命名为 wav2lip.pth,形象包解压后的文件夹拷到 data/avatars/ 下。启动服务:python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1浏览器打开 http://服务器IP:8010/index.html,点「开始连接」播放数字人视频,文本框里输入文字提交,数字人就会开口说话。服务端记得放行 TCP 8010 与 UDP 1-65536,不然推流推不过来。首页顶部还挂着 /avatar.html(上传视频生成形象)和 /admin.html(实时监控会话)。跑通之后你可能会问:它背后到底怎么把口型对上的?⚙️ 它是怎么工作的整个系统就是一条管道:输入(文字/音频)→ 处理(LLM、TTS、口型推理)→ 输出(WebRTC/RTMP/虚拟摄像头)。从一句话到一段音频API 层通过 /human 接口收文本,分两种模式:echo 直接复读,chat 先调 LLM 生成回复。文本随后交给 TTS 引擎转成音频。TTS 是模块化设计,EdgeTTS、GPT-SoVITS、CosyVoice、腾讯云都能插——registry.py 像个插件市场:实现基类、挂 register 装饰器按名字注册,运行时按名字实例化,换引擎只改一行配置。口型怎么对上音频不直接进模型,先提取声学特征(Mel 频谱),再由口型模型(Wav2Lip、MuseTalk 等)逐帧渲染嘴部画面,后处理把口型区域平滑贴回原始高清视频——数字人因此保住原片画质。底层靠三维哈希编码、区域注意力等机制做高保真面部合成。速度方面,后端日志的 inferfps(GPU 推理帧率)和 finalfps(最终推流帧率)都要 25 才算实时,实测参考:模型显卡推理帧率 (FPS)wav2lip256RTX 306060wav2lip256RTX 3080Ti120musetalkRTX 3080Ti42musetalkRTX 409072每路视频压缩吃 CPU,每路口型推理吃 GPU,并发上限由两者共同决定:不说话看 CPU,同时说话看 GPU。三种推流方式帧出来后三选一:WebRTC 走浏览器低延迟;RTMP 是标准直播协议,可推到直播平台;虚拟摄像头把数字人注册成系统摄像头,任何软件都能当普通相机读。跑通网页输出之后,下一个问题自然是:能不能换一种输出方式? 玩出花样让数字人进会议室启动参数换成 virtualcam 模式:python app.py --transport virtualcam --model wav2lip --avatar_id wav2lip256_avatar1配合 OBS Virtual Camera,数字人直接出现在腾讯会议、Zoom 等客户端的摄像头列表里;浏览器打开 virtualcam.html 发文字、打断播放,快捷键 CtrlEnter 发送、Escape 打断。克隆一个声音config.yaml 里填 REF_FILE(参考音频)和 REF_TEXT(参考文本),TTS 就用这个音色;也可以在 /offer 连接时传 refaudio/reftext 参数,按会话动态指定。用 API 批量干活/human 不局限在网页:业务系统用 HTTP 发文本、配 /record 做录制,文案可以批量转成出镜视频。想换形象,到 /avatar.html 传一段视频,系统自动跑生成任务。 真实场景参考AI 数字人客服:接入企业知识库,用户语音提问、数字人实时回答且支持打断重说,适合高频 FAQ 岗位。24 小时无人直播:LLM 自动生成带货话术,配合动作编排(不说话时播放自定义视频),无人开播也有自然表现。大屏讲解/虚拟形象:用 /human 接口驱动展厅大屏讲解员;或虚拟摄像头模式,让数字人代替真人进线上会议。⚠️ 踩坑提醒pytorch3d 装不上:pip 常失败,下载源码自己编译安装。protobuf 版本过高:pip install protobuf3.20.1 降级即可。RTMP 推流失败:检查 ffmpeg 是否带 libx264,版本信息里没打印出来基本就是版本问题。WebRTC 连上但没画面:大概率端口没放行,TCP 8010 加上 UDP 1-65536 都要开。自训形象不眨眼:训练时提取 AU45 眼部动作单元,把 au.csv 放进 data/ 目录。把仓库克隆下来,照「3分钟跑起来」一节先让数字人开口;接口参数和动作编排的细节,docs/api.md 里有详细说明。【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
