VoxCPM ZipEnhancer语音增强:带噪录音一次洗干净,克隆音色更真实

VoxCPM ZipEnhancer语音增强:带噪录音一次洗干净,克隆音色更真实
VoxCPM ZipEnhancer语音增强带噪录音一次洗干净克隆音色更真实【免费下载链接】VoxCPMVoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning项目地址: https://gitcode.com/GitHub_Trending/vo/VoxCPM参考录音带噪克隆出来的声音也跟着发闷重生成十次都不对——问题多半在源音频不在模型。VoxCPM 内置的 ZipEnhancer 语音增强模块会在合成前先给参考音频降噪多一个参数克隆音色更干净。一条命令2 分钟上手先给结果克隆时加一个--denoise降噪在生成前自动完成。voxcpm clone \ --text 你好这是一段降噪后的克隆测试 \ --reference-audio noisy_recording.wav \ --denoise \ --output clean_clone.wav关键参数就三处--denoise打开 ZipEnhancer 增强--reference-audio是带噪的参考音频不写--no-denoiser时降噪模型默认随主模型一起加载。原理很直白VoxCPM 在构建 prompt cache 之前先把参考/提示音频送进降噪 pipeline处理完写入临时文件参与合成原文件不动、中间文件用后即清。降噪器底层是 ModelScope 的iic/speech_zipenhancer_ans_multiloss_16k_base声学噪声抑制模型具体实现在 src/voxcpm/zipenhancer.py调用入口在 src/voxcpm/core.py 的generate(..., denoiseTrue)。核心能力速览VoxCPM2 整体架构左下角 Reference Audio 入口的参考音频可在合成前经过 ZipEnhancer 增强声学噪声抑制基于 ModelScope 降噪模型去除环境噪音、电流声等干扰输入 16kHz 语音效果最佳。响度归一化增强后自动把音频增益调整到 -20 LUFS避免音量忽大忽小导致合成不稳定normalize_loudnessFalse可关闭。按需加载降噪依赖懒加载加--no-denoiser或load_denoiserFalse可完全不加载降噪模型省显存省下载。多入口统一CLIsrc/voxcpm/cli.py、Python API、Gradio WebUIapp.py都暴露了同一个denoise开关。进阶玩法与适用场景场景一先洗后克隆Python API。噪音重的录音建议单独跑一遍增强听感满意再喂给模型而不是边克隆边试错from voxcpm.zipenhancer import ZipEnhancer enhancer ZipEnhancer() enhancer.enhance(noisy.wav, clean.wav, normalize_loudnessTrue)之后model.generate(text..., reference_wav_pathclean.wav)即可output_path省略时会输出到临时文件。场景二离线或自定义模型路径。默认模型从 ModelScope 拉取内网环境可先手动下载再用--zipenhancer-path或环境变量ZIPENHANCER_MODEL_PATH指向本地目录配合--local-files-only彻底断网运行。场景三WebUI 里勾选增强。python app.py启动后参考音频下方有 Reference audio enhancement中文界面为参考音频降噪增强开关默认开启克隆前自动走一遍 ZipEnhancer适合不想碰命令行的同学。避坑与快速修复 ⚠️加了--denoise却像没生效 → 该开关只在提供--reference-audio/--prompt-audio时触发纯 design 模式没有参考音频可降噪。首次运行卡在下载 → 那是 ZipEnhancer 模型在从 ModelScope 拉取预下载后用--zipenhancer-path指过去即可。增强后声音发闷、失真 → 关响度归一化normalize_loudnessFalse或换一段更干净的源音频别指望降噪救回严重爆音。担心原文件被改写 → 不会。enhance只写新路径或临时文件原录音保持原样。想省显存跑批量合成 → 加--no-denoiser源码里 LoRA 推理脚本scripts/test_voxcpm_lora_infer.py就是这么做的。ZipEnhancer 把源音频不干净这个最常见翻车点压缩成了一个开关克隆效果立竿见影。更多用法与完整 CLI 说明见 README.md 和 README_zh.md。【免费下载链接】VoxCPMVoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning项目地址: https://gitcode.com/GitHub_Trending/vo/VoxCPM创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

最新新闻

日新闻

周新闻

月新闻