
在上述基本功能的基础上,FunClip有以下特色:
FunClip融合了众多高级语言模型的调用机制,并开放了灵活的prompt设置功能,旨在探索利用大型语言模型进行视频编辑的新方法。
FunClip采用了阿里巴巴开源的顶尖工业级语音识别模型——Paraformer-Large,它在开源中文ASR模型中表现出色,Modelscope的下载次数已超过1300万次,同时能够精确地预测出时间戳。
此外,FunClip还整合了SeACo-Paraformer的热词定制功能,在语音识别过程中可以特别指定实体词、人名等作为热词,从而显著提高识别的准确性。
FunClip还配备了CAM++的说话人识别模型,用户可以利用自动识别出的说话人ID作为编辑的依据,轻松裁剪出特定说话人的部分。
通过Gradio的交互界面,用户可以轻松实现上述功能,安装过程简洁,操作便捷,并且支持在服务器端部署,通过网页进行操作。
FunClip还支持多段视频的自由编辑,并且能够自动生成完整的视频SRT字幕文件以及目标剪辑片段的SRT字幕,简化了整个编辑流程。
而且FunClip还加入了大语言模型智能裁剪功能,集成了qwen系列,gpt系列等模型,提供默认prompt,我们也可以训练自己的prompt,还支持通过FunASR开源的SeACo-Paraformer模型在视频剪辑中进一步支持热词定制化。图片
安装🔨图片
安装python环境FunClip的运行仅依赖python环境,所以我们只需要搭建好python环境就OK了。# 克隆funclip仓库git clone https://github.com/alibaba-damo-academy/FunClip.gitcd FunClip# 安装相关Python依赖pip install -r ./requirements.txtUbuntu图片
安装 imagemagick希望使用自动生成字幕的视频裁剪功能,那么需要安装imagemagick:
apt-get -y update && apt-get -y install ffmpeg imagemagicksed -i 's/none/read,write/g' /etc/ImageMagick-6/policy.xmlMacOSbrew install imagemagicksed -i 's/none/read,write/g' /usr/local/Cellar/imagemagick/7.1.1-8_1/etc/ImageMagick-7/policy.xmlWindows需要从下面的地址下载并安装imagemagick:
https://imagemagick.org/script/download.php#windows使用FunClip首先使用下面的命令启动FunClip:
python funclip/launch.py随后在浏览器中访问localhost:7860 就能进入首页。
然后按如下步骤即可进行视频剪辑:
上传你的视频(或使用下方的视频用例)
设置热词,设置文件输出路径(保存识别结果、视频等)
点击识别按钮获取识别结果,或点击识别+区分说话人在语音识别基础上识别说话人ID
将识别结果中的选段复制到对应位置,或者将说话人ID输入到对应为止
配置剪辑参数,偏移量与字幕设置等
点击“裁剪”或“裁剪+字幕”按钮
图片
使用大语言模型裁剪请参考如下教程:图片
FunClip 在魔塔社区部署了在线服务,可以通过下面的地址体验:https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary我们可以上传自己的视频或者音频,也可以使用 FunClip 提供的demo:
图片
更多内容,可以到github了解:https://github.com/alibaba-damo-academy/FunClip总的来说,FunClip是一款完全开源、本地部署的自动化视频剪辑工具,可以帮助我们更加轻松地剪辑视频,记录我们的美好生活。 本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报。