┓ FFmpeg滤镜开发 - ⼈人脸识别 刘歧 OnVideo 联合创始⼈人 个⼈人介绍 • 现任职于OnVideo • 业余参与维护与开发 FFmpeg • ⾳音视频流媒体爱好者 内容⼤大纲 技术选择 集成操作 后续考虑 操作总结 技术选择 技术选择 集成操作 后续考虑 操作总结 契机 ➤ 项⽬目需要 ➤ 视频图像识别技术⽕火热 ➤ 好奇视频图像识别实现 ➤ 社区中很多⼈人对相关技术有兴趣 FaceUnity ➤ Face++ ➤ 涂图 ➤ 视诀 ➤ …… 技术选择 - 选择困难 ➤ 众多选择，各有优劣势 ➤ License 规避处理理 ➤ 基于 FFmpeg 原有的 OCV 滤镜处理理 ➤ 基于 FFmpeg 的 Frei0r (GPL v2) ➤ ⾃自⼰己封装⼀一个so Switch接⼝口 - 可适配 ➤ init 初始化各种参数 ➤ object_detect ➤ get_rect 获得识别到的对象的画⾯面范围 ➤ finit 结束使⽤用 集成操作 技术选择 集成操作 后续考虑 操作总结 集成操作 - AVFilter ➤ 参考 frei0r 滤镜 集成操作 - AVFilter ➤ AVFilter操作接⼝口 filter_frame ➤ 接⼝口操作对象 AVFrame *in ➤ 接⼝口输出对象 AVFrame *out 集成操作

18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 22 混合器 23 元数据 24 协议 25 设备选项 26 输入设备 27 输出设备 28 重采样(resampler)选项 29 放缩选项 30 滤镜入门 31 graph2dot - 1 - 本文档使用 书栈(BookStack.CN) 构建 32 滤镜链图描述 33 时间线编辑 时间线编辑 34 音频滤镜 35 音频源 36 音频槽 37 视频滤镜 38 视频源 39 视频槽 40 多媒体滤镜 41 多媒体源 42 参考 43 开发人员 - 2 - 本文档使用 书栈(BookStack.CN) 构建 致谢 当前文档 《ffmpeg 翻译文档(ffmpeg中文文档)》 由 进击的皇虫 使用 书栈 (BookStack.CN) 进行构建，生成于 2018-05-26。 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 22 混合器 23 元数据 24 协议 25 设备选项 26 输入设备 27 输出设备 28 重采样(resampler)选项 29 放缩选项 ffmpeg 翻译文档 (ffmpeg-all 包含重要组 件） README - 4 - 本文档使用 书栈(BookStack.CN) 构建 30 滤镜入门 31

保存、⾃动保存、备份⽂件 保存 ⾃动保存 备份⽂件 模板 欧美漫画模板 设计模板 单反相机模板 纹理模板 图层和蒙版 图层的管理 图层类型 Krita 的图层合成顺序 继承透明度和剪贴图层 蒙版和滤镜 选区 创建选区 编辑选区 移除选区 选区显⽰模式 全局选区蒙版 (绘制选区) 按照图层透明度建⽴选区 像素选区和⽮量选区 选区⼯具的常⽤配套快捷键 Python 脚本编程 安装和管理 Python 知识点的 ⽅⽅⾯⾯。 ⽬录 基础概念 栅格图像和⽮量图形 图像、视图和窗⼝ 图像 视图 ⼯具⾯板 窗⼝ 画布 图层和合成 ⼯具 笔刷引擎 ⾊彩 透明度 混⾊模式 蒙版 滤镜 滤镜笔刷引擎 滤镜图层、滤镜蒙版和图层样式 变形 扭曲笔刷引擎 变形蒙版 动画制作 辅助尺、⽹格和导线 客制化 栅格图像和⽮量图形 Krita 是⼀款栅格图像处理软件，但它也具备⼀定的⽮量图形编辑 功 这种图层会调⽤⼀个外部图像⽂件作为其内容。适⽤于类似徽 标等需要频繁独⽴于图像本⾝更新的视觉元素。 填充图层 这种图层⽤来填充 Krita 能够⾃⾏⽣成的内容，如颜⾊或图案 等。 滤镜图层 这种图层可以⽤来应⽤部分滤镜，它的滤镜效果会影响位于它 下⾯的所有图层。 你可以⽤ ⼯具 来操作图层⾥⾯的内容。 ⼯具 你可以使⽤⼯具来对图像的数据进⾏操作。最常⽤的⼯具当然是⼿ 绘笔刷，Krita 也会在启动之后默认选中它。Krita

保存、自动保存、备份文件 保存 自动保存 备份文件 模板 动画模板 欧美漫画模板 设计模板 单反相机模板 纹理模板 图层和蒙版 图层的管理 图层类型 Krita 的图层合成顺序 继承透明度和剪贴图层 蒙版和滤镜 选区 创建选区 编辑选区 移除选区 选区显示模式 全局选区蒙版 (绘制选区) 按照图层透明度建立选区 像素选区和矢量选区 选区工具的常用配套快捷键 Python 脚本编程 安装和管理 Python 知识点的 方方面面。 目录 基础概念 栅格图像和矢量图形 图像、视图和窗口 图像 视图 工具面板 窗口 画布 图层和合成 工具 笔刷引擎 色彩 透明度 混合模式 蒙版 滤镜 滤镜笔刷引擎 滤镜图层、滤镜蒙版和图层样式 变形 变形笔刷引擎 变形蒙版 动画制作 辅助尺、网格和导线 客制化 栅格图像和矢量图形 Krita 是一款栅格图像处理软件，但它也具备一定的矢量图形编辑 这种图层会调用一个外部图像文件作为其内容。适用于类似徽 标等需要频繁独立于图像本身更新的视觉元素。 填充图层 这种图层用来填充 Krita 能够自行生成的内容，如颜色或图案 等。 滤镜图层 这种图层可以用来应用部分滤镜，它的滤镜效果会影响位于它 下面的所有图层。 你可以用 工具 来操作图层里面的内容。 工具 你可以使用工具来对图像的数据进行操作。最常用的工具当然是手 绘笔刷，Krita 也会在启动之后默认选中它。Krita

节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同步和许多 其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙，雕刻，多 个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更好的多重笔刷绘 制、 流体粒⼦、 代理对象、 序列编辑器的重写，和后期 UV 贴图绘画。 2.44 -- 2007年5⽉: ⼤新闻，除了两个新的修改器和重新启动的 64 简化笔刷(Simplify) 遮罩 多精度置换橡⽪擦 Multires Displacement Smear 绘制⾯组 ⽅形遮罩 套索遮罩 线条遮罩 框选⾯组 套索⾯组 框选修剪 套索修剪 线投影 ⽹格滤镜 布料滤镜 编辑⾯组 变换 ⼯具设置 笔刷 笔刷设置 动态拓扑 重构⽹格 对称 选项 ⾃适应雕刻 动态拓扑 Multi-Resolution Modifier 多级精度修改器 编辑 雕刻 遮罩 lasso select. 线投影 Flattens the geometry along a drawn line. ⽹格滤镜 Applies a deformation to all vertices in the mesh at the same time. 布料滤镜 Applies a cloth simulation to all vertices in the mesh at the

节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同 步和许多其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙， 雕刻，多个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更 好的多重笔刷绘制、 流体粒⼦、 代理对象、 序列编辑器的重 写，和后期 UV 贴图绘画。 2.44 -- 2007年5⽉: ⼤新闻，除了两个新的修改器和重新启动的 64 used to estimate the values of pixels at non-integer coordinates within the image. ⾃动: 基于缩放系数⾃动选择滤镜。 ⽆缩放，⽆旋转，整数位置：最近 Scaling up by more than 2x: Cubic Mitchell Scaling down by more than 2x: Box 否则：双线性 禁⽤后，仅导出⽤户修改过的键位映射和分类。另外，插件可能 会为各个功能注册键位映射，不过，这些键位映射不会被导出， 除⾮⽤户做过修改。导出的⽂件可以当做是 键位映射变化，⽽⾮ 全键位映射导出。 启⽤后，将写⼊全部键位映射。 过滤 滤镜类型 名称: 按运⾏的操作名称查找键位映射项。 按键绑定: ⽤激活键查找键位映射项。 Hint ⽐如，你可以使⽤ Ctrl Shift C 查找使⽤所有这些键的键位映射 项。 搜索 要搜索的⽂本（留空以禁⽤）。

节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同步和许 多其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙，雕刻， 多个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更好的多重笔刷绘 制、 流体粒⼦、 代理对象、 序列编辑器的重写，和后期 UV 贴图绘画。 2.44 -- 2007年5⽉: ⼤新闻，除了两个新的修改器和重新启动的 64 显⽰，但 当它们在⼤屏幕电视上显⽰时就多半不是这样了。 这模式有益于： 如果你的照⽚看起来⾮常喜怒⽆常或饱和度下降，你可能想看看U / V图。您很可能 会看到所有像素在原点构建⼈群。如果使⽤ "滤镜" ⾯板中的 饱和度 滑块或任何更改 颜⾊的修改器添加饱和度，则可以在 U/V 图中看到颜⾊是否失真。 如果你进⾏⼿动匹配颜⾊，则能匹配到你在不同通道显⽰器看到的⾓度。 ⽰例图像。 ⾊度⽮量预览⽰例。 。另外，插件可能会为 各个功能注册键位映射，不过，这些键位映射不会被导出，除⾮⽤户 做过修改。导出的⽂件可以当做是 键位映射变化 ，⽽⾮全键位映射导 出。 启⽤后，将写⼊全部键位映射。 过滤 滤镜类型 名称 按运⾏的操作名称查找键位映射项。 按键绑定 ⽤激活键查找键位映射项。 Hint ⽐如，你可以使⽤ Ctrl Shift C 查找使⽤所有这些键的键位映射项。 查找 要搜索的⽂本（留空以禁⽤）。

节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同步和许多 其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙，雕刻，多 个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更好的多重笔刷绘 制、 流体粒⼦、 代理对象、 序列编辑器的重写，和后期 UV 贴图绘画。 2.44 -- 2007年5⽉: ⼤新闻，除了两个新的修改器和重新启动的 64 机显⽰，但当它们在⼤屏幕电视上显⽰时就多半不是这样了。 这模式有益于： 如果你的照⽚看起来⾮常喜怒⽆常或饱和度下降，你可能想看看U / V 图。您很可能会看到所有像素在原点构建⼈群。如果使⽤ "滤镜" ⾯板中 的 饱和度 滑块或任何更改颜⾊的修改器添加饱和度，则可以在 U/V 图中 看到颜⾊是否失真。 如果你进⾏⼿动匹配颜⾊，则能匹配到你在不同通道显⽰器看到的⾓度。 ⽰例图像。 ⾊度⽮量预览⽰例。 禁⽤后，仅导出⽤户修改过的键位映射和分类。另外，插件可能会为各 个功能注册键位映射，不过，这些键位映射不会被导出，除⾮⽤户做过 修改。导出的⽂件可以当做是 键位映射变化 ，⽽⾮全键位映射导出。 启⽤后，将写⼊全部键位映射。 过滤 滤镜类型 名称 按运⾏的操作名称查找键位映射项。 按键绑定 ⽤激活键查找键位映射项。 Hint ⽐如，你可以使⽤ Ctrl Shift C 查找使⽤所有这些键的键位映射项。 查找 要搜索的⽂本（留空以禁⽤）。

渲染、⼜型同 步和许多其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- February 2007: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙， 雕刻，多个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更 好的多重笔刷绘制、 流体粒⼦、 代理对象、 序列编辑器的重 写，和后期 UV 贴图绘画。 2.44 -- 2007年5⽉: ⼤新闻，除了两个新的修改器和重新启动的 64 。另外，插件可能 会为各个功能注册键位映射，不过，这些键位映射不会被导出， 除⾮⽤户做过修改。导出的⽂件可以当做是 键位映射变化 ，⽽⾮ 全键位映射导出。 启⽤后，将写⼊全部键位映射。 过滤 滤镜类型 名称: 按运⾏的操作名称查找键位映射项。 按键绑定: ⽤激活键查找键位映射项。 Hint ⽐如，你可以使⽤ Ctrl Shift C 查找使⽤所有这些键的键位映射 项。 查找 要搜索的⽂本（留空以禁⽤）。 报告本页⾯的问题 雕刻 简介 通⽤ 笔刷 可见性、遮罩 & ⾯组 过滤器 变换 绘制 多物体下⼯作 ⾃适应分辨率 布料雕刻 ⼯具栏 添加/减去笔刷 对⽐度笔刷 变换笔刷 常规笔刷 绘制笔刷 ⼿势⼯具 滤镜⼯具 ⼀键⼯具 常规⼯具 ⼯具 ⾃由线 绘制锐边 黏塑 黏条 指推 层 膨胀 球形笔刷（Blob） 折痕 平滑化 平化 填充 刮削 多平⾯刮削 夹捏 抓起 弹性变形 蛇形钩 拇指 姿态 推移 旋转

节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同步和许多 其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙，雕刻，多 个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更好的多重笔刷绘 制、 流体粒⼦、 代理对象、 序列编辑器的重写，和后期 UV 贴图绘画。 2.44 -- 2007年5⽉: ⼤新闻，除了两个新的修改器和重新启动的 64 禁⽤后，仅导出⽤户修改过的键位映射和分类。另外，插件可能会为各 个功能注册键位映射，不过，这些键位映射不会被导出，除⾮⽤户做过 修改。导出的⽂件可以当做是 键位映射变化 ，⽽⾮全键位映射导出。 启⽤后，将写⼊整个密钥映射。 过滤 滤镜类型 名称 按运⾏的操作名称查找键位映射项。 按键绑定 ⽤激活键查找键位映射项。 Hint ⽐如，你可以使⽤ Ctrl Shift C 查找使⽤所有这些键的键位映射项。 查找 要搜索的⽂本(留空以禁⽤)。 滑动松弛(拓扑) 边界 布料 简化笔刷(Simplify) 遮罩 多精度置换橡⽪擦 多精度置换涂抹 绘制⾯组 框选遮罩 套索遮罩 线条遮罩 框选⾯组 套索⾯组 框选修剪 套索修剪 线投影 ⽹格滤镜 布料滤镜 编辑⾯组 变换 ⼯具设置 笔刷 笔刷设置 动态拓扑 重构⽹格 对称 选项 ⾃适应雕刻 动态拓扑 Multi-Resolution Modifier 多级精度修改器 编辑 雕刻 遮罩