判断苹果的高级视频质量工具

A苹果推出了高级视频质量工具(AVQT) 在2021年全球开发者大会上. 以下是我了解到的概况.

在我的帖子里流媒体学习中心网站, 我要指出的是，AVQT既是一个质量指标, 比如VMAF和SSIMPLUS, 和一个工具来产生这个分数, 比如莫斯科国立大学视频质量测量工具(VQMT)或SSIMPLUS VOD监视器. 作为一个工具，AVQT是免费的，只在mac上运行，并且是命令行驱动的. 生成AVQT评分, 它将编码文件与源文件进行比较，并以JSON或CSV格式报告分数. 您无法在工具中可视化框架或分数.

该工具具有许多在第一代质量工具中不常见的特性. 例如，它可以将低分辨率视频与源视频进行比较，而无需预缩放. 它可以在不同的显示分辨率下测量质量, 因此，您可以测量在640x360窗口中播放的640x360视频的质量, 以及全屏. 您还可以选择观看距离和池化方式.

AVQT支持杜比视界5，如果源和参考视频是这种格式, 而且速度非常快. 在基于8核m1的Mac mini上，处理一个2分钟的文件需要15秒. 在8核Intel至强CPU E3-1505M Windows计算机上, 在同一个文件上计算VMAF花费了8:40, 大约长35倍.

奇怪的是, 然而, 该工具以每个片段为基础计算分数, 档案上没有整体记录. 您可以将分段大小设置为60秒，并获得单个分数, 但是如果你测量的文件超过60秒, 你会得到一段一段的结果
如果需要，你必须将其转换为总分.

我向苹果公司询问了这个问题，得到的答复是:“我们同意报告整个视频的总体得分是有价值的. 然而,
这是相当具有挑战性的，因为它需要长时间视频的主观数据来设计和评估聚合模型. 聚合模型需要对人类视觉系统中与记忆相关的几个方面进行数学建模，比如第一印象和最后印象, 突然的质量下降和低质量时期的长度.”

这种“完美是优秀的敌人”的回答忽略了这样一个事实，即每一个其他指标都报告一个分数，并且大多数被引用的项目在短文件中比在长文件中有更大的影响. 10秒里糟糕的5秒
second file could destroy my overall opinion; 5 bad seconds in a 90-minute file is irrelevant.

In 另一篇文章, 我测试了这个指标，发现如果编码的持续时间或帧率与源有一点无关的差异，AVQT就会失败. 在一个测试中，编码文件为10.长0767秒，源是10.07, AVQT失败了，即使两个文件都有300帧. 相比之下，FFmpeg、VQMT和SSIMPLUS VOD监视器没有问题.

您可以强制AVQT忽略差异并生成一个分数, 但是你要承担分数无效的风险, 没有办法确定是否有错位, 就像使用VQMT或SSIMPLUS VOD监视器一样.

许多度量应用都涉及到短, 原始YUV文件编码的精确参考编码器, 所以这两个问题都不是限制. 如果您使用的是通过商业工具编码的较长的真实视频，那么AVQT可能是个问题.

A 最后一个帖子将AVQT指标与VMAF和SSIMPLUS进行比较，并进行一些主观评价 Subjectify.us. 在这里, 尽管AVQT也有一些亮点, 我没有测试足够的数据来得出AVQT之外的结论, VMAF, 和SSIMPLUS测量质量不同, 因此，您不能将VQMT用作更快的VMAF或更便宜的SSIMPLUS.

作为一种工具, 假设持续时间和同步问题不是问题, AVQT的速度和JSON输出使其成为生产的理想选择. 对于像我这样以实验为导向的实践, 无法将框架可视化是一个重要的限制. 作为一个度规, AVQT也有一些亮点, 但如果没有更多的验证，很难看到它从现实世界的工作流中碰撞VMAF或SSIMPLUS.