视频质量测试方法标准(人工)

视频质量测试方法标准(人工)

测试方法和判断标准

测试步骤

单屏视频会议场景:远端activevideo,右上角展开本地画面

共享场景:接收方辅流activevideo,右上角展开远端主流(接收);发送方大窗口共享播放画面,右上角展开远端主流(接收)

双屏

视频会议场景:主屏显示本地,副屏显示远端(反之也行)

共享场景:主屏显示共享播放画面,副屏显示远端主流画面(反之也行)

备注:

共享场景:看接收端参数时需要把发送端播放的视频全屏、任务管理器和质量检测界面关闭2.更新视频质量测试人工部分的测试视频、PPT和文档(用于音画同步、清晰度和补充场景)----固定测试资源(找音视频测试获取)3.质量测试还需要考虑硬件屏幕尺寸因素(屏幕大小对实际效果展示有差异,对桌面窗口进程也有一定的影响)

测试场景

视频会议场景:主流收发共享场景:主流收发、辅流收发(辅流清晰度使用文字内容,其余使用视频内容)质量面板(动态)

编解协议:H265、H264HP、H264BP、H263+、H263传输协议:SIP H323分辨率:3840*2160,1920*1080,1280*720,704*576,360P、XGA(1024*768),352*288(经过RMX还会出现864*480等等分辨率)

带宽:8M、4M.......1.上限超发:突发不能超过最大30%,正常平均在10%波动

2.辅流下限无最低值要求,主流不能低于目标分辨率的最低值(例如1080P不能在1M及以下,稳定在2M左右)

3.与三方MCU和终端,主流+辅流总带宽不能超过设置带宽或者MCU设置上限

帧率:误差在±3

清晰度(静态、动态)

清晰度不是很好可以描述的感官(主要通过对比来判断清晰度,同步借助自动化工具视频质量评分)

测试步骤主流/辅流

测试方法(要有概念4K、1080P、720P等具体是什么样的效果)主流只能纯感官,对着有文字的物体辅流共享文字内存,主观感受清晰度

参考对比新旧版本对比:预期 新版本≥旧版本

①平台对比:对于新项目需要和同平台的已发布项目对比

②竞品对比:亿联、华为

③不同MCU对比

④不同分辨率对比:4K>1080P>XGA(1024*768)>720P>360P>4CIF>CIF

⑤不同编码协议对比:

H265@4K>H265@1080P>H264@1080P>H265@720P>H264@720P

预期结果硬编=软编视频质量效果

静态

1.静态更新关注清晰度

动态

1.动态更多关注运动场景马赛克,模糊恢复过程等

描述名词超高清:人物轮廓清晰,五官清晰,主观感受画质清晰无损(效果比超清更清晰)---对应4K

超清:人物轮廓清晰,五官清晰,主观感受画质清晰无损---对应1080P

高清:人物轮廓清晰,五官有轻微马赛克,轻微锯齿---对应720P

清晰:人物轮廓较明显,五官较糊,有块状马赛克,锯齿---对应4CIF/360P

模糊:人物脸大糊,五官不明显,有大量马赛克---对应180P

流畅度(动态)

测试方法

主流:辅流:播放固定视频源,观察接收端收到的画面

判断标准(卡顿、不连续、抖动、不流畅)

流畅:无明显卡顿,画面流畅

偶尔卡顿:间隔一段时间卡顿

明显卡顿:偶尔才动一下、卡住不动

实时性(动态)

测试方法:

主流:PC电脑打开秒表https://naozhong.net.cn/(毫秒3位)。被测设备摄像头对准PC电脑的秒表。拿出手机相机画面(本地预览:PC画面和本地预览画面同时在拍照手机画面内;端到端:PC画面和远端画面同时在拍照手机画面内)拍照再计算差值,测试5次取平均值

辅流:共享设备在本地系统浏览器打开秒表https://naozhong.net.cn/(毫秒3位)。共享。拿出手机相机画面(采集延时(HDMI):输入源秒表画面和本地预览同时在拍照手机画面内;端到端:发送方画面和接收画面同时在拍照手机画面内)拍照再计算差值,测试5次取平均值 备注:数据只能作为参考值(精确到3位数值ms)

测试标准:

1.人工感知无明显延时

无明显延时(400ms以内)

延时在400ms-1S

延时1-2S

延时超过2S

卡住不动

2.实测数据

本地预览延时在200ms以内

端到端整体延时在400ms以内

MCU整体延时在400ms以内

MCU级联整体延时在600-1000ms

音画同步(动态)

测试方法:

同时说话和打手势测试标准:

1.声音和手势、嘴型一致

缩放场景

缩放场景

采集4K缩放成1080P、720P、4CIF、XGA等(还包括副屏接1080P屏)大窗口缩放小窗口(共享场景下右上角主流小窗口)1080P缩放成4K(副屏4K)判断标准:

无明显边缘锯齿,无线条细节缺失画面等比缩放,不会出现变形拉伸

其他异常现在:呼吸效应(画面间隔一定的时间从模糊变清晰)、花屏、方块效应、马赛克、绿屏

兼容性

终端:自有、,三方MCU:自有,三方新旧版本:新旧SDK、新旧MCU硬件兼容②HDMI输入源分辨率:(4K、2.5K、1080P)

③HDMI输入源硬件接口兼容:

Compliant with HDMI2.0b, HDMI1.4 and DVI1.0Compliant with HDCP2.2 and HDCP1.4

抗丢包

标准:

1.区分上下行,发送接收

3.20%丢包延时不能超过600ms

4.取消网损恢复速度在60S以内

首帧场景

1.首帧延时:预期无明显延时

2.首帧模糊:预期画面切换后无模糊过程

3.首帧卡顿:预期无明显感知

摄像头硬件

摄像头卡顿摄像头清晰度:4K、1080P、720P、360P、4CIF、XGA(1024*768)、CIF采集:帧率30fps 延时:Win:150-190ms 安卓:69-110ms 摄像头抖动色彩还原补充场景

用户场景

极限场景1.场景:系统播放器

2.场景:potplay播放4K正常使用

3.场景:potplay播放4K压力测试(复杂场景播放视频)

煲机场景1.场景:双屏视频+发起共享三方播放器播放(potplay)4K视频煲机测试

2.场景:双屏视频+发起共享+投屏播放4K视频煲机测试

3.场景:弱网30%丢包频煲机测试

4.场景:视频会议

5.晚上或者周末煲机后:质量面板数据、音画同步、延时、内存泄露等

6.晚上或者周末煲机后:质量面板数据、音画同步、延时、内存泄露等

备注:需要观察煲机前后视频质量,质量面板数据、音画同步、延时对比,以及内存泄露

压测场景 补充简单场景:1.压测开关摄像头 2.压测开关共享

预期结果:无内存泄露、崩溃等异常

性能场景 业务测试(与业务测试对齐范围,保证有被覆盖)系统总占用GPU不超过80%

相关推荐

先锋行车记录仪
365bet手机开户

先锋行车记录仪

📅 07-21 👁️ 6851
xp防火墙在哪里设置,教你xp关闭防火墙方法
365bet手机开户

xp防火墙在哪里设置,教你xp关闭防火墙方法

📅 07-14 👁️ 8051
年糕的寓意(详解5篇)
365bet苹果版

年糕的寓意(详解5篇)

📅 07-01 👁️ 2591
双世宠妃
beat365最新版体育

双世宠妃

📅 07-16 👁️ 1798
路由器怎么登陆手机?详细教程及设置方法
365bet手机开户

路由器怎么登陆手机?详细教程及设置方法

📅 07-17 👁️ 1008
“黄鳝门”案一审宣判23人获刑,涉事女主播被判1年9个月