Kora 视频评测标准操作手册

面向电商文生视频模型的四维评测体系:外观准确度 · 材质表现力 · 动态稳定性 · 业务转化力

版本 v1.0 适用范围:Kora 文生视频模型 / 电商场景 更新日期:2026-07-10

项目背景

项目周期
2025.02 - 2026.03
团队规模
50+ 人
我的角色
标准制定与培训负责人
核心目标
把主观视觉标准拆解为可执行规则

1. 适用范围与目标

目标:为 Kora 文生视频模型在电商、品牌营销、社媒内容创作场景下的生成质量提供可量化、可复现的评测标准,支撑模型选型、质量把关与持续优化。

适用范围:

  • 电商商品视频生成效果评测(服装、3C、美妆、食品等品类);
  • 同一模型在不同品类、不同 prompt 下的效果对比;
  • 多模型之间的横向评测与选型。

原则:每个评分维度必须可观察、可判定、可复现;主观维度必须附带判定标准、品类权重和典型示例。

🔗 标注口径校验可对照《标注质量分析报告》§6 案例 C(文本-标签一致性)

2. 四维评测模型

四维评测模型 · 可视化

外观准确度 材质表现力 动态稳定性 业务转化力

灰:基线模型 蓝:评测模型(示例评分)

各维度平均得分(示例评测集)

外观准确度
3.9
材质表现力
3.6
动态稳定性
3.5
业务转化力
4.0

基于 200+ 条评测样本的四维均值(5 分制)

维度定义核心考察点
外观准确度视频中商品外观、轮廓、比例、LOGO/图案等是否与真实商品一致商品细节还原、比例正确、无明显形变、关键标识清晰
材质表现力商品材质特征(褶皱、反光、纹理、透明度)是否真实可信服装褶皱、金属/玻璃反光、皮革纹理、面料垂感
动态稳定性视频中主体运动、镜头运动、时序连贯性是否稳定自然主体一致性、动作连贯、无跳帧/抖动、镜头运动合理
业务转化力视频是否具备吸引用户、传达商品卖点、符合品牌调性的能力场景吸引力、卖点突出、品牌调性、信息传达效率
🔗 动态稳定性 / 主体一致性的判定要点可对照《标注质量分析报告》§6 案例 A / B / D

3. 品类权重打分表

不同品类对四个维度的敏感度不同,因此需要动态调整权重。总分 = 维度得分 × 权重后求和。

品类外观准确度材质表现力动态稳定性业务转化力
服装35%25%20%20%
3C30%30%25%15%
美妆30%25%20%25%
食品25%30%25%20%
示例:一条服装类视频,外观准确度 4 分、材质表现力 3 分、动态稳定性 5 分、业务转化力 4 分,则加权总分 = 4×0.35 + 3×0.25 + 5×0.20 + 4×0.20 = 3.95 分。

四品类权重分布 · 可视化

外观准确度 材质表现力 动态稳定性 业务转化力
服装
35 25 20 20
3C
30 30 25 15
美妆
30 25 20 25
食品
25 30 25 20

各品类四维权重占比(合计 100%),颜色越深权重越高

4. 评分量表与边界案例

4.1 外观准确度

分值判定标准典型示例
5商品外观、比例、LOGO/图案与真实商品高度一致,无明显失真服装款式、印花、领口细节均正确
3整体外观正确,但存在局部细节模糊或轻微形变手机轮廓正确,但摄像头模组比例略偏
1商品外观严重失真,无法识别为对应商品服装版型完全走样,或出现多余/缺失的结构
🔗 边界框 / 属性完整性校验可对照《标注质量分析报告》§6 案例 F

4.2 材质表现力

分值判定标准典型示例
5材质特征真实可信,褶皱、反光、纹理自然丝绸面料垂坠感正确,金属边框反光自然
3材质表现基本正确,但部分细节不够真实服装褶皱方向合理但深浅不自然
1材质严重错误,如金属像塑料、面料无纹理手机屏幕无反光,或金属外壳呈现塑料质感

4.3 动态稳定性

分值判定标准典型示例
5主体运动连贯,镜头运动自然,时序无跳切/抖动模特转身动作流畅,商品 360° 展示无断裂
3整体连贯,但存在轻微抖动或个别帧不自然视频中间有 1-2 帧主体轻微变形
1严重跳帧、主体突变或明显动作断裂服装展示过程中突然跳切到另一角度
🔗 时序连贯 / 镜头运动判定可对照《标注质量分析报告》§6 案例 A / E

4.4 业务转化力

分值判定标准典型示例
5场景吸引人、卖点清晰、品牌调性一致,具备强转化潜力场景氛围与商品风格匹配,关键卖点通过镜头语言突出
3场景与商品匹配,但创意或卖点表达一般商品展示完整,但画面缺乏记忆点
1场景与商品不匹配,或卖点传达混乱高端商品搭配廉价场景,或信息过于拥挤

5 分制评分量表 · 可视化

1 2 3 4 5 严重失真(1) 合格(3) 优秀(5)

各维度统一采用 5 分制量表,锚点示例见 4.1–4.4(1=严重失真 / 3=合格 / 5=优秀)

4.5 边界案例判定示例:连衣裙 360° 转身

外观准确度35%
3
材质表现力25%
3
动态稳定性20%
2
业务转化力20%
4

加权总分 = 3×0.35 + 3×0.25 + 2×0.20 + 4×0.20 = 3.00 分未通过

动态稳定性 2 分触及单维下限,总分 3.00 分低于 3.5 分通过线——典型的边界未通过案例

5. 评测流程

1
样本准备
构建 200+ 条评测集
2
双盲初评
两人独立打分
3
交叉校验
Kappa 一致性
4
归因分析
三维归因矩阵
5
输出报告
雷达图 + badcase
  1. 样本准备:按品类、场景、prompt 维度构建 200+ 条真实业务评测数据集,确保覆盖高频商品与关键卖点。
  2. 双盲初评:两名评测员独立按 SOP 打分,记录每个维度的具体理由与截图证据。
  3. 交叉校验:计算两名评测员的 Kappa 一致性,低于 0.75 的维度需重新培训并校准。
  4. 归因分析:对低分样本建立「模型-场景-缺陷」三维归因矩阵,定位模型短板(如服装褶皱、金属反光)。
  5. 输出报告:汇总多模型雷达图对比、品类得分分布、Top badcase,并提出优化建议。

通过标准:加权总分 ≥3.5 分,且任意单一维度不低于 2 分。

双盲评分与一致性校验 · 可视化

两名评测员独立打分后计算 Kappa 一致性,0.81 ≥ 0.75 校准通过(绿色为达标区)

6. 真实案例集

案例 A:服装连衣裙 360° 展示视频评测

背景:某女装品牌提交连衣裙商品视频生成任务,目标场景为「模特身着连衣裙缓慢转身,展示裙摆与腰线细节」。

评测记录:

维度得分判定依据
外观准确度3裙型与商品图基本一致,但腰部 LOGO 标签在转身过程中出现 2 帧模糊错位。
材质表现力3雪纺面料垂坠感自然,但裙摆褶皱方向在转身后半段与人体动作不完全一致。
动态稳定性2转身至 180° 时出现 1 次明显跳切,主体裙摆角度突变约 30°。
业务转化力4场景干净、模特姿态自然,腰线与裙摆卖点均有特写展示。

加权总分:3×0.35 + 3×0.25 + 2×0.20 + 4×0.20 = 3.00 分(未通过通过标准 3.5 分)。

归因结论:动态稳定性为主要失分项,建议优化时序一致性模块,避免大角度转身过程中的跳切。

案例 A 动态稳定性 · 跳切演示

360°

裙身以 steps 跳格方式旋转,模拟 180° 处的画面跳切;红色弧段为动态失稳高发区

案例 B:3C 手机产品展示视频评测

背景:某 3C 品牌提交「手机从静物台缓缓升起并 360° 展示背部摄像头模组」的生成视频,重点考察金属边框与玻璃背板的材质还原。

评测记录:

维度得分判定依据
外观准确度4手机轮廓、三摄模组布局、品牌 LOGO 位置正确,仅边缘高光一处轻微走形。
材质表现力2金属边框缺乏环境反光,玻璃背板呈现轻微塑料质感,反光方向与光源不一致。
动态稳定性5升降与旋转动作连贯,镜头运动平滑,无跳帧或抖动。
业务转化力3产品卖点清晰,但背景为纯色静物台,缺乏使用场景,转化潜力一般。

边界案例详情:在旋转至 90° 与 270° 时,金属边框本应随环境光出现由亮到暗的连续高光带,但实际高光位置固定、亮度不变,露出「塑料上色」式的均匀着色;玻璃背板在逆光角度应透出背景虚影,却呈现完全不透明的实色。

材质检查清单:

  • 金属边框是否随旋转出现连续移动的环境反光带;
  • 玻璃背板在逆光角度是否具备通透度与背景虚影;
  • 边缘高光方向是否与主光源一致;
  • 旋转过程中反光是否连续、无跳变。

加权总分:4×0.30 + 2×0.30 + 5×0.25 + 3×0.15 = 3.50 分(刚好通过通过标准)。

归因结论:材质表现力是 3C 品类关键短板,金属与玻璃反射特性需作为重点优化方向;建议引入环境反射贴图(HDRI)与基于物理的渲染(PBR)材质先验。

案例 B 材质还原对比 · 动态演示

错误:塑料质感 · 无反光
正确:金属环境反光

右侧高光带随角度扫过边框,模拟真实金属反射;左侧均匀着色则暴露塑料质感

案例 C:美妆口红特写视频评测

背景:某美妆品牌提交「口红从管体旋出并展示膏体质感」的短视频。

评测记录:

维度得分判定依据
外观准确度5口红管体形状、色号、品牌标识与真实商品一致。
材质表现力4膏体光泽自然,但旋出动作末尾有轻微粘连不自然。
动态稳定性4旋出动作整体连贯,仅最后 2 帧膏体边缘有轻微抖动。
业务转化力5近景突出色号与质感,光影高级,符合美妆品牌调性。

加权总分:5×0.30 + 4×0.25 + 4×0.20 + 5×0.25 = 4.55 分

归因结论:整体质量优秀,可纳入高转化案例库,作为后续同品类视频的参考基准。

案例 C 膏体旋出 · 光泽演示

膏体高光带自上而下扫过,检验旋出时的光泽连续性与末端粘连瑕疵

案例 D:食品饮料 气泡水倒入展示视频评测

背景:某饮料品牌提交「气泡水注入玻璃杯、气泡持续上升」的生成视频,重点考察液体通透度与气泡运动的物理真实感。

评测记录:

维度得分判定依据
外观准确度4杯型、液面高度、品牌标签位置正确,液体色泽自然。
材质表现力3液体通透度尚可,但气泡大小过于均一、缺乏折射高光,玻璃壁挂珠感缺失。
动态稳定性2气泡上升为等速直线轨迹,未体现加速与随机漂移,物理感不足。
业务转化力4清爽感传达到位,特写突出气泡卖点。

加权总分:4×0.25 + 3×0.30 + 2×0.25 + 4×0.20 = 3.20 分(未通过通过标准 3.5 分)。

归因结论:气泡运动物理与液体折射为饮品品类关键短板,建议引入流体粒子先验与随机化上升轨迹。

案例 D 气泡上升 · 动态演示

气泡自杯底匀速上升——真实场景应有加速与随机漂移,此处等速直线暴露物理短板

案例 E:家居布艺沙发 环绕展示视频评测

背景:某家居品牌提交「镜头环绕布艺沙发一周、展示面料纹理与坐感」的生成视频,重点考察环绕镜头下的主体几何一致性与布纹材质。

评测记录:

维度得分判定依据
外观准确度4沙发轮廓、抱枕数量、扶手造型与商品图一致。
材质表现力4布艺织纹清晰、绒感自然,仅侧面接缝处纹理略有拉伸。
动态稳定性3环绕至后半程(约 240°)主体出现轻微形变,靠背比例短暂压缩。
业务转化力3纯色背景缺乏客厅氛围,场景转化潜力中等。

加权总分:4×0.30 + 4×0.25 + 3×0.25 + 3×0.20 = 3.55 分(通过)。

归因结论:环绕镜头的多视角几何一致性是家居品类重点,建议加强多视角约束(NeRF / 多视图先验)以抑制后半程形变。

案例 E 环绕镜头 · 动态演示

相机沿圆周环绕沙发一周,重点检验后半程(约 240°)主体几何一致性是否稳定

案例 F:珠宝钻戒 火彩闪烁展示视频评测

背景:某珠宝品牌提交「钻戒缓慢旋转、钻石在光下闪出火彩」的生成视频,重点考察高光、火彩(色散)与金属质感。

评测记录:

维度得分判定依据
外观准确度5戒圈、钻石切工刻面、镶爪数量与商品图完全一致。
材质表现力4金属高光与钻石火彩表现到位,仅火彩闪烁频率偏高、略显浮夸。
动态稳定性4旋转平滑,火彩随角度变化连续,无跳变。
业务转化力5近景突出切工与火彩,光影高级,符合珠宝品牌调性。

加权总分:5×0.30 + 4×0.30 + 4×0.20 + 5×0.20 = 4.50 分(优秀)。

归因结论:整体质量优秀,可纳入高转化案例库;建议将火彩闪烁频率下调至更接近真实拍摄的节奏,避免过曝浮夸。

案例 F 钻石火彩 · 闪烁演示

钻石刻面火彩随机闪烁——注意闪烁频率应接近真实拍摄,避免过曝浮夸

六案例加权总分对比

案例 A 服装
通过线 3.5
3.00
案例 B 3C
3.50
案例 C 美妆
4.55
案例 D 饮品
3.20
案例 E 家居
3.55
案例 F 珠宝
4.50

红色虚线为通过线 3.5 分;绿色为达标案例(B / C / E / F)

7. 标准迭代机制

  1. 边界案例收集:每周从质检和仲裁中收集 10-20 个争议样本, particularly 跨品类差异明显的 case。
  2. 会议裁定:由算法、产品、资深评测员共同判定,形成补充规则并更新品类权重。
  3. SOP 更新:修订评分量表与边界案例,标注版本号,并同步更新评测平台内嵌帮助。
  4. 培训与回扫:对评测员进行增量培训,对历史低置信度样本进行复评。
  5. 指标监控:持续跟踪 Kappa 一致性、错误率与模型版本得分变化,验证标准是否降低分歧。
🔗 争议样本来源可对照《标注质量分析报告》§6 案例 A–F(标注争议沉淀)

标准持续迭代闭环

1 2 3 4 5 持续迭代 闭环优化

边界案例 → 会议裁定 → SOP 更新 → 培训回扫 → 指标监控,五步循环往复

← 返回作品集