面向电商文生视频模型的四维评测体系:外观准确度 · 材质表现力 · 动态稳定性 · 业务转化力
目标:为 Kora 文生视频模型在电商、品牌营销、社媒内容创作场景下的生成质量提供可量化、可复现的评测标准,支撑模型选型、质量把关与持续优化。
适用范围:
原则:每个评分维度必须可观察、可判定、可复现;主观维度必须附带判定标准、品类权重和典型示例。
🔗 标注口径校验可对照《标注质量分析报告》§6 案例 C(文本-标签一致性)灰:基线模型 蓝:评测模型(示例评分)
基于 200+ 条评测样本的四维均值(5 分制)
| 维度 | 定义 | 核心考察点 |
|---|---|---|
| 外观准确度 | 视频中商品外观、轮廓、比例、LOGO/图案等是否与真实商品一致 | 商品细节还原、比例正确、无明显形变、关键标识清晰 |
| 材质表现力 | 商品材质特征(褶皱、反光、纹理、透明度)是否真实可信 | 服装褶皱、金属/玻璃反光、皮革纹理、面料垂感 |
| 动态稳定性 | 视频中主体运动、镜头运动、时序连贯性是否稳定自然 | 主体一致性、动作连贯、无跳帧/抖动、镜头运动合理 |
| 业务转化力 | 视频是否具备吸引用户、传达商品卖点、符合品牌调性的能力 | 场景吸引力、卖点突出、品牌调性、信息传达效率 |
不同品类对四个维度的敏感度不同,因此需要动态调整权重。总分 = 维度得分 × 权重后求和。
| 品类 | 外观准确度 | 材质表现力 | 动态稳定性 | 业务转化力 |
|---|---|---|---|---|
| 服装 | 35% | 25% | 20% | 20% |
| 3C | 30% | 30% | 25% | 15% |
| 美妆 | 30% | 25% | 20% | 25% |
| 食品 | 25% | 30% | 25% | 20% |
各品类四维权重占比(合计 100%),颜色越深权重越高
| 分值 | 判定标准 | 典型示例 |
|---|---|---|
| 5 | 商品外观、比例、LOGO/图案与真实商品高度一致,无明显失真 | 服装款式、印花、领口细节均正确 |
| 3 | 整体外观正确,但存在局部细节模糊或轻微形变 | 手机轮廓正确,但摄像头模组比例略偏 |
| 1 | 商品外观严重失真,无法识别为对应商品 | 服装版型完全走样,或出现多余/缺失的结构 |
| 分值 | 判定标准 | 典型示例 |
|---|---|---|
| 5 | 材质特征真实可信,褶皱、反光、纹理自然 | 丝绸面料垂坠感正确,金属边框反光自然 |
| 3 | 材质表现基本正确,但部分细节不够真实 | 服装褶皱方向合理但深浅不自然 |
| 1 | 材质严重错误,如金属像塑料、面料无纹理 | 手机屏幕无反光,或金属外壳呈现塑料质感 |
| 分值 | 判定标准 | 典型示例 |
|---|---|---|
| 5 | 主体运动连贯,镜头运动自然,时序无跳切/抖动 | 模特转身动作流畅,商品 360° 展示无断裂 |
| 3 | 整体连贯,但存在轻微抖动或个别帧不自然 | 视频中间有 1-2 帧主体轻微变形 |
| 1 | 严重跳帧、主体突变或明显动作断裂 | 服装展示过程中突然跳切到另一角度 |
| 分值 | 判定标准 | 典型示例 |
|---|---|---|
| 5 | 场景吸引人、卖点清晰、品牌调性一致,具备强转化潜力 | 场景氛围与商品风格匹配,关键卖点通过镜头语言突出 |
| 3 | 场景与商品匹配,但创意或卖点表达一般 | 商品展示完整,但画面缺乏记忆点 |
| 1 | 场景与商品不匹配,或卖点传达混乱 | 高端商品搭配廉价场景,或信息过于拥挤 |
各维度统一采用 5 分制量表,锚点示例见 4.1–4.4(1=严重失真 / 3=合格 / 5=优秀)
加权总分 = 3×0.35 + 3×0.25 + 2×0.20 + 4×0.20 = 3.00 分未通过
动态稳定性 2 分触及单维下限,总分 3.00 分低于 3.5 分通过线——典型的边界未通过案例
通过标准:加权总分 ≥3.5 分,且任意单一维度不低于 2 分。
两名评测员独立打分后计算 Kappa 一致性,0.81 ≥ 0.75 校准通过(绿色为达标区)
背景:某女装品牌提交连衣裙商品视频生成任务,目标场景为「模特身着连衣裙缓慢转身,展示裙摆与腰线细节」。
评测记录:
| 维度 | 得分 | 判定依据 |
|---|---|---|
| 外观准确度 | 3 | 裙型与商品图基本一致,但腰部 LOGO 标签在转身过程中出现 2 帧模糊错位。 |
| 材质表现力 | 3 | 雪纺面料垂坠感自然,但裙摆褶皱方向在转身后半段与人体动作不完全一致。 |
| 动态稳定性 | 2 | 转身至 180° 时出现 1 次明显跳切,主体裙摆角度突变约 30°。 |
| 业务转化力 | 4 | 场景干净、模特姿态自然,腰线与裙摆卖点均有特写展示。 |
加权总分:3×0.35 + 3×0.25 + 2×0.20 + 4×0.20 = 3.00 分(未通过通过标准 3.5 分)。
归因结论:动态稳定性为主要失分项,建议优化时序一致性模块,避免大角度转身过程中的跳切。
裙身以 steps 跳格方式旋转,模拟 180° 处的画面跳切;红色弧段为动态失稳高发区
背景:某 3C 品牌提交「手机从静物台缓缓升起并 360° 展示背部摄像头模组」的生成视频,重点考察金属边框与玻璃背板的材质还原。
评测记录:
| 维度 | 得分 | 判定依据 |
|---|---|---|
| 外观准确度 | 4 | 手机轮廓、三摄模组布局、品牌 LOGO 位置正确,仅边缘高光一处轻微走形。 |
| 材质表现力 | 2 | 金属边框缺乏环境反光,玻璃背板呈现轻微塑料质感,反光方向与光源不一致。 |
| 动态稳定性 | 5 | 升降与旋转动作连贯,镜头运动平滑,无跳帧或抖动。 |
| 业务转化力 | 3 | 产品卖点清晰,但背景为纯色静物台,缺乏使用场景,转化潜力一般。 |
边界案例详情:在旋转至 90° 与 270° 时,金属边框本应随环境光出现由亮到暗的连续高光带,但实际高光位置固定、亮度不变,露出「塑料上色」式的均匀着色;玻璃背板在逆光角度应透出背景虚影,却呈现完全不透明的实色。
材质检查清单:
加权总分:4×0.30 + 2×0.30 + 5×0.25 + 3×0.15 = 3.50 分(刚好通过通过标准)。
归因结论:材质表现力是 3C 品类关键短板,金属与玻璃反射特性需作为重点优化方向;建议引入环境反射贴图(HDRI)与基于物理的渲染(PBR)材质先验。
右侧高光带随角度扫过边框,模拟真实金属反射;左侧均匀着色则暴露塑料质感
背景:某美妆品牌提交「口红从管体旋出并展示膏体质感」的短视频。
评测记录:
| 维度 | 得分 | 判定依据 |
|---|---|---|
| 外观准确度 | 5 | 口红管体形状、色号、品牌标识与真实商品一致。 |
| 材质表现力 | 4 | 膏体光泽自然,但旋出动作末尾有轻微粘连不自然。 |
| 动态稳定性 | 4 | 旋出动作整体连贯,仅最后 2 帧膏体边缘有轻微抖动。 |
| 业务转化力 | 5 | 近景突出色号与质感,光影高级,符合美妆品牌调性。 |
加权总分:5×0.30 + 4×0.25 + 4×0.20 + 5×0.25 = 4.55 分。
归因结论:整体质量优秀,可纳入高转化案例库,作为后续同品类视频的参考基准。
膏体高光带自上而下扫过,检验旋出时的光泽连续性与末端粘连瑕疵
背景:某饮料品牌提交「气泡水注入玻璃杯、气泡持续上升」的生成视频,重点考察液体通透度与气泡运动的物理真实感。
评测记录:
| 维度 | 得分 | 判定依据 |
|---|---|---|
| 外观准确度 | 4 | 杯型、液面高度、品牌标签位置正确,液体色泽自然。 |
| 材质表现力 | 3 | 液体通透度尚可,但气泡大小过于均一、缺乏折射高光,玻璃壁挂珠感缺失。 |
| 动态稳定性 | 2 | 气泡上升为等速直线轨迹,未体现加速与随机漂移,物理感不足。 |
| 业务转化力 | 4 | 清爽感传达到位,特写突出气泡卖点。 |
加权总分:4×0.25 + 3×0.30 + 2×0.25 + 4×0.20 = 3.20 分(未通过通过标准 3.5 分)。
归因结论:气泡运动物理与液体折射为饮品品类关键短板,建议引入流体粒子先验与随机化上升轨迹。
气泡自杯底匀速上升——真实场景应有加速与随机漂移,此处等速直线暴露物理短板
背景:某家居品牌提交「镜头环绕布艺沙发一周、展示面料纹理与坐感」的生成视频,重点考察环绕镜头下的主体几何一致性与布纹材质。
评测记录:
| 维度 | 得分 | 判定依据 |
|---|---|---|
| 外观准确度 | 4 | 沙发轮廓、抱枕数量、扶手造型与商品图一致。 |
| 材质表现力 | 4 | 布艺织纹清晰、绒感自然,仅侧面接缝处纹理略有拉伸。 |
| 动态稳定性 | 3 | 环绕至后半程(约 240°)主体出现轻微形变,靠背比例短暂压缩。 |
| 业务转化力 | 3 | 纯色背景缺乏客厅氛围,场景转化潜力中等。 |
加权总分:4×0.30 + 4×0.25 + 3×0.25 + 3×0.20 = 3.55 分(通过)。
归因结论:环绕镜头的多视角几何一致性是家居品类重点,建议加强多视角约束(NeRF / 多视图先验)以抑制后半程形变。
相机沿圆周环绕沙发一周,重点检验后半程(约 240°)主体几何一致性是否稳定
背景:某珠宝品牌提交「钻戒缓慢旋转、钻石在光下闪出火彩」的生成视频,重点考察高光、火彩(色散)与金属质感。
评测记录:
| 维度 | 得分 | 判定依据 |
|---|---|---|
| 外观准确度 | 5 | 戒圈、钻石切工刻面、镶爪数量与商品图完全一致。 |
| 材质表现力 | 4 | 金属高光与钻石火彩表现到位,仅火彩闪烁频率偏高、略显浮夸。 |
| 动态稳定性 | 4 | 旋转平滑,火彩随角度变化连续,无跳变。 |
| 业务转化力 | 5 | 近景突出切工与火彩,光影高级,符合珠宝品牌调性。 |
加权总分:5×0.30 + 4×0.30 + 4×0.20 + 5×0.20 = 4.50 分(优秀)。
归因结论:整体质量优秀,可纳入高转化案例库;建议将火彩闪烁频率下调至更接近真实拍摄的节奏,避免过曝浮夸。
钻石刻面火彩随机闪烁——注意闪烁频率应接近真实拍摄,避免过曝浮夸
红色虚线为通过线 3.5 分;绿色为达标案例(B / C / E / F)
边界案例 → 会议裁定 → SOP 更新 → 培训回扫 → 指标监控,五步循环往复