123、视频超分中的时序一致性:从帧间损失到循环网络优化

📅2026/7/12 15:05:34 👁️次浏览
123、视频超分中的时序一致性:从帧间损失到循环网络优化
123、视频超分中的时序一致性:从帧间损失到循环网络优化上周调一个视频超分模型,跑完测试集一看,单帧PSNR涨了0.3dB,心里还挺美。结果把连续帧串成视频播放,画面就像得了帕金森——相邻帧的纹理在疯狂抖动,背景墙上的砖缝一会儿粗一会儿细,人物脸上的毛孔时隐时现。这就是典型的时序不一致问题,单帧指标再好看,放到视频里就是废的。很多同学在视频超分里踩的第一个坑,就是把视频当成独立图片的集合来处理。EDSR、RCAN这些单帧SOTA模型直接逐帧推理,帧间闪烁能闪瞎眼。根本原因在于:单帧超分只优化空间域的像素重建,完全没考虑时序维度的连续性约束。帧间损失:最朴素的时序约束最早解决时序一致性的思路很直接——让相邻帧的输出差异尽可能小。这就是帧间损失(temporal loss)的雏形。最简单的实现是L1时序损失:计算相邻帧输出之间的像素级绝对差。但别这样写:# 错误示范:直接对输出帧做L1temporal_loss=torch.mean(torch.