软牛科技&西电——校企合作双向赋能，助力视频抠像技术革新
2023年11月27日
随着自媒体和短视频的兴起，越来越多的人开始使用剪辑软件来编辑自己的视频，然而在剪辑过程中，消除视频杂物一直是一个头疼的问题。例如，用户通过一些视频剪辑软件对画面中的杂物进行移除操作，软件不仅无法自动识别视频中的杂物，而且处理后的效果不自然，画面细节和质感也不尽如人意。但融合了全新AI智能抠像技术的『牛学长智能抠像工具』向这个问题发起了挑战。
在『牛学长智能抠像工具』中，AI物体移除功能全面升级，融入了与西安电子科技大学联合研发的AI智能识别和分割、AI智能运动追踪、AI智能画面修复等技术，全面提升视频处理效率，整体视频物体移除速度有 大幅提升，画面质感明显改善，提升了用户的观看体验。
在技术创新道路上，与高校携手共同探索科技创新一直是软牛科技关注的焦点。目前，我们已与国内多所高校共建软件相关的联合实验创新中心、实践基地等，共同推进多项科研项目，与西安电子科技大学的AI智能抠像技术便是其中之一。
西安电子科技大学人工智能学院方超伟副教授是本次关键技术研究项目的的主导人，他带领团队成员历经将近一年的专项研究，完成视频物体识别分割速度、运动追踪准确性和视频画面修复质量的技术突破。该项关键技术研究主要运用AI智能跟踪、图像分割、图像修复等技术，通过反复分析视频画面前后帧变化，实现对选定区域物体的准确追踪，并持久记忆且不易丢失目标。
在画质优化方面，该技术能够实现在识别区域进行智能移除的同时，修复原有背景，保持整体画面自然和完整。在处理速度优化方面，通过计算视频分辨率的最优动态切片方式，该技术能够实现最大化处理速度，使得不同分辨率的视频都可以在PC本地处理，物体移除更加精细化。
这项技术从根本上提高了目前视频编辑软件在物体移除方面的效率问题。它可以实现更高效、更智能、更有针对性的处理，使得视频中移除物体的工作更加经济、省力，无需专业的特效团队，一个人也能轻松完成！
业内越来越多的人开始认识到校企合作的巨大潜力与内在价值，此次软牛科技与西安电子科技大学的深度融合就是校企合作初步显现成效的例证。在这一次合作中，『牛学长智能抠像工具』已经找到了从科研到产品再到市场落地转化的方法，这样的合作模式也预示着未来将有更多的校企合作成果呈现，实现高校与企业间的双向赋能。
参考文献：
[2] Weizhi Zhong, Chaowei Fang, Yinqi Cai, Pengxu Wei, Gangming Zhao, Liang Lin, Guanbin Li. Identity-Preserving Talking Face Generation with Landmark and Appearance Priors. IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2023. (CCF A, Acceptance Rate: 25.78%)
[3] Yuxiang Nie, Chaowei Fang, Lechao Cheng, Liang Lin, and Guanbin Li. Adapting Object Size Variance and Class Imbalance for Semi-Supervised Object Detection. AAAI Conference on Artificial Intelligence, 2023. (CCF A, Oral, Acceptance Rate: 19.6%)
[4] Kuo Wang, Jingyu Zhuang, Guanbin Li, Chaowei Fang, Lechao Cheng, Liang Lin, and Fan Zhou. De-biased Teacher: Rethinking IoU Matching for Semi-Supervised Object Detection. AAAI Conference on Artificial Intelligence, 2023. (CCF A, Acceptance Rate: 19.6%)
[5] Feida Zhu, Chaowei Fang, and Kai-Kuang Ma. PNEN: Pyramid Non-Local Enhanced Networks. IEEE Transactions onImage Processing, 2020. (CCF A, IF2022: 11.037)
[6] Chaowei Fang, Guanbin Li, Xiaoguang Han, and Yizhou Yu. Self-Enhanced Convolutional Network for Facial Video Hallucination. IEEE Transactions on Image Processing, 2019. (CCF A, IF2022: 11.037)
