近日，計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)最負(fù)盛名的學(xué)術(shù)會(huì)議——IEEE國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議（CVPR 2019）在美國(guó)加州舉行，會(huì)上頒發(fā)了Workshop NTIRE 2019 視頻復(fù)原比賽相關(guān)獎(jiǎng)項(xiàng)。由中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院、商湯科技、香港中文大學(xué)、南洋理工大學(xué)組成的聯(lián)合團(tuán)隊(duì)研發(fā)的EDVR算法，包攬了該比賽四個(gè)賽道的全部冠軍。
此次視頻復(fù)原比賽包含兩個(gè)視頻去模糊和兩個(gè)視頻超分辨率賽道，比賽結(jié)果顯示，共有14支隊(duì)伍進(jìn)入最終的排名，該聯(lián)合團(tuán)隊(duì)的算法大幅超越各個(gè)賽道的第二名，且在大部分?jǐn)?shù)據(jù)集上精度指標(biāo)都是最高的。目前，該算法論文 EDVR: Video Restoration with Enhanced Deformable Convolutional Networks 已發(fā)布于arXiv，同時(shí)團(tuán)隊(duì)已將代碼開(kāi)源，深圳先進(jìn)院數(shù)字所多媒體集成技術(shù)研究中心副研究員董超為論文作者之一。
在該論文中，作者介紹了這種新型算法，通過(guò)一種新的網(wǎng)絡(luò)模塊 PCD 對(duì)齊模塊，使用 Deformable 卷積進(jìn)行視頻的對(duì)齊，可實(shí)現(xiàn)整個(gè)過(guò)程端到端的訓(xùn)練；而在挖掘時(shí)域（視頻前后幀）和空域（同一幀內(nèi)部）的信息融合時(shí)，作者又提出了一種時(shí)空注意力模型，來(lái)進(jìn)行更好的信息融合。該算法未來(lái)有望應(yīng)用在視頻直播、高清電視、手機(jī)拍攝、視頻監(jiān)控等領(lǐng)域。
在同期舉辦的圖像復(fù)原大賽中，聯(lián)合團(tuán)隊(duì)論文同樣獲得冠軍。利用深度學(xué)習(xí)解決圖像超分辨率問(wèn)題，需要用到大量的訓(xùn)練數(shù)據(jù)，一般情況下，至少200個(gè)以上的圖像對(duì)才能保證圖像的超分辨率效果。而此次比賽僅提供60個(gè)圖像對(duì)作為訓(xùn)練數(shù)據(jù)，大大限制了超分辨率的效果。團(tuán)隊(duì)的論文首次分析并解決了超分辨率網(wǎng)絡(luò)中的過(guò)擬合問(wèn)題，即便使用少量的圖像數(shù)據(jù)，也可以獲得出色的結(jié)果。
這支在國(guó)際頂級(jí)計(jì)算機(jī)視覺(jué)大賽中脫穎而出的隊(duì)伍，專注于底層計(jì)算機(jī)視覺(jué)，包括圖像和視頻的超分辨率、去噪與增強(qiáng)等技術(shù)。2014年該團(tuán)隊(duì)首次利用深度學(xué)習(xí)實(shí)現(xiàn)圖像超分辨率，引起了深度學(xué)習(xí)在底層視覺(jué)領(lǐng)域應(yīng)用的熱潮。2017年，團(tuán)隊(duì)獲得CVPR 2017圖像超分辨率的亞軍；2018年，團(tuán)隊(duì)分別獲得CVPR18和ECCV18兩屆圖像超分辨率比賽單一賽道的冠軍?！ ?/p>
深圳先進(jìn)院數(shù)字所多媒體集成技術(shù)研究中心團(tuán)隊(duì)
附件下載：