CVPR SoccerNet-v2競賽雙冠，百度AI落地體育視頻生產(chǎn)

2021歐洲杯足球賽近日“姍姍來遲”，牽動(dòng)了無數(shù)球迷的心。精彩的球賽視頻背后，令人意想不到的是AI技術(shù)正在重塑體育視頻產(chǎn)業(yè)的內(nèi)容生產(chǎn)方式。

在近期舉辦的國際計(jì)算機(jī)視覺與模式識別頂會(huì)CVPR 2021上，視頻理解領(lǐng)域最具影響力的International Challenge on Activity Recognition (ActivityNet) workshop旗下多個(gè)競賽公布榜單。競賽吸引了百度、阿里、字節(jié)跳動(dòng)、騰訊、華為等知名企業(yè)和清華、北大、斯坦福、麻省理工學(xué)院、中科院等國內(nèi)外高校和機(jī)構(gòu)參與。其中，全球首個(gè)以足球比賽視頻的全方位理解為目標(biāo)的SoccerNet-v2足球視頻理解競賽中，百度研究院以絕對優(yōu)勢奪取了全部兩項(xiàng)任務(wù)的冠軍。

百度拿下全部兩項(xiàng)任務(wù)冠軍

本屆競賽所使用的 SoccerNet-v2數(shù)據(jù)集在足球理解領(lǐng)域規(guī)模最大，包括500場來自2014到2017年三個(gè)賽季的歐洲足球五大聯(lián)賽和歐洲冠軍聯(lián)賽的視頻，視頻總時(shí)長達(dá)到764小時(shí)，人工標(biāo)注達(dá)30萬個(gè)，成為國際AI團(tuán)隊(duì)間衡量足球視頻理解能力的重要標(biāo)準(zhǔn)。

雙任務(wù)項(xiàng)目奪冠 大幅提升基線平均mAP

本屆SoccerNet-v2競賽下設(shè)了事件定位(action spotting)和回放溯源(replay grounding)兩個(gè)任務(wù)。其中，事件定位(action spotting)是從足球比賽實(shí)況轉(zhuǎn)播視頻中找到一些關(guān)鍵事件并確定其發(fā)生的時(shí)刻。關(guān)鍵事件包括17個(gè)類別，涵蓋進(jìn)球、點(diǎn)球、任意球、紅牌、黃牌、角球等重要事件，以及犯規(guī)、越位、射正、射偏等人類也難以立刻分辨的事件。同時(shí)有一部分事件甚至并未被直接拍攝到，需要根據(jù)上下文來推測，這也是對視頻動(dòng)作識別和事件檢測能力的一個(gè)挑戰(zhàn)。

回放溯源是(replay grounding)是把足球比賽轉(zhuǎn)播視頻中的回放片段和原始事件進(jìn)行匹配。在足球比賽視頻中一個(gè)精彩事件發(fā)生之后往往有多次回放，且回放和原始事件之間可能會(huì)相隔長達(dá)上百秒，拍攝視角也經(jīng)常不同，能否將回放片段和原始片段匹配是對超長距離視頻理解能力的一項(xiàng)考察。

百度研究院圖文轉(zhuǎn)視頻VidPress團(tuán)隊(duì)專注于算法研究和應(yīng)用創(chuàng)新，此次拿下兩項(xiàng)任務(wù)的冠軍，展現(xiàn)出了超群的技術(shù)實(shí)力。系統(tǒng)采用兩階段的方法，首先特征提取器提取足球視頻特征，再將提取出的特征作為第二階段具體任務(wù)模塊的輸入，進(jìn)行事件定位或者回放溯源。

事件定位和回放溯源的系統(tǒng)流程

在特征提取階段，團(tuán)隊(duì)認(rèn)為在足球視頻上微調(diào)過的特征提取器更有利于提升事件定位和回放溯源兩個(gè)下游任務(wù)的表現(xiàn)，因此在SoccerNetv2數(shù)據(jù)上微調(diào)了五種預(yù)訓(xùn)練的特征提取器模型：TPN、GTA、VTN、irCSN和I3D-Slow。這五種特征提取器模型均是最近年來視頻理解領(lǐng)域在分類任務(wù)上表現(xiàn)優(yōu)異的模型，在標(biāo)準(zhǔn)數(shù)據(jù)集Kinetics-400上的成績也名列前茅。

在五種特征提取器模型之上，團(tuán)隊(duì)也充分利用數(shù)據(jù)，設(shè)計(jì)了多種微調(diào)特征提取器模型的策略、開發(fā)了提取特征的新方法。得到每種特征提取器在足球視頻上提取的特征后，將五種特征連接起來并做了歸一化處理，使得優(yōu)化后的特征對足球比賽視頻具有強(qiáng)大表達(dá)能力，為后面的下游任務(wù)打下了堅(jiān)實(shí)基礎(chǔ)。

在事件定位和回放溯源階段采用了Transformer結(jié)構(gòu)。Transformer架構(gòu)的特點(diǎn)是更清晰、更標(biāo)準(zhǔn)化、模型容量大、擴(kuò)展性強(qiáng)，能適應(yīng)計(jì)算機(jī)視覺、自然語言等多種業(yè)務(wù)。Transformer結(jié)構(gòu)在這兩個(gè)任務(wù)中體現(xiàn)了對視覺語義特征的精確的時(shí)序處理能力，優(yōu)于基線算法中Siamese網(wǎng)絡(luò)的學(xué)習(xí)能力和訓(xùn)練速度。在訓(xùn)練過程中，事件定位采用了mix-up數(shù)據(jù)增強(qiáng)，更高效利用了訓(xùn)練數(shù)據(jù)、降低過擬合。在回放溯源的任務(wù)上，模型結(jié)構(gòu)的更換使得訓(xùn)練時(shí)間減少到原來的八分之一。

結(jié)合前述的視覺信息語義化特征，以及為新的任務(wù)訂制的Transformer結(jié)構(gòu)，百度研究院在競賽成績上取得了較大幅度的領(lǐng)先。在事件定位任務(wù)上，把基線的平均mAP由52.54%提升到74.84%，提高了22.3個(gè)百分點(diǎn)，是第二名提升的近兩倍；在回放溯源的任務(wù)上，把平均mAP由基線的40.75%提升到了71.90%，提高了31.15個(gè)百分點(diǎn)，比第二名63.91%的成績高出8個(gè)百分點(diǎn)。

技術(shù)“照進(jìn)”現(xiàn)實(shí)應(yīng)用 智能視頻生成工具應(yīng)運(yùn)而生

百度研究院之所以能夠在該項(xiàng)競賽中脫穎而出，離不開基于大規(guī)模視頻數(shù)據(jù)的算法能力技術(shù)積累。

該項(xiàng)技術(shù)有非常高的實(shí)用價(jià)值，可以大規(guī)模應(yīng)用于體育賽事視頻中，通過對全場比賽進(jìn)行智能識別，可以在不需要人工介入的條件下，精準(zhǔn)、實(shí)時(shí)地切分出進(jìn)球、射門、犯規(guī)等動(dòng)作片段。

基于此項(xiàng)能力，團(tuán)隊(duì)開發(fā)出了一系列應(yīng)用工具并成功落地。

首先是行業(yè)領(lǐng)先的自定義足球精彩集錦生成工具。輸入球員后選定比賽場次，即可自動(dòng)生成這個(gè)球員的精彩瞬間視頻集錦以及慢動(dòng)作回放。目前這一系統(tǒng)已經(jīng)落地在百度百科400多個(gè)足球球員和球隊(duì)頁面。

輸入球員名稱+比賽名稱，生成該球員的視頻集錦

其次，將文本語義理解與視頻圖像理解貫通，團(tuán)隊(duì)還搭建了足球圖文戰(zhàn)報(bào)一鍵轉(zhuǎn)換視頻平臺。輸入文字直播內(nèi)容或者直播間地址，就能智能聚合生成對應(yīng)的視頻內(nèi)容，提高了戰(zhàn)報(bào)的生成效率和可讀性。

根據(jù)文字直播內(nèi)容智能生成對應(yīng)的片段視頻

此外，團(tuán)隊(duì)還建立了基于圖像場景識別的智能視頻生產(chǎn)線，該生產(chǎn)線可以快速理解上傳的長視頻，檢測是否有進(jìn)球、精準(zhǔn)定位視頻中的進(jìn)球瞬間，并完成自動(dòng)剪輯。

上傳一段比賽視頻，自動(dòng)識別生成進(jìn)球片段

基于在智能視頻技術(shù)上的不斷創(chuàng)新和積累，百度研究院在2020年初孵化推出了智能圖文轉(zhuǎn)視頻工具VidPress，是業(yè)界首個(gè)支撐通用型、大規(guī)模的全自動(dòng)視頻生產(chǎn)技術(shù)。VidPress能夠支持圖文鏈接一鍵導(dǎo)入，自動(dòng)自動(dòng)實(shí)現(xiàn)配音、字幕、畫面的視頻內(nèi)容生產(chǎn)，降低素材搜集、整理、匹配的時(shí)間成本。目前VidPress已作為百度大腦智能創(chuàng)作平臺中的核心能力，為人民日報(bào)等多家媒體機(jī)構(gòu)的智能視頻生產(chǎn)賦能；為秒懂百科智能生成上千條球員精彩瞬間視頻；為百家號和好看視頻等平臺的終端用戶提供一鍵視頻生成服務(wù)。百度大腦智能創(chuàng)作平臺基于自然語言處理、知識圖譜、視覺、語音的整合技術(shù)能力，為創(chuàng)作者提供多項(xiàng)能力，助力新聞生產(chǎn)的策、采、編、審、發(fā)全流程，全面提升內(nèi)容生產(chǎn)效率。

全視頻時(shí)代到來，各行各業(yè)對視頻的應(yīng)用、體驗(yàn)和效能都提出了全新升級需求，智能視頻變化趨勢背后的驅(qū)動(dòng)力少不了AI的身影。無論是足球比賽視頻，還是其他內(nèi)容豐富、形式多樣的視頻內(nèi)容，未來百度也將持續(xù)在相關(guān)領(lǐng)域的技術(shù)上不斷突破迭代，并持續(xù)賦能應(yīng)用與產(chǎn)品落地，為視頻行業(yè)的發(fā)展與變革注入充足動(dòng)力。