清華自動(dòng)化系戴瓊海教授等完成的“立體視頻獲取與重建技術(shù)及裝置”項(xiàng)目獲2012年度國家技術(shù)發(fā)明獎(jiǎng)一等獎(jiǎng)
引領(lǐng)中國立體視頻技術(shù)跨越式發(fā)展
記者 程曦 實(shí)習(xí)記者 白雪蕾
項(xiàng)目名稱：立體視頻重建與顯示技術(shù)及裝置
完成人：戴瓊海 季向陽 劉燁斌 曹汛 戈張 楊藝
項(xiàng)目介紹： 立體視頻是新一代信息獲取,、傳播與顯示的前沿核心技術(shù),，具有高沉浸感、寬視場等特點(diǎn),。正在全球范圍內(nèi)推動(dòng)數(shù)字媒體和文化產(chǎn)業(yè)的升級(jí),，引發(fā)世界各國在信息與顯示科技領(lǐng)域開展新一輪角逐,。
該項(xiàng)目圍繞立體視頻重建與顯示的關(guān)鍵技術(shù)取得突破，授權(quán)發(fā)明專利51項(xiàng),。創(chuàng)建光照-視角協(xié)同采集裝置平臺(tái),，發(fā)明光度立體多視角配準(zhǔn)方法,，突破運(yùn)動(dòng)周期性限制，率先實(shí)現(xiàn)自由運(yùn)動(dòng)對(duì)象的立體視頻光照重建,；發(fā)明全自動(dòng)無標(biāo)記點(diǎn)運(yùn)動(dòng)捕捉與紋理驅(qū)動(dòng)立體視頻合成方法,，率先攻克了復(fù)雜對(duì)象運(yùn)動(dòng)映射的任意視角立體視頻合成難題；發(fā)明了二維到三維視頻轉(zhuǎn)換的多元信息融合的深度計(jì)算方法,，研制了“清立方”立體視頻轉(zhuǎn)換芯片和裝置,；發(fā)明了無莫爾紋裸眼立體顯示方法及裝置，解決了寬視場逼真裸眼立體顯示難題,。關(guān)鍵技術(shù)授權(quán)應(yīng)用于Sonic,、東芝和索尼等企業(yè)，獲得了顯著的經(jīng)濟(jì)與社會(huì)效益,。
我們會(huì)一如既往,、不遺余力地推進(jìn)立體視頻技術(shù)的技術(shù)創(chuàng)新，為加速推進(jìn)立體視頻技術(shù)成果的應(yīng)用和產(chǎn)業(yè)化作出新的更大的貢獻(xiàn),；我們也將一直秉承清華“自強(qiáng)不息,，厚德載物”的校訓(xùn)，在新的科學(xué)探索征途上勇往直前,。獲獎(jiǎng)只是一個(gè)新的起點(diǎn),，創(chuàng)新路上還會(huì)有更多的挑戰(zhàn)與收獲等待著我們。
——戴瓊海
圖為“清立方”立體處理芯片與裝置,?！ ?/span>
圖為視角-光照協(xié)同采集裝置及協(xié)同控制器。
走進(jìn)位于清華大學(xué)主樓7層一間普通的實(shí)驗(yàn)室,，拉開帷幔,，一個(gè)直徑6米的大“籠子”映入眼簾。按下控制板上的開關(guān),，瞬時(shí)間,，位于64個(gè)平面上的600多盞LED燈交替閃爍，光影錯(cuò)綜,，令人目眩。
這個(gè)“籠子”的學(xué)名叫“變光照的多視點(diǎn)動(dòng)態(tài)場景采集平臺(tái)”,。隱藏在600多束點(diǎn)光源中的,，還有間插耦合曝光的40臺(tái)相機(jī)，每8臺(tái)配備一個(gè)控制器,。通過這樣的協(xié)同相機(jī)陣列和LED光源陣列,，可以實(shí)現(xiàn)三維對(duì)象的高精度建模，為立體影視制作提供關(guān)鍵的技術(shù)支撐,。自2010年以來,，它一直是全球精度排名第一的三維建模設(shè)備,。
圖為戴瓊海與同學(xué)們一起研討研究中遇到的問題。
它的創(chuàng)造者,，是清華大學(xué)自動(dòng)化系副主任戴瓊海教授所帶領(lǐng)的團(tuán)隊(duì),。10余年來，他們在國家自然科學(xué)基金,、“863”計(jì)劃,、以及省部級(jí)項(xiàng)目等支持下，在立體視頻獲取,、生成與顯示等應(yīng)用基礎(chǔ)理論和核心關(guān)鍵技術(shù)方面完成了具有自主知識(shí)產(chǎn)權(quán)的多項(xiàng)發(fā)明創(chuàng)新,，突破了多個(gè)關(guān)鍵技術(shù)，改變了長期以來視頻核心技術(shù)主要依靠引進(jìn)的傳統(tǒng)格局,，實(shí)現(xiàn)了核心技術(shù)對(duì)外輸出,。研發(fā)成果顯著增強(qiáng)了我國立體視頻核心技術(shù)的國際競爭力，構(gòu)建了理論創(chuàng)新,、關(guān)鍵技術(shù)突破,、工程化應(yīng)用和產(chǎn)業(yè)化的技術(shù)支撐平臺(tái)。
2013年1月,，“立體視頻獲取與重建技術(shù)及裝置”項(xiàng)目獲2012年度國家技術(shù)發(fā)明獎(jiǎng)一等獎(jiǎng),。
占領(lǐng)立體視頻技術(shù)制高點(diǎn)
上世紀(jì)90年代末，數(shù)字媒體在信息產(chǎn)業(yè)中初露崢嶸頭角,，國際上出現(xiàn)大量流媒體編碼技術(shù),，但中國在這一領(lǐng)域卻缺乏屬于自己的知識(shí)產(chǎn)權(quán)。中國企業(yè)每生成一臺(tái)DVD需支付的專利費(fèi)高達(dá)利潤的10.2倍,，跨國公司僅專利費(fèi)每年就從中國獲利高達(dá)數(shù)十億美元,。當(dāng)時(shí)正帶領(lǐng)團(tuán)隊(duì)從事流媒體研究的戴瓊海看在眼里,，痛在心上,。
進(jìn)入21世紀(jì)，歐盟,、美國,、日本的立體視頻研究項(xiàng)目陸續(xù)啟動(dòng)，引發(fā)了世界各國在信息顯示技術(shù)領(lǐng)域新一輪的角逐,。戴瓊海團(tuán)隊(duì)敏銳地感覺到,，立體視頻的時(shí)代即將到來，中國市場再次面臨“狼來了”的威脅,，但這也是中國信息技術(shù)實(shí)現(xiàn)源頭創(chuàng)新,、趕超發(fā)達(dá)國家的一次絕佳契機(jī)。
“我們感到很難做,，但是如果能‘撲上去’占到制高點(diǎn),，就可以掙外國人的錢,，讓外國人用中國的知識(shí)產(chǎn)權(quán)。”正是抱著這樣的信念,，雖然面臨內(nèi)容匱乏的困境和技術(shù)路線的彷徨,，戴瓊海和他的團(tuán)隊(duì)還是義無反顧地開始了立體視頻技術(shù)研究的漫漫征程。
立體視頻與平面視頻最大的區(qū)別,，在于它不僅是一個(gè)簡單的解碼過程,，而是需要采集多視角的信息，并且重構(gòu)成具有縱深感的視頻影像,，栩栩如生地顯示在人們面前,。這其中涉及從理論到應(yīng)用、從內(nèi)容到顯示的一系列難題,。
對(duì)現(xiàn)實(shí)場景進(jìn)行重建與真實(shí)感繪制是立體視頻內(nèi)容生成的核心技術(shù)之一,。通過調(diào)研，戴瓊海團(tuán)隊(duì)認(rèn)為,，突破傳統(tǒng)立體模型對(duì)3DMax等人工干預(yù)量大的專業(yè)軟件的限制,，轉(zhuǎn)而通過現(xiàn)實(shí)場景對(duì)象采集的多視圖像來重建高真實(shí)感的三維模型幾何和紋理，是成為精確立體重建技術(shù)的必然發(fā)展趨勢,。這其中,，首要的核心問題就是如何提高建模精度。
最初,，團(tuán)隊(duì)嘗試搭建了容納64個(gè)相機(jī)的系統(tǒng),，雖然具備了一定的立體效果，但并不能夠重現(xiàn)真正的立體感,。接著他們又搭起一座鋼架,，但精度的提高還是不顯著。國際同行的實(shí)踐經(jīng)驗(yàn)告訴他們,，相機(jī)越密,，立體感就越好。但是相機(jī)密度增加必然導(dǎo)致數(shù)據(jù)量非常龐大,，很難處理,。這一矛盾又如何解決呢？
經(jīng)過反復(fù)嘗試和研究,，團(tuán)隊(duì)發(fā)現(xiàn)光的變化對(duì)于立體重建的精度有一定影響,。傳統(tǒng)方法是拍攝一系列視頻然后進(jìn)行匹配，類似激光掃描,，細(xì)節(jié)匹配不佳導(dǎo)致三維模型重建精度不高；而如果加入光照的因素,，不斷變換光照并進(jìn)行拍攝,，就可以通過入射與反射時(shí)拍攝的視頻信息找到法線的方向,，從而得知其相對(duì)的位置關(guān)系。把這一“光度立體”的方法和多視圖匹配的方法結(jié)合起來,，就可以得到精度非常高的三維重建方法,。
由此，戴瓊海團(tuán)隊(duì)在國際上首次提出了視覺場理論,，建立了視角,、光照和事件的關(guān)系，本文開頭所描述的“籠子”也由此誕生,，不僅減少了相機(jī)數(shù)量,，而且使建模精度得到了質(zhì)的提升。到2010年,，基于該系統(tǒng)實(shí)現(xiàn)的三維建模誤差僅小于0.3毫米,，在由美國國家科學(xué)基金會(huì)（NSF）等多家權(quán)威機(jī)構(gòu)組織的國際評(píng)測中重建精度排名第一，至今未被超越,。
“一定要做最具原創(chuàng)性的研究”
立體視頻的風(fēng)潮席卷全球,，但是站在這一領(lǐng)域技術(shù)研究最前沿的戴瓊海卻始終告誡團(tuán)隊(duì)師生：“不要盲目跟著別人做，一定要做最具原創(chuàng)性的研究,。”
當(dāng)今影視作品中往往包含大量非現(xiàn)實(shí)場景或?qū)ο?，既要看起?ldquo;真”，又要看起來“活”,，立體視頻制作中真實(shí)感紋理合成與運(yùn)動(dòng)自由控制的矛盾,，長期以來一直是阻礙技術(shù)發(fā)展的共性難題。戴瓊海團(tuán)隊(duì)提出了一系列采樣,、跟蹤及合成方法,，實(shí)現(xiàn)了從“拍攝（反演）”到“創(chuàng)造”的突破，為立體影視制作提供了關(guān)鍵的技術(shù)支撐,。形象地說,，利用他們的技術(shù)來拍大片，技術(shù)人員再也不用費(fèi)時(shí)費(fèi)力在演員身體的各個(gè)關(guān)鍵節(jié)點(diǎn)上作出標(biāo)記,，后期再一一去除標(biāo)記,；“武林高手”們再也不用穿上呼吸窘迫的緊身衣，衣袂飄飄就可以把特技演員的動(dòng)作“乾坤挪移”到自己身上,，即使是懸崖峭壁這樣非常復(fù)雜的環(huán)境也可以輕松實(shí)現(xiàn)動(dòng)作映射——多視角高速采集運(yùn)動(dòng)對(duì)象,，實(shí)現(xiàn)任意場景、任意服飾下的三維運(yùn)動(dòng)跟蹤,，將任意重建運(yùn)動(dòng)或創(chuàng)作運(yùn)動(dòng)映射至采集對(duì)象……與之相比,，當(dāng)年勇奪全球票房冠軍的3D巨制《阿凡達(dá)》所采用的技術(shù)都要遜色不少。
人們愛看立體視頻，但全新采集,、制作的立體片源畢竟數(shù)量極其有限,。如何填補(bǔ)這一巨大缺口？傳統(tǒng)平面影片的立體化轉(zhuǎn)換是一種有效的解決手段,。二維轉(zhuǎn)三維說來容易,，真正做起來可不是用拉伸等技巧使對(duì)象看起來立體那么簡單，而是一個(gè)“源于現(xiàn)實(shí),，高于現(xiàn)實(shí)”的轉(zhuǎn)換過程,，通過對(duì)場景對(duì)象的邏輯關(guān)系、深度關(guān)系進(jìn)行重新映射,，達(dá)到提升電影立體藝術(shù)質(zhì)量的效果,，形成技術(shù)與藝術(shù)的有效融合。
戴瓊海團(tuán)隊(duì)針對(duì)信息欠定條件下平面視頻立體轉(zhuǎn)換的問題,，發(fā)現(xiàn)了透視幾何,、遮擋關(guān)系、聚焦散焦等多元深度信息耦合機(jī)理,，建立了紋理,、光照與物理空間的關(guān)聯(lián)模型與視角-紋理-運(yùn)動(dòng)相關(guān)的深度反演機(jī)制，提出了高維空間深度流行表示理論與稀疏光流跟蹤的視頻深度信息傳播方法,。理論成果發(fā)表于2011年4月的《IEEE多媒體》（IEEE Multimedia）雜志,，并作為2011年12月的領(lǐng)域“亮點(diǎn)”文章，刊登于“今日計(jì)算”（Computing Now,，IEEE計(jì)算機(jī)學(xué)會(huì)的新媒體出版物,，包含13個(gè)IEEE期刊）的最新熱點(diǎn)研究首頁。
在立體視頻顯示方面,，戴瓊海團(tuán)隊(duì)結(jié)合硬件高效性與軟件靈活性,，揭示了莫爾紋與光柵參數(shù)之間的影響規(guī)律，提出了三維影像深度調(diào)節(jié)和自適應(yīng)濾波方法,，突破面板尺寸和觀看距離限制,，實(shí)現(xiàn)了寬視場逼真立體顯示，突破了制約裸眼立體顯示技術(shù)的頑固瓶頸,。
2012年,，戴瓊海在國際立體視頻大會(huì)上作了題為“視覺場捕捉和立體視頻應(yīng)用”（Vision Field Capturing and 3DTV Application）的報(bào)告，成為第一個(gè)在該大會(huì)上展示原創(chuàng)性成果的中國專家,。兩個(gè)半小時(shí)的開場報(bào)告,，數(shù)百名歐美學(xué)者由衷敬佩地豎起大拇指，那一刻,，每位團(tuán)隊(duì)成員都深深感到作為中國人,、作為清華人的自豪,。
讓立體視頻走進(jìn)各行各業(yè)、千家萬戶
除了數(shù)字媒體和文化創(chuàng)意產(chǎn)業(yè),，立體視頻技術(shù)在軍事,、航天、醫(yī)療,、教育等領(lǐng)域也有相當(dāng)廣泛的應(yīng)用前景。多年來,，戴瓊海團(tuán)隊(duì)始終堅(jiān)持產(chǎn)學(xué)研密切結(jié)合,，密切聯(lián)系現(xiàn)實(shí)需求，讓立體視頻走進(jìn)各行各業(yè),、千家萬戶,。
早在 2006年，在廣東省科技廳的支持下,，團(tuán)隊(duì)就在清華大學(xué)深圳研究生院建立了廣東省-教育部立體視頻產(chǎn)學(xué)研基地,。他們還與深圳超多維、北京凌云光電子等公司開展密切的產(chǎn)學(xué)研合作,，讓前沿技術(shù)在信息產(chǎn)業(yè)中“落地生根”,。
2010年，上海世博會(huì)中國館的兩大展區(qū)——“希望大地”,、“森林碳匯”讓前來參觀的各國游客記憶深刻,、流連忘返：步入展區(qū)，宛如置身于大自然的懷抱,，“濕地”內(nèi)的水潭清澈見底,，流水潺潺，可愛的小魚一會(huì)兒潛入水底,，一會(huì)兒躍出水面……當(dāng)游客忍不住伸手觸摸時(shí),，才發(fā)現(xiàn)它其實(shí)是用3D多媒體虛擬技術(shù)所演繹的自然景象。這塊采用高精度三維建模技術(shù)實(shí)現(xiàn)的裸眼立體電視屏幕,，由戴瓊海團(tuán)隊(duì)與上海大學(xué)等合作完成,，成為科技辦博的一大亮點(diǎn)。
2010年8月,，項(xiàng)目發(fā)明的平面視頻立體轉(zhuǎn)換技術(shù)通過美國著名數(shù)字多媒體軟件公司SONIC全球競標(biāo)后,，應(yīng)用于其旗艦產(chǎn)品Raxio Creator立體視頻轉(zhuǎn)換編輯于播放平臺(tái)，支持全球首款立體視頻播放器,，在北美市場同類產(chǎn)品中占有率高達(dá)62%,。
2011年3月20日上午，我國完全擁有自主知識(shí)產(chǎn)權(quán)的立體視頻芯片“清立方”在清華大學(xué)主樓接待廳宣布研發(fā)成功并舉行合作簽約儀式,。目前,，“清立方”已經(jīng)成功實(shí)現(xiàn)在電視機(jī),、機(jī)頂盒等產(chǎn)品中規(guī)模化應(yīng)用,，在終端實(shí)現(xiàn)了高清平面視頻到立體視頻的實(shí)時(shí)重建,。消費(fèi)者使用幾塊錢一副的紅綠眼鏡，即可欣賞3D效果的電視畫面,。
此外,，項(xiàng)目發(fā)明的寬視場裸眼立體顯示系統(tǒng)應(yīng)用于東芝、索尼,、華碩公司的產(chǎn)品且已成功推向市場,。授權(quán)全球視覺計(jì)算技術(shù)行業(yè)領(lǐng)袖NVIDIA公司在其GeForce系列產(chǎn)品中支持裸眼立體顯示軟件驅(qū)動(dòng)，該芯片在個(gè)人電腦市場占有率達(dá)到了60%以上,，授權(quán)著名多媒體軟件公司Cyberlink開發(fā)立體視頻播放器,，占市場份額的70%以上。
項(xiàng)目發(fā)明的技術(shù)形成的相關(guān)產(chǎn)品自投放市場以來,，成功應(yīng)用于消費(fèi)電子,、國防軍事、城市三維測量,、影視動(dòng)漫,、工業(yè)制造等領(lǐng)域，項(xiàng)目成果形成的產(chǎn)品應(yīng)用領(lǐng)域和市場份額正在不斷擴(kuò)大,。
在新的科學(xué)征途上勇往直前
立體視頻技術(shù)項(xiàng)目團(tuán)隊(duì)的發(fā)展壯大,，蘊(yùn)含了“老中青少”四代清華自動(dòng)化人的理想與激情。老前輩張乃堯,、徐文立,，與自己同樣人到中年的爾桂花，年少有為的季向陽,、劉燁斌……說起多年來并肩作戰(zhàn)的團(tuán)隊(duì)骨干,，戴瓊海滿懷欣慰與感激。
清華大學(xué)主樓724,、725實(shí)驗(yàn)室是他們的重要“根據(jù)地”,，團(tuán)隊(duì)中也由這兩個(gè)“番號(hào)”衍生出一個(gè)膾炙人口的典故：“724”，就是抓緊每周7天,、每天24小時(shí)的時(shí)光,，努力拼搏不放松；“725”則要在此基礎(chǔ)上更進(jìn)一步,，“把24小時(shí)當(dāng)成25小時(shí)來過”,。高效再高效、奮斗再奮斗,、集約再集約,、創(chuàng)造再創(chuàng)造,，724和725見證了團(tuán)隊(duì)成員多年來不斷奔跑的姿態(tài)、不懈創(chuàng)新的腳步,。
從這個(gè)優(yōu)秀的集體中,，先后走出了17名博士后（其中3名清華大學(xué)優(yōu)秀博士后）、8名博士（其中兩名清華優(yōu)秀博士畢業(yè)生）和41名碩士,。團(tuán)隊(duì)還為國家廣播電視系統(tǒng)舉辦了四屆工程碩士班,，培養(yǎng)出百余名工程碩士。
“每當(dāng)我深夜走出主樓,，回望還有很多亮著燈的實(shí)驗(yàn)室,，我明白我只是清華浩瀚星空中的一顆。在過去幾年的學(xué)術(shù)生活中,，我對(duì)清華人兢兢業(yè)業(yè)，勇于創(chuàng)新的品格有了更加深切的感悟,。”這是團(tuán)隊(duì)成員,、自動(dòng)化系2009級(jí)博士曹汛在清華大學(xué)2012年研究生畢業(yè)典禮上的一段肺腑之言。年輕的曹汛目前已是南京大學(xué)的一名副教授,，秉承清華人“愛國奉獻(xiàn),，追求卓越”的傳統(tǒng)，在新的工作崗位上繼續(xù)追揮灑著理想與激情,。
面對(duì)國家技術(shù)發(fā)明一等獎(jiǎng)的榮譽(yù),，團(tuán)隊(duì)成員們想得更多的，還是中國在這一領(lǐng)域的未來發(fā)展,，他們更愿意把這次獲獎(jiǎng)看作是推進(jìn)政產(chǎn)學(xué)研用緊密合作,，加速立體視頻技術(shù)成果產(chǎn)業(yè)化的重要契機(jī)。“一方面,，我們會(huì)一如既往,、不遺余力地推進(jìn)立體視頻技術(shù)的技術(shù)創(chuàng)新，為加速推進(jìn)立體視頻技術(shù)成果的應(yīng)用和產(chǎn)業(yè)化作出新的更大的貢獻(xiàn),；另一方面,，我們也將一直秉承清華‘自強(qiáng)不息，厚德載物’的校訓(xùn),，在新的科學(xué)探索征途上勇往直前,。獲獎(jiǎng)只是一個(gè)新的起點(diǎn)，創(chuàng)新路上還會(huì)有更多的挑戰(zhàn)與收獲等待著我們,。”戴瓊海堅(jiān)定地說,。
（清華新聞網(wǎng)1月19日電）
編輯：襄樺
