近期,，通過人工智能大模型賦能影像創(chuàng)作,，多部AI短片陸續(xù)面世，受到各界關(guān)注,。作為一項(xiàng)重要技術(shù),，人工智能大模型推動(dòng)影視行業(yè)從膠片成像、數(shù)字成像進(jìn)入算法成像時(shí)代,，大幅提升影像生產(chǎn)效能,。很多讀者想了解，新技術(shù)具體怎樣改變影像制作流程,，將給影視行業(yè)帶來怎樣的變革,，“投進(jìn)一部小說，還你一部電影”的愿景會(huì)實(shí)現(xiàn)嗎,？我們約請(qǐng)一線創(chuàng)作者和研究者撰文,，分享創(chuàng)作體會(huì)和前沿觀察。
——編 者
人工智能再造視聽內(nèi)容創(chuàng)作流程
“所思即所見,，所見即所想”,，將心中所想直接轉(zhuǎn)化為眼前可見的內(nèi)容是人類孜孜以求的夢(mèng)想,。作為AI微短劇《中國(guó)神話》創(chuàng)作者，我們?nèi)诤衔纳?、文生圖,、文生音樂和文生視頻等人工智能技術(shù)，實(shí)現(xiàn)了從創(chuàng)意構(gòu)思到視聽呈現(xiàn)的人工智能全流程再造,，探索人類與機(jī)器智能合作的新模式,。
智能化策劃，讓人工智能成為創(chuàng)意策劃的“智囊團(tuán)”,。故事策劃是視聽內(nèi)容創(chuàng)作的首要環(huán)節(jié),，傳統(tǒng)編劇的靈感往往受限于個(gè)人閱歷和知識(shí)結(jié)構(gòu)，而大語(yǔ)言模型因?yàn)閷W(xué)習(xí)了萬(wàn)億數(shù)量級(jí)的文字內(nèi)容,，相比于個(gè)體創(chuàng)作者,，對(duì)古今中外的“人情世故”更為了解，有推理能力的人工智能還會(huì)組合創(chuàng)新,，因而成為故事腳本撰寫的好幫手,。利用人工智能工具，可以高效完成劇本方案,、人物設(shè)定,、作品世界觀架構(gòu)等工作。以《中國(guó)神話》的創(chuàng)作為例,，創(chuàng)作團(tuán)隊(duì)利用智能應(yīng)用對(duì)中國(guó)古代神話資料進(jìn)行智能檢索,、關(guān)聯(lián)分析，快速梳理出角色譜系,、情節(jié)脈絡(luò)等關(guān)鍵信息,，在此基礎(chǔ)上生成數(shù)十個(gè)走向的故事候選方案，分集故事框架的搭建過程僅需20分鐘,，前期策劃的人力投入減少70%左右,。事實(shí)上，在清華大學(xué)團(tuán)隊(duì)近期創(chuàng)作的200余條AI視頻中,，人工智能輔助生成的選題方案已涵蓋文史,、科技、美食,、旅行,、教育等多個(gè)垂直領(lǐng)域，人工智能幫助策劃者快速獲取靈感,、系統(tǒng)化拓展思路，為視聽內(nèi)容策劃與制作的“想什么”賦能,。
自動(dòng)化生產(chǎn),，用人工智能豐富“怎么拍”的路徑,。在影視畫面制作階段，人工智能技術(shù)的引入帶來流程再造,。我們采用文生圖,、文生視頻技術(shù)，通過輸入文字指令讓人工智能自動(dòng)生成相應(yīng)風(fēng)格的圖片素材與視頻素材,，極大簡(jiǎn)化了視覺創(chuàng)意從構(gòu)思到呈現(xiàn)的流程,。這其中的關(guān)鍵技術(shù)在于將自然語(yǔ)言文本與視覺內(nèi)容建立精準(zhǔn)映射，利用大規(guī)模多模態(tài)預(yù)訓(xùn)練模型,，實(shí)現(xiàn)圖片和視頻內(nèi)容的智能生成,。這一技術(shù)打破了傳統(tǒng)動(dòng)畫影視制作中分鏡繪制、三維建模,、動(dòng)作捕捉等環(huán)節(jié)對(duì)專業(yè)技術(shù)的高度依賴,，把傳統(tǒng)視聽創(chuàng)作對(duì)“心—目—手”的高要求轉(zhuǎn)換為“心—目—言”的新要求，實(shí)現(xiàn)了從文字腳本到視覺畫面的直接轉(zhuǎn)化,，使影視創(chuàng)意的呈現(xiàn)更加高效靈活,。這是視聽內(nèi)容創(chuàng)作的一次重大范式轉(zhuǎn)變。由于語(yǔ)料豐富,，人工智能可以快捷制作出包括寫實(shí),、抽象等在內(nèi)的近130種不同藝術(shù)風(fēng)格的影像內(nèi)容，拓展了視覺創(chuàng)意的可能性,，為視聽內(nèi)容創(chuàng)作提供更多靈感,。
智能配音和剪輯，以人工智能替代大量基礎(chǔ)性工作,。音樂是視聽作品的情感載體,，對(duì)渲染氣氛、引發(fā)共鳴起著關(guān)鍵作用,。我們調(diào)用人工智能工具,，對(duì)短劇的故事情節(jié)、畫面節(jié)奏,、情緒基調(diào)進(jìn)行分析并提取關(guān)鍵信息點(diǎn),；再將文本信息輸入音樂模型，使其實(shí)時(shí)輸出與影片風(fēng)格,、情感氛圍相匹配的音樂素材,；最后再通過人工優(yōu)選與整合潤(rùn)色，配制出風(fēng)格一致,、節(jié)奏流暢的影片配樂,。文生音樂的創(chuàng)作模式實(shí)現(xiàn)了人工作曲到智能生成的轉(zhuǎn)變，大幅提升了創(chuàng)作效率,，降低了生產(chǎn)成本,。
配音是視聽作品的重要組成,，對(duì)角色塑造、情感表達(dá)都起到不容忽視的作用,。人工智能語(yǔ)音合成技術(shù)可自動(dòng)匹配對(duì)白語(yǔ)氣,，再現(xiàn)角色的音色特點(diǎn)與情感狀態(tài)?；谏疃葘W(xué)習(xí)的人工智能配音系統(tǒng)還可捕捉真人配音的韻律特點(diǎn)與情感變化,，生成更加接近真人的配音效果。目前,，我們利用人工智能技術(shù),，可實(shí)現(xiàn)配音流程的全自動(dòng)化。
后期制作向來是影視制作中耗時(shí)耗力的環(huán)節(jié),，我們?cè)谝曨l剪輯時(shí)采用智能鏡頭分類,、自動(dòng)拆條、片段標(biāo)引,、智能字幕,、一鍵調(diào)色等方法，可讓人工智能“剪刀手”代勞80%的粗剪工作,。6分鐘時(shí)長(zhǎng)的影片粗剪僅需20分鐘,，是傳統(tǒng)手工剪輯速度的5倍。整個(gè)視頻全部交付的綜合人力時(shí)間成本是傳統(tǒng)制作流程的1/16左右,。在人工智能代勞大量基礎(chǔ)性工作后,，人類創(chuàng)作者能夠?qū)⒏嗑ν度雽?duì)作品的宏觀調(diào)度與藝術(shù)把控上，并對(duì)內(nèi)容進(jìn)行選擇和優(yōu)化,。
整體而言,，人工智能技術(shù)將成為提升視聽內(nèi)容生產(chǎn)力的重要工具，人工智能與人類智慧的交織融合正在重塑視聽藝術(shù)的邊界,。未來,，合成視頻、對(duì)話和交互式視頻,、無編輯視頻,、跨風(fēng)格視頻等新類型內(nèi)容，將極大豐富視聽產(chǎn)品的品類和形態(tài),，提升內(nèi)容的個(gè)性化水平,，提高內(nèi)容制作的實(shí)時(shí)性。同時(shí),，新的創(chuàng)作生產(chǎn)方式也對(duì)創(chuàng)作者的角色定位和知識(shí)結(jié)構(gòu)提出了新的要求,，審美和想象力將變得更加重要。當(dāng)然,，人工智能也會(huì)犯錯(cuò),，輸出無中生有的內(nèi)容,，帶來穿幫鏡頭等問題,，隨著技術(shù)的發(fā)展,，這些問題將逐步得到解決。
當(dāng)人工智能技術(shù)進(jìn)一步成熟之后,，視聽內(nèi)容創(chuàng)作效率將提升百倍千倍,。人類提供一個(gè)初始想法，人工智能就能創(chuàng)作出一部中短篇小說,，根據(jù)這部小說又能創(chuàng)作出一部影片,，整個(gè)過程也許只需要數(shù)分鐘即可完成，這種前所未有的視聽創(chuàng)作的夢(mèng)幻場(chǎng)景,，有很大概率在不久的將來實(shí)現(xiàn),。屆時(shí)，只要輸入創(chuàng)作訴求甚至輸出腦電波,，人們就可進(jìn)行多模態(tài)優(yōu)質(zhì)內(nèi)容創(chuàng)作,，在人工智能協(xié)助下實(shí)現(xiàn)藝術(shù)表達(dá)?！吨袊?guó)神話》等作品只是一個(gè)起點(diǎn),，人工智能賦能文藝創(chuàng)作的更多可能性，正等待著我們?nèi)ヌ剿骱蛯?shí)現(xiàn),。
（作者為清華大學(xué)新聞與傳播學(xué)院教授）
編輯：李華山
