日前,4K修復版《大鬧天宮》,亮相第十二屆北京國際電影節“修復經典”單元。本次展映的版本由西瓜視頻聯合火山引擎共同修復,是該片首次經由AI技術實現4K分辨率級別復原,也是4K修復版本首次亮相大熒幕。
(資料圖片)
近幾年,老片修復成為了視聽產業技術應用的重要方向之一。
一方面,老片修復讓經典回歸,響應了文化自信的內容需求,是助力文化經典的代際傳承的有效路徑。但與此同步的是,老片修復所涉及的音視頻等技術,根本上也與未來視聽內容創制、視聽內容工業領域相關技術的發展高度相關,并從一定程度上,從成本、人力、流程等多個維度,推動視聽內容行業適應新世代視聽需求,不斷探索技術賦能內容的上限。
無論是從視聽內容行業自身發展,以及視聽內容作為更多行業的標配來看,在追求創制效率、挖掘視聽內容高質量長尾、更沉浸交互的視聽體驗等要求成為多方共識的當下,對這一上限的探索所帶來的價值,將是多樣的。
實際上,除了讓《大鬧天宮》這樣的經典電影回歸大銀幕,老片修復已成為當前成為視頻平臺內容來源之一,另外,老片修復相關的技術,也已應用到了其他主流使用場景。
根據官方消息,基于字節跳動音視頻技術實踐打磨的火山引擎視頻點播與智能處理產品,已經形成了畫質提升全鏈路解決方案,在——老片修復、低質增強、極致高清這一三大主流需求場景,并支持行業客戶應用。
客觀而言,在各類概念的影響下,視聽內容行業在創制層面,對技術的接受度也越來越高,技術的使用也越來越下沉到視聽制作的各個環節,但相對而言,規?;?、流程化的技術應用上,本土相關的技術解決方案仍然相對較少。
從這一維度,火山引擎的優勢除了技術,還在于同屬于字節跳動旗下抖音與西瓜視頻高度協同的視聽內容生態,為火山引擎在技術研發與應用提供了充足的探索空間和規?;瘜嵺`的機會。讓火山引擎面向行業更廣泛地應用成為可能。
極具代表性的《大鬧天宮》
火山引擎聯手西瓜視頻
2021年10月,西瓜視頻聯合火山引擎在北京舉辦“重修舊好”經典中視頻4K修復發布會,并表示未來一年,雙方將共同修復《舒克與貝塔》《西游記》等100部經典動畫。目前,已完成71部影片的修復。
此次重映的《大鬧天宮》,則是火山引擎修復的上述百部動畫中的一部。
《大鬧天宮》于上世紀六十年代初期。由上海美術電影制片廠的老一輩動畫工作者,耗時4年手繪10余萬張畫稿完成。除了本身的題材,《大鬧天宮》在創作過程中,無論是動畫造型設計還是故事呈現形式,都充分地借鑒了中國戲曲、民間“猴戲”傳統,還融入了傳統壁畫、水墨、年畫、京劇臉譜等樣式。
這也讓《大鬧天宮》成為了公認的中國動畫學派的代表作,被影迷們稱之為“國漫巔峰”。
時至今日《大鬧天宮》的豆瓣評分保持在9.4分,排名中國動畫片第一位。
和一些手繪動畫一樣,由于過去多以膠片形式儲存,極易出現清晰度低、色彩失真、瑕疵等畫質問題。
只不過,對已歷經了61年的《大鬧天宮》來說,此次的修復,除了一般性修復所面臨的問題外,對中國動畫的美學底蘊與藝術風格的呈現,也是一大挑戰。
針對《大鬧天宮》(上下集)的4K修復,火山引擎多媒體實驗室采用了基于深度學習的視頻增強修復技術,除了改善老舊動畫的模糊等畫質問題,也輔以人工美學分析調優,力求在提升視頻主觀感知質量的同時。不破壞原片的藝術效果。
從電影院的放映效果和行業的反饋來看,《大鬧天宮》4K修復做到了高度還原,得到了肯定,還原一代人記憶的同時,也讓年輕受眾直觀地感受到了中國動畫美學的魅力。
AI+算法,修舊如舊也需要個性化
火山引擎修復的應用邏輯
在傳統模式里,老片修復屬于稀缺技藝,大多依賴于行業里少數有經驗的修復師逐幀調整。
但常規影片每秒20-45幀,每部老片影片時長在20分鐘至120分鐘。在行業里有經驗的修復師本來就稀缺的情況下,修復往往要經過比較長的周期,平均一到兩個月才能修復完成一部,而如果片源瑕疵復雜程度高、片子時長過長的話,延期情況多有發生。
此外,根據行業公開數據,一部老片修復的費用,平均在20萬-30萬左右。這對擁有老片的版權方而言,批量化地修復顯然費用較高。
在老片修復上,火山引擎的技術通過AI+算法,由智能算法承擔前期畫質分析+修復的95%的工作,一旦制定好模版,修復周期3-5天完成。而相同類型,比如動畫系列短片、電視劇也均可批量同步處理,極大縮短人力投入及處理時間。
不過,雖然火山引擎已經積累了充足的修復樣本,并且形成標準的流程與解決方案,但對火山引擎來說,為更好的保留原有藝術風格,仍然是要針對每一部對癥下藥。
對癥下藥意味著每一部經典的修復流程,都需要以精準的檢測為起點。
根據介紹,火山引擎綜合了市面上客觀評測標準及自研VQscore無參考視頻質量評價指標來完成畫質檢測和評分。其中,VQScore采用了主觀分與細指標融合的方式,并且結合了神經網絡和經典算法,同時,其能夠支持包括噪聲、亮度、對比度等十多種畫質相關的檢測指標,單項或綜合評分輸出,實現對修復基礎問題的覆蓋。
之后,火山引擎多媒體實驗室再針對影片的質量問題進行分析,并在各個維度上產生對應的個性化修復模塊,排列組合調優。
值得注意的是,在這一過程中,火山引擎也會根據老片的具體情況,采用“算法+人工+算法”的組合模式。
這一模式的出發點,還是考慮在提升效率的同時,引入人工調優,從畫質評估+分辨率、流暢度、色彩增強、瑕疵,四個維度進行的優化,讓每一部片子的修復都能“修舊如舊”,達到最理想的修復效果。
舉例來說,在修復《葫蘆兄弟》和《黑貓警長》時,火山引擎團隊對動畫進行多維度的質量分析,調研了許多種不同的深度學習和傳統學習的方法之后,發現算法正確率無法達到 100%,有可能會將動畫片中一小部分圖案的紋理當成劃痕,給一起抹掉。
左圖葉片被當做膠片污漬被消除
經過討論后,為了保證每一幀修復畫面的完美,團隊最終確定了「算法+人工+算法」三步走的方式:先用算法將視頻放大到 4K,初步去除噪聲,完成畫面增強,讓動畫片變得更清晰;之后找出那些人眼看上去非常明顯的劃痕,比如被放映機劃傷的部分、多年儲存中膠片黏連的部分,以此為依據逐幀畫成蒙版;再借助修復算法,將這些被人工標出的損傷部分填補好。
經過第二步人工標注后再進行第三步算法填充,通過這套既靠人工、也靠智能的方式,經典動畫得以綻放新生。
技術的價值,不止修復
火山引擎面向行業的全鏈路解決方案
對于老片修復的價值,行業已有共識。
自2014年,上海國際電影節首創“4K修復”單元后,“4K修復”走進大眾視野。隨后中國電影資料館、中影數字基地等專業機構,陸續發起4K修復計劃。近年來,愛奇藝、優酷、西瓜視頻等視頻平臺也紛紛加入到修復隊伍中來,豐富了內容來源。
通過老片修復,老電影不再塵封再電影展映、博物館,版權價值得以激活,由此走向更多的應用場景。
這些老片修復多以文化經典為主要對象,極大地激活了大眾對于本土文化經典的熱情,在社會大眾層面產生了廣泛的文化影響,為文化代際的傳承提供了具象的載體,也為后續經典的延續,打下了很好的基礎。
而隨著老片修復形成了觀影需求,愛奇藝、優酷、西瓜等線上視頻平臺老片的播出,也不僅局限于老片修復環節,更是全鏈路的優化,提升觀眾的觀看體驗。
作為字節跳動旗下的云服務平臺,火山引擎的視頻云團隊打造的全鏈路畫質優化解決方案,經過字節跳動大規模驗證和持續迭代,不僅對內支持抖音、西瓜視頻等內部業務,也已向企業客戶開放服務。以觀眾的觀看體驗為核心,不僅聚焦于畫質評估與智能處理,還包括分發、播放等環節優化,以及QoS/QoE視頻質量平臺數據監測。
今年初,火山引擎視頻云還在視頻點播(轉碼)、智能處理兩個產品上推出閑時轉碼功能。該功能利用非峰值時間段的機器資源處理特定任務,形成差異化計價,從而幫助客戶節省70%的成本。
100部經典動畫修復,只是火山引擎的開始。