行業(yè)分析 | 刷屏科技圈！還不了解Sora是什么？看完這篇你就懂了
2024-03-13來源：廣發(fā)基金
在中國(guó)的農(nóng)歷年期間，AI行業(yè)也仿佛進(jìn)入了辭舊迎新之際，人們見證了一系列引人注目的進(jìn)步。其中，OpenAI團(tuán)隊(duì)發(fā)布的Sora模型，猶如一顆璀璨的星辰，它高效的降維處理能力讓人不禁遐想其是否迎來了向通用人工智能（AGI）的加速轉(zhuǎn)變。
01 Sora是什么？
Sora采用先進(jìn)的深度學(xué)習(xí)架構(gòu)，將視頻數(shù)據(jù)轉(zhuǎn)換為低維度的潛在空間表示，再通過空間-時(shí)間圖塊（Spacetime latent patches）對(duì)其進(jìn)行分解。
這種方法受到了大規(guī)模語(yǔ)言模型成功經(jīng)驗(yàn)的啟發(fā)，將多樣化的視覺數(shù)據(jù)統(tǒng)一為一個(gè)可處理的格式。Sora可以通過壓縮網(wǎng)絡(luò)將原始視頻數(shù)據(jù)降維，然后將這些壓縮后的表示分解為一系列圖塊（patches），再將這些圖塊（patches）轉(zhuǎn)變?yōu)榱钆疲╰okens）輸入到模型中。Sora進(jìn)一步利用這些圖塊（patches）在多種分辨率、持續(xù)時(shí)間和縱橫比的視頻和圖像上進(jìn)行訓(xùn)練，是一個(gè)以擴(kuò)散模型為基礎(chǔ)、結(jié)合transformer架構(gòu)的生成模型，能夠從噪聲輸入圖塊（patches）中預(yù)測(cè)出原始的“干凈”圖塊（patches）。
該模型具備了以下7項(xiàng)獨(dú)特的優(yōu)勢(shì)：
?。?）視頻生成長(zhǎng)度可達(dá)1分鐘，遠(yuǎn)超其他文生視頻模型。熱門的runway gen2一次生成4秒，可向后每次擴(kuò)展4秒（最多到20秒）；pika 3秒，可向后每次擴(kuò)展4秒到15秒；開源的stable video diffusion 能生成3秒。
?。?）能夠向前或向后擴(kuò)展視頻，以及連接視頻。人們可以使用Sora在兩個(gè)輸入視頻之間逐漸插值，在完全不同主題和不同場(chǎng)景構(gòu)圖的視頻之間創(chuàng)建無縫過渡。這一視頻擴(kuò)展和連接的能力，將有望用于長(zhǎng)視頻制作。
?。?）鏡頭控制能力，3D空間的一致性。Sora可以生成具有動(dòng)態(tài)鏡頭運(yùn)動(dòng)的視頻，隨著攝像機(jī)的移動(dòng)和旋轉(zhuǎn)，人物和場(chǎng)景元素在三維空間中能保持連貫的運(yùn)動(dòng)。
?。?）長(zhǎng)期連續(xù)性和物體持久性。Sora通常能夠有效地對(duì)短期和長(zhǎng)期依賴關(guān)系進(jìn)行建模，例如可以保留人、動(dòng)物和物體，即使它們被遮擋或離開鏡頭；它還可以在單個(gè)樣本中生成同一角色的多個(gè)鏡頭，在整個(gè)視頻中保持外觀。OpenAI官網(wǎng)稱Sora解決了一個(gè)具有挑戰(zhàn)性的問題，即確保一個(gè)主題即使暫時(shí)離開視野也能保持不變。
?。?）模擬真實(shí)世界交互。Sora有時(shí)可以模擬簡(jiǎn)單的影響真實(shí)世界狀態(tài)的動(dòng)作。例如，一位畫家可以在畫布上留下持續(xù)一段時(shí)間的新筆觸，或者一個(gè)人吃漢堡并留下咬痕。
?。?）模擬數(shù)字世界。Sora能夠模擬人工過程，例如視頻游戲，Sora可以同時(shí)通過基本策略控制 Minecraft游戲中的玩家，同時(shí)還可以高保真地渲染世界及其動(dòng)態(tài)。
（7）語(yǔ)言理解，遵循指示。OpenAI在視頻上使用了在Dall E3引入的re-caption技術(shù)，首先訓(xùn)練一個(gè)高度描述性的標(biāo)題生成模型，然后使用它為訓(xùn)練集當(dāng)中的所有視頻生成文本標(biāo)題。OpenAI發(fā)現(xiàn)，基于高度描述性視頻標(biāo)題的培訓(xùn)可以提高文本保真度以及視頻的整體質(zhì)量。OpenAI還利用GPT將簡(jiǎn)短的用戶提示轉(zhuǎn)換為更長(zhǎng)的詳細(xì)標(biāo)題，讓Sora能夠準(zhǔn)確遵循用戶提示生成高質(zhì)量的視頻。
02 Sora的局限性？
盡管Sora在視頻生成領(lǐng)域展現(xiàn)了前所未有的能力，但它仍存在一些局限性。
例如，Sora在模擬一些基本物理交互（如玻璃破碎）時(shí)并不總是能夠準(zhǔn)確捕捉其物理特性，且在某些情況下對(duì)物體狀態(tài)的改變（如食物被吃掉）的模擬也不總是正確的。
此外，盡管Sora在處理短視頻和長(zhǎng)視頻時(shí)通常能夠有效地模擬短期和長(zhǎng)期依賴關(guān)系，但在長(zhǎng)視頻樣本中，仍可能存在一些不連貫性或物體突然出現(xiàn)等問題。
03 Sora誕生的啟示？
即使有一些缺陷，Sora大模型的問世仍舊是AI領(lǐng)域的一大飛躍，其對(duì)我國(guó)AI行業(yè)的啟示是多維的。
首先，它強(qiáng)調(diào)了創(chuàng)新在推動(dòng)技術(shù)進(jìn)步中的核心作用，鼓勵(lì)我國(guó)AI企業(yè)加大研發(fā)投入，尤其是在深度學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域。
其次，Sora的成功利用了數(shù)據(jù)的多樣性和質(zhì)量，這提示中國(guó)可以利用其龐大的數(shù)據(jù)資源，培育適應(yīng)本土市場(chǎng)的AI應(yīng)用。
此外，Sora的誕生也凸顯了建立AI倫理規(guī)范和法規(guī)政策體系，以確保技術(shù)健康和可持續(xù)發(fā)展的必要性。
同時(shí)，國(guó)際合作與競(jìng)爭(zhēng)的日益加劇，提醒中國(guó)需要在全球AI競(jìng)技場(chǎng)上積極布局。人才是關(guān)鍵，Sora的出現(xiàn)進(jìn)一步說明了高級(jí)AI技術(shù)人才的重要性，將促使教育體系加大對(duì)相關(guān)專業(yè)人才培養(yǎng)的力度。
最后，Sora在視頻生成方面的應(yīng)用潛力為多個(gè)行業(yè)提供了創(chuàng)新思路，特別是內(nèi)容創(chuàng)造和媒體傳播，這為未來的行業(yè)應(yīng)用革新開辟了道路。
?。ㄗ髡撸簭V發(fā)基金研究發(fā)展部 吳鵬）
風(fēng)險(xiǎn)提示：基金有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本資料不構(gòu)成本公司任何業(yè)務(wù)的宣傳推介材料、投資建議或保證，也不作為任何法律文件。本基金管理人承諾以誠(chéng)實(shí)信用、勤勉盡責(zé)的原則管理和運(yùn)用基金資產(chǎn)，但不保證基金一定盈利，也不保證最低收益?；疬^往業(yè)績(jī)和獲獎(jiǎng)情況不預(yù)示未來表現(xiàn)。投資者在投資基金前應(yīng)認(rèn)真閱讀《基金合同》和《招募說明書》等基金法律文件，全面認(rèn)識(shí)基金產(chǎn)品的風(fēng)險(xiǎn)收益特征，在了解產(chǎn)品情況及聽取銷售機(jī)構(gòu)適當(dāng)性意見的基礎(chǔ)上，根據(jù)自身的風(fēng)險(xiǎn)承受能力、投資期限和投資目標(biāo)，對(duì)基金投資作出獨(dú)立決策，選擇合適的基金產(chǎn)品。
相關(guān)閱讀