文｜尚恩

編輯｜鄧詠儀

字節(jié)正在跑步AI化，產品側剛剛宣布對外測試AI對話產品豆包，又接連一口氣在Github上發(fā)布兩個AI視頻項目。一個主多模態(tài)動畫生成，另一個則專注文本導向的視頻編輯。

目前在Github上，兩個項目加起來已經拿到1000 星。

來源：公開網絡

不僅如此，還引來大批網友圍觀，有人就直接表示：“一直想在TikTok火，有了AI這下可好辦了”！

來源：Dave Villalva推特

目前，字節(jié)的這倆項目雖已上傳GitHub和arxiv，但還沒有公開代碼，所以想上手玩還得稍等等了。

對此就有不少網友已經等不及，在線求代碼中…

來源：Don Jose Valle推特

話不多說，來具體看看這倆AI視頻生成項目的細節(jié)。

AI捕捉運動信號，一鍵生成視頻

MagicAvatar由字節(jié)跳動開發(fā)，是一款主打多模態(tài)輸入生成的多模態(tài)框架，可以將文本、視頻和音頻等不同輸入方式轉化為動作信號，從而生成和動畫化一個虛擬人物。

具體來說，通過簡單的文本提示就能創(chuàng)建虛擬人物，也可以根據源視頻生成跟隨給定動作生產，還能對特定主題的虛擬人物進行動畫化。

比如，輸入“一個在火山里踢踏舞的宇航員”就能生成一個相應的虛擬形象。

來源：MagicAvatar

或者直接提供一個源視頻，然后AI就會創(chuàng)建一個跟隨給定動作的形象。

來源：MagicAvatar

看過生成效果，不少網友驚呼，Runway的Gen-1、Gen-2不香了！

來源：推特

根據字節(jié)團隊的解釋，相比以往直接從多模態(tài)輸入生成視頻，MagicAvatar獨特之處主要是將視頻生成明確分解為兩個階段。

第一階段，主要將多模態(tài)輸入（文本、視頻、語音等）轉換為表示運動的信號，如人體姿態(tài)、深度信息、DensePose等。第二階段，則是將第一階段生成的運動信號與外觀描述一起輸入到模型，然后生成視頻。

這里提一嘴，DensePose是一種計算機視覺技術，用于將人體在圖像上的姿態(tài)信息與一個3D人體模型進行關聯(lián)。

來源：MagicAvatar

比如，我們想生成一個“女子交叉手臂在舞池跳舞”的視頻，直接把提示詞投喂給AI，AI會先識別生成交叉手臂的動作，然后再生成目標形象。

這樣做的好處優(yōu)勢在于降低了學習難度，不同模態(tài)之間不僅可以使用獨立的數(shù)據進行訓練，且不需要所有模態(tài)都同時存在的數(shù)據集。

另外，MagicAvatar還支持用戶上傳目標人物的圖片，來為特定人物生成動畫，實現(xiàn)個性化需求。

來源：MagicAvatar

未來研究團隊表示，還將推出音頻引導形象生成的功能，到時候用戶只用通過音頻輸入就能創(chuàng)建形象，比如說話、唱歌。

三階段訓練，AI高保真編輯

MagicEdit是一個文生視頻的編輯工具。用戶只需要自然語言提示，就能輕松地改變視頻的風格、場景甚至替換視頻里的對象或添加元素，同時保持原視頻的動作和外觀一致，還可以通過視頻混合功能創(chuàng)造出新穎的概念。

比如，把左邊這只小兔子變成一個像兔子的老虎，直接提示Tiger就搞定。

OS：（雖然看著有點怪，不過意思是到了…）

來源：MagicEdit

具體來說，MagicEdit可以清晰地分離視頻對象的外觀和動作并進行學習，實現(xiàn)了高質量和時間連貫的視頻編輯。它能夠獨立地處理和優(yōu)化這兩個方面，然后再將它們合成到一個新的完整的視頻中。這樣做的好處是，編輯過程更加靈活和高效，同時也能保證視頻的質量和時間連貫性。

來源：MagicEdit

比如，你正在編輯一個視頻，其中有一個人在跳舞，外觀就是這個人的衣服、發(fā)型、臉型等，而動作就是他跳舞的動作。

來源：MagicEdit

簡單來說，MagicEdit就像是一個聰明的導演，它能分別調整這個人的衣服和跳舞動作，然后再把這兩者完美地結合在一起，按照不同個性化需求生成新的視頻。

新視頻可能背景、場景和風格不一樣了，但是保持了原視頻的人物外觀和動作，同時整個視頻看起來既漂亮又流暢。

來源：公開網絡

目前，MagicEdit支持多種編輯應用，包括視頻風格化、局部編輯、視頻混合（Video-MagicMix等功能。視頻風格化就是能夠將源視頻轉換成具有特定風格，創(chuàng)建具有不同主題和背景的新場景，比如現(xiàn)實、卡通等。

來源：MagicEdit

局部編輯則允許用戶對視頻進行局部修改，同時保持其他區(qū)域不變。視頻混合（Video-MagicMix）就類似于MagicMix，可以在視頻領域內混合兩個不同的概念，以創(chuàng)建一個新的概念。

除此以外，MagicEdit還支持視頻擴展功能，可以在不重新訓練的情況下進行視頻擴展任務。

來源：MagicEdit

按照以前的邏輯，視頻擴展通常需要針對此任務特別訓練模型或微調，靈活性比較差。

因此研究團隊，通過在去噪過程中靈活注入反向潛碼（inverse latent）和隨機噪聲，這樣可以保證已知區(qū)域不變，未知區(qū)域生成新的內容，然后無需重新訓練就可以直接生成符合提示的新內容，極大提高了視頻擴展比例的魯棒性。

字節(jié)海外出品

根據論文顯示，這兩個AI視頻項目都是由字節(jié)的科學家共同發(fā)表，其中五位作者中有四人來自中國，且都曾在字節(jié)實驗室做過研究或實習。

通訊作者嚴漢書（Hanshu YAN）是字節(jié)跳動新加坡的研究科學家，致力于視頻/圖像生成模型。

他本科畢業(yè)于北京航空航天大學電氣工程專業(yè)，碩士和PhD都在新加坡國立大學，曾在新加坡海洋人工智能實驗室（Sea AI Lab）實習。

來源：Hanshu YAN

Jun Hao Liew是字節(jié)跳動新加坡的計算機視覺科學家，他本科畢業(yè)于英國倫敦大學學院（UCL）的電子電氣工程專業(yè)，碩士和PhD則是在新加坡國立大學就讀，曾在Adobe實習。據Google Scholar顯示，目前其論文引用量已經有1400多。

來源：GoogleScholar

其他幾位作者，也都是在新加坡讀博，并在字節(jié)跳動新加坡參與科研。

加速布局AI視頻

2023年的字節(jié)跳動在AI領域的布局，確實可以用加速跑來形容。

從近期大模型云雀獲批，到剛剛對外測試AI對話產品的豆包，以及6月字節(jié)跳動旗下火山引擎發(fā)布大模型服務平臺“火山方舟”，面向企業(yè)提供模型精調、評測、推理等全方位的平臺服務。

來源：火山引擎

而作為一家以短視頻起家的互聯(lián)網公司，除了深耕TikTok、抖音等平臺外，視頻一直是字節(jié)的強關注領域。

比如今年4月字節(jié)就在美國上架了一款以照片、視頻為主的應用程序Lemon8，類似于海外的Instagram和Pinterest的混合體。除此以外，字節(jié)跳動旗下的另一款視頻編輯工具“CapCut”，在蘋果應用商店中被列為美國最受歡迎的應用軟件之一。

雖然短視頻業(yè)務市場占有率不低，但要論擁抱AI的速度，字節(jié)確實說不上快。對比之下，前段時間美圖發(fā)布2023上半年財報，得益于AI視頻、繪圖等AIGC功能的推出，總收入12.61億人民幣，同比增長了29.8%。

The Information此前報道表示，字節(jié)跳動2022年總收入達到了850億美元，同比增長38%，主要收入來自TikTok、視頻游戲和企業(yè)軟件等，AI還未能給字節(jié)帶來任何巨大收益。

長按添加「智涌」小助手入群， 備注：公司 職務