事情大家都知道了：字節跳動終于發布了自家的“Sora”。

9月24日的深圳AI創新巡展上，火山引擎發布兩款視頻生成大模型PixelDance（像素舞動）和Seaweed（海草），并且面向企業市場開啟邀測。

這是一次毫無預警的發布。除了少數進入到內測環節的創作者，字節沒有發布任何有關新產品的消息。

盡管低調，但市場對字節系Sora仍有著巨大期待。年初，OpenAI的Sora幾乎是一腳踢開了多模態、視頻生成的大門。之后，6月快手可靈的爆火出圈，徹底點燃了這個賽道。

作為短視頻巨頭的字節，從去年ChatGPT發布后，就備受市場關注。從已有條件上看，字節幾乎是大廠中，做大模型和AI產品先天優勢最足的一家：有錢、有芯片、人才密度也足夠大。

類Sora賽道，也早已被市場公認為是字節、快手的“天選場景”——短視頻巨頭不僅有巨量數據，也有足夠豐富的應用場景。

但現實是，快手可靈自6月上線以來，已有超260萬人使用過可靈，累計生成了2700萬個視頻、5300萬張圖片。此前的字節卻仍未有動靜，不免要面對市場上的諸多猜測——等到此時發布AI視頻生成模型，還有多大勝算？

字節版“Sora”，可以摘掉Sora的帽子嗎？

從效果上看，兩款模型初步可以實現的的效果，無疑令人驚艷。

字節官方給出的實例中，無論是統一性、角色豐富度，都上了一個臺階。

由文字或圖像生成的AI視頻，不僅能夠遵循復雜指令，讓不同人物完成多個動作指令的互動，人物樣貌、服裝細節甚至頭飾在不同運鏡下也保持一致，接近實拍效果。

△來源：豆包AI視頻生成模型 

值得關注的，一是多幀視頻的連續性。

此前，視頻生成模型大多只能完成簡單指令，比如某個人/某個物體，完成單個動作。一旦有比較復雜的動線，視頻就容易失真、變形。

現在的豆包AI視頻生成模型，則可以實現自然連貫的動作，在奔跑、走路、抬頭等等上面，連貫性和效果都好了不少。簡單來說，不會看著看著，就突然從史密斯吃面，變成特朗普吃面。

△來源：豆包AI視頻生成模型

二是角色的豐富度。豆包這次發布的AI模型，優勢尤為突出的是多主體間的互動。

在不少實例中，都可以看到多個角色之間的互動，動作連貫合理，鏡頭類型也十分豐富，包含了多種類型的鏡頭調度方式——遠景和近景的切換。鏡頭也能實現變焦、環繞、平搖、縮放、目標跟隨等多種形式的變化。

在切換前后，人物樣貌、服裝細節甚至頭飾也都可以保持一致。

下面這則視頻，就從前面戴潛水墨鏡的人，切換到后方另一位潛水員，兩者的形象也都保持了一致。

△來源：豆包AI視頻生成模型 

目前，PixelDance（像素舞動）和Seaweed（海草）模型都正在內測版小范圍測試，還未完全開放公測。但《智能涌現》通過內測風景、人物等等場景，即夢AI在實時生成風景視頻上，鏡頭的調度、畫面質量上，都可圈可點。

不過，在人物生成場景里，輸入原圖+指定的動作Prompt后，隨著動作改變，一致性還是相當可以，但會有部分手指變形的Bug，豆包本次的AI模型基于自研的DiT架構打造，這也被認為是OpenAI Sora的同款架構，是目前AI視頻賽道上的主流技術路線。

不過，AI視頻生成賽道的發展階段比文字、圖像都還要更早。如今的底層算法以閉源為主，數據極其稀缺——意味著各家都只能閉門造車，拼的就是工程優化能力。

火山引擎總裁譚待也表示，即夢AI等業務場景，已經對Transformer結構進行深度優化，而在DiT架構的研究上也有多款創新，才能大幅解決AI視頻應用成本昂貴的問題，讓應用成本降到最低。

但也有AI視頻領域的從業者保持冷靜，認為不用抱有太高期待。“現在底層的大模型沒有代差，拉不開太大差距。”

AI博主歸藏，就把豆包和AI視頻老大哥Runway，以及明星初創Luma AI的生成效果，做了直觀對比——

△來源：歸藏

從功能上看，此次字節發布的Seaweed模型產品功能和體驗更多元，不僅支持各種風格提示詞響應，還有橫豎多種比例的輸出。

“綜合結果比Luma要好很多，跟Runway各有優劣。”歸藏在即刻上表示。

無論如何，字節的雄心壯志已經擺在了桌上。除了兩款AI視頻新模型，本次字節還發布了新的豆包音樂模型和同聲傳譯模型，以及音樂模型。對創作者而言，豆包的大模型家族真正成為了“全家桶”：覆蓋語言、語音、圖像、視頻等模態。

更值得關注的，是業務層面的迅猛增長。

自豆包大模型家族正式發布以來，日均調用量經歷了爆發式增長。截至9月，豆包語言模型的日均tokens使用量超過1.3萬億，相比5月首次發布時增加十倍。其中，多模態數據處理量也分別達到每天5000萬張圖片和85萬小時語音。

近期的一張AI產品增長表現統計圖，就頗令人玩味：單單是豆包App的MAU增長，就已經遠遠拉開了與其他產品的距離。

△來源：AI產品榜

豆包爆發式的增長，更多來自此前的激進價格戰。自5月以來，包括字節、阿里、騰訊等巨頭，以及Deepseek等創業公司，展開了一場轟轟烈烈的降價。字節甚至把每千Token價格卷到了以”厘“為單位，迅速拉到了地板價。

現在，底層模型已經到了拼性能的階段。火山引擎總裁譚待，這次就又提出了一個新指標：峰值TPM（每分鐘Token數）。“業內多家大模型目前最高僅支持300K甚至100K的TPM，難以承載企業生產環境流量。”他說。

TPM，可以看作是在在單位時間內，模型的數據吞吐量。豆包Pro支持800K的TPM——據譚待表示，比如某科研機構的文獻翻譯場景，TPM峰值為360K，某汽車智能座艙的TPM峰值為420K，某AI教育公司的TPM峰值會達到630K。這些場景，豆包Pro如今都可以滿足。

隨著豆包AI生成視頻的發布，字節最后補上了AI視頻的一塊拼圖。這和昨夜OpenAI突然發布的高級語音功能一起，一起形成了一種明喻：在模型層，大廠們已經武裝到牙齒，大的細分賽道都有相應的模型——留給創業者的空間，又要再一次打個問號。

字節和快手的漫長對壘

在AI賽場上，字節對于勝利的渴望已經溢于言表。

剪映及其旗下的AI視頻產品“即夢”，就由前抖音集團CEO、現剪映業務負責人張楠親自帶隊。而為了盡快讓此次的兩款新AI視頻生成模型上線，字節也抽調了不少人做工程。

字節跳動的焦慮，來自短視頻戰場上的老對手：快手。

2024年6月，文生視頻模型“可靈”，就突然空降快手剪輯產品“快影”。

在行業苦等“中國版Sora”出現的當下，可靈的表現是亮眼的。

“現在視頻生成很難做長的原因，一是成本高，二是前后一致性太難保證。”一名AI從業者告訴36氪，“但是可靈能生成2分鐘視頻，比Sora（60秒）的天花板還高。”

更進一步，從鏡頭的連貫性和元素關系的邏輯性來看，不少業內人士都表示，可靈在中國類Sora產品中，效果是Top級別。

與彼時仍未開放的Sora，和小出圈的生數科技視頻生成模型Vidu相比，快手對“老鐵們”也可謂是慷慨和坦誠：立馬開放公測，且免費。

與“眾多工程師參與”的PixelDance和Seaweed不同，可靈團隊的項目執行方式可謂是相當粗放和激進。

有媒體曾報道，可靈團隊只有20余人，從立項到上線只花了3個月。可靈啟動一個月后，就被上升為快手的戰略級項目。快手高級副總裁、主站業務與社區科學線負責人蓋坤常說的一句話是：公司的卡都給你們用，公司全力支持。

在豆包發布之前，可靈也提供截至9月19日，可靈已經迭代了9次，最新的1.5版本上線了Web端，有了更高清的畫質、更符合物理規律的運動軌跡，支持更為復雜的鏡頭控制和可自定義的運動軌跡。

不少從業者對36氪判斷，可靈的出圈，與快手豐富的視頻數據積累密不可分。而能與之一戰的，大概率只有擁有抖音的字節跳動。

然而在視頻生成領域，字節對陣快手以來，碰到了罕見的敗北。其實早在可靈發布前1個月，剪映就在AIGC產品“即夢”上線了AI視頻生成功能。

但無論是關注度，還是用戶口碑，即夢都不算一款成績漂亮的產品。一名使用者評價：在效果一般的情況下，非會員生成視頻超3秒竟然還要收費。

壓力已經給到了字節。一位AI 3D領域生成的從業者就表示，AI視頻生成公司給出的樣例，一般都是嘗試過輸入多次Prompt，才得出來的Good Case（好樣本）。等之后全量上線，才能真正看到豆包在實用場景下的表現。

“一些明顯可以感知的指標在于，長鏡頭時長什么時候可以超過1分鐘，多分鏡切換后時空一致性能不能保持，以及隨著分辨率加大時，生成時間會不會跟隨分辨率指數增長。”他表示。

對于當下的抖音和剪映業務體量而言，AI視頻的應用成本依舊是高昂的。

一個最直觀的問題在于，對于剪映這樣一個月活已經超過3億，專注在視頻剪輯場景的應用，如何要在降低AI應用成本的同時，維持產品和效果的高水平，將是更難的挑戰。

先發優勢在AI模型層依然重要。目前，可靈、Vidu已經先行占據了視頻生成領域的用戶心智，作為后入者的字節，不得不加快步伐。

漫長的戰役才剛剛開始。

關注多享有數，持續為您分享行業熱點要聞！

四川多享信息技術有限公司是一家專注于數字化服務、系統開發、新媒體營銷、農村電商的專業互聯網公司，公司位于成都高新區天府二街，成立16年，擁有豐富開發經驗，至今已助力5000+中小企業實現數字化轉型升級。

研發了B2C商城系統、私域電商系統、分銷商城系統、S2B2b2C供應鏈電商系統、小程序商城系統等，支持中臺云倉、供應商、自營商城、直播、短視頻、分銷、零售商管理、運營商管理、營銷工具、數據分析、會員儲值、積分商城等功能，幫助企業實現數字化轉型，助力降本增效，獲取更多收益！