上半場比的是什么?比誰的數(shù)據(jù)集更干凈、誰的視頻動作更連貫、誰的分辨率更高。可落到真實創(chuàng)作場景就會發(fā)現(xiàn),AI視頻真正的瓶頸,遠(yuǎn)不止這些參數(shù)的比拼。
7月31日,Seedance 2.5正式發(fā)布上線。
【資料圖】
為此36氪AI測評團(tuán)隊及27位36氪AI測評官,用了一周時間,以西游記部分劇情進(jìn)行AI 內(nèi)容還原,從七個維度對即夢Seedance 2.5模型進(jìn)行深度測評。
本次我們選用《西游記》作為測評載體,正是因為故事國民認(rèn)知度高,可以規(guī)避劇情理解帶來的主觀偏差,讓我們直接審視模型本身的長短板。
站在AI視頻迭代的轉(zhuǎn)折點,Seedance 2.5的更新,究竟解決了哪些真實生產(chǎn)痛點,又還留下哪些待解難題?
先說結(jié)論:
1、這次升級有三個硬功能直接改變了創(chuàng)作方式:時長從15秒翻倍到30秒;參考素材上限從15個拉到50個全模態(tài);新增局部編輯功能。
2、畫面層面的提升同樣明顯,運(yùn)鏡有了設(shè)計感,動作戲的打擊感接近游戲CG,角色表情細(xì)膩,整體質(zhì)感逼近實拍。
3、但是問題也很明顯:
·長鏡頭人物一致性仍然是最大的痛點。
·模型對提示詞理解能力跟不上生成能力,對文學(xué)性描述的提示詞的理解仍需提升。
·使用成本偏高,完整成片門檻在數(shù)百元起步。
以下是七大維度的詳細(xì)測評。
01
空間結(jié)構(gòu):專業(yè)用戶的利器
Seedance 2.5支持白模參考,這件事尤其重要。
資深測評官普遍給出了較高評價:
相比2.0,Seedance 2.5強(qiáng)化了空間幾何理解能力。模型不再只是識別參考圖中的像素信息,而是能夠從3D參考中提取深度信息,重建場景中的三維空間關(guān)系。這項能力在上一代產(chǎn)品中還只是雛形,而到了2.5已經(jīng)逐漸成熟。
不過,對于沒有3D制作經(jīng)驗的普通用戶而言,體驗則完全不同。
測評過程中反復(fù)出現(xiàn)一個問題:當(dāng)參考圖不足時,模型對于人物朝向的判斷仍然容易出現(xiàn)偏差。
比如:希望生成“孫悟空背對觀眾、面向妖怪”的場景畫面,最終結(jié)果卻經(jīng)常出現(xiàn)孫悟空面向觀眾、背對敵人,人物關(guān)系與預(yù)期相反。
造成這一問題的原因在于:純文字描述本身缺乏空間深度信息。模型只能依據(jù)語義推斷人物朝向,當(dāng)描述不夠具體時,往往會優(yōu)先生成最常見的正面人物構(gòu)圖。相比2.0,這一問題已有改善,但仍未完全解決,因此普通用戶仍需要依賴更精準(zhǔn)的提示詞,或者通過多次生成不斷調(diào)整結(jié)果。
與此同時,Seedance 2.5在畫面空間層次上的表現(xiàn)則更加穩(wěn)定。前景、中景和后景之間的關(guān)系劃分清晰,景深自然,整體畫面具備較好的空間縱深感,不再容易出現(xiàn)所有元素堆疊在同一平面的情況。
我們以《女兒國》為測試場景。最終生成結(jié)果中,空間關(guān)系清晰,背景模糊過度自然,沒有出現(xiàn)明顯的穿幫或站位錯誤,整體空間表達(dá)已經(jīng)接近真實攝影鏡頭的效果。
02
鏡頭語言:運(yùn)鏡終于有了節(jié)奏感
如果說空間結(jié)構(gòu)是"靜態(tài)的空間",那鏡頭語言就是"動態(tài)的空間"。
新版本的運(yùn)鏡變化,是整體性的。
鏡頭的運(yùn)動有了節(jié)奏,有了呼吸感,有了電影運(yùn)鏡邏輯:一個從近景鏡頭,速度會有變化,開始慢、中間快、收尾再慢下來,像真正的攝影師在操作。
這種變化來自模型對鏡頭語言數(shù)據(jù)的學(xué)習(xí)更深入了。2.0時代模型學(xué)的是鏡頭運(yùn)動的形式,2.5學(xué)的是鏡頭運(yùn)動的目的。它開始理解不同運(yùn)鏡方式對應(yīng)的情緒和敘事功能,所以動起來就有了章法。
最明顯的提升是轉(zhuǎn)場邏輯。
新版本生成的視頻鏡頭連貫性顯著提升,觀眾觀看時不會有明顯的斷裂感。
一位長期制作AI漫劇的測評官評價得很直接:
分鏡設(shè)計是導(dǎo)演的核心能力之一。如果AI能自主做出有設(shè)計感的分鏡和運(yùn)鏡,那它觸及的就不只是執(zhí)行層,而是開始進(jìn)入創(chuàng)作層了。
紅孩兒這段的轉(zhuǎn)場是個很好的例子:鏡頭從紅孩兒的火焰特效過渡到下一個場景,用燃燒的火焰作為轉(zhuǎn)場元素,整個過渡非常自然。這已經(jīng)超出簡單鏡頭移動的范疇,帶有敘事思維在里面。
雖然它還達(dá)不到專業(yè)導(dǎo)演的水平,但理解的方向是對的,而且進(jìn)步速度很快。
03
運(yùn)動表現(xiàn):打擊感拉滿,走路仍是“玄學(xué)”
運(yùn)動表現(xiàn)在所有測評官的結(jié)論高度一致:打擊感和交互表現(xiàn)非常出色。
一位專業(yè)測評官的評價得很真實:
打擊感這個東西,聽起來很抽象,看一眼你就懂了:一擊打出去,你能感覺到力量,能看到肌肉的繃緊、衣服的飄動、受力反應(yīng)以及環(huán)境因此產(chǎn)生的變化。2.5在這方面的表現(xiàn),已經(jīng)接近一些游戲CG的水平。
能做到這個程度,跟訓(xùn)練數(shù)據(jù)有直接關(guān)系:Seedance團(tuán)隊專門針對動作類影視素材做了強(qiáng)化訓(xùn)練,讓模型學(xué)習(xí)到了人體運(yùn)動的物理規(guī)律和受力反饋。這說明2.0模型只學(xué)到了動作的外形,2.5學(xué)到了動作的力學(xué)邏輯。
連續(xù)動作的穩(wěn)定性也得到了大幅提升。2.0常見的卡頓、掉幀、人物消失、道具亂飛的問題,在2.5上明顯減少。人物不會再出現(xiàn)亂揮拳的詭異動作,每一下攻擊都有明確的目標(biāo)和軌跡。
孫悟空和二郎神對打的測試?yán)铮P瓦€自主添加了特效。火星、火花、能量波動,配合上合適的音效和打擊節(jié)奏。甚至完成了黑白高光場景的濾鏡效果,視覺觀感體驗超出預(yù)期。
04
角色演繹:內(nèi)心戲更細(xì)膩,但對提示詞的理解仍有偏差
角色演繹一直是衡量AI視頻智能程度的重要指標(biāo),也是本次測評中提升最明顯、評價分化明顯的一項能力。
令人驚喜的是,一旦模型準(zhǔn)確理解了提示詞,它呈現(xiàn)出的角色表演已經(jīng)遠(yuǎn)超預(yù)期。
在測試中,我們設(shè)計了12個表達(dá)情緒的劇情片段。
例如:在小雷音寺的劇情中,孫悟空鉆到黃眉大王的肚子之后讓他痛不欲生的場景;還有車遲國斗法片段,老國王表示震驚的方式。
通過對人物的眼神、面部表情和細(xì)微動作讓觀眾清晰感受到情緒表達(dá)。
相比上一代,Seedance 2.5對微表情的刻畫明顯更加細(xì)膩。人物眼神的停頓、嘴角的變化、面部肌肉的輕微運(yùn)動,都能夠隨著情緒變化自然調(diào)整,角色不再只是完成動作,而開始具備一定的情緒表達(dá)能力。
這種提升意味著:模型已經(jīng)開始學(xué)習(xí)影視表演中的細(xì)節(jié),而不僅僅是驅(qū)動人物完成一個動作。
角色演得好,前提是模型理解了創(chuàng)作者的意圖。
在測試過程中,我們發(fā)現(xiàn)模型對一些抽象描述仍然容易出現(xiàn)理解偏差。
例如,我們希望女兒國國王的臉上浮現(xiàn)出淡淡的紅暈。最終生成的結(jié)果卻并非皮膚自然泛紅,而是在人物臉部疊加了一圈明顯的紅色光暈,整體效果十分違和。
這個案例反映出,模型對于語言和視覺概念之間的映射仍然存在一定偏差。
它能夠理解“紅”“臉”“出現(xiàn)”這些關(guān)鍵詞,卻未必真正理解“紅暈”所代表的是一種皮膚透出的細(xì)微色彩變化,而不是一層紅色的光效。因此,當(dāng)提示詞包含大量抽象、文學(xué)化的表達(dá)時,模型更容易按照字面含義進(jìn)行視覺還原,而不是理解其中真正想表達(dá)的畫面效果。
這也帶來了一個比較現(xiàn)實的問題。
提示詞寫得越抽象、越強(qiáng)調(diào)意境,模型反而可能出現(xiàn)理解偏差;而如果把描述拆解得足夠具體,又容易讓生成結(jié)果失去自然感,顯得過于機(jī)械。
05
畫面質(zhì)感:接近實拍,細(xì)節(jié)處理仍有破綻
畫面質(zhì)感是用戶最容易感知的一項能力,也是 Seedance 2.5 相比上一代提升最明顯的部分之一。從最終生成效果來看,無論是光影氛圍、材質(zhì)表現(xiàn)還是人物質(zhì)感,都已經(jīng)非常接近真實影視畫面。
首先是光影。
相比2.0較為固定的打光方式,2.5對不同場景的光線氛圍已經(jīng)具備了一定的理解能力。情緒表達(dá)偏克制的場景,會采用更加柔和的側(cè)光和較低的整體亮度;動作場景則會強(qiáng)化高光和動態(tài)光效,以增強(qiáng)畫面的沖擊力。 光源方向一致與材質(zhì)面對光線時的正確反應(yīng)同樣重要。人物皮膚、眼睛、毛孔和衣服的紋理,要隨著距離和角度自然變化。
畫面的整體渲染質(zhì)量也有明顯提升。
人物皮膚、服裝材質(zhì)以及環(huán)境細(xì)節(jié)都更加真實,陰影過渡和材質(zhì)反射更加自然,畫面不再像上一代那樣帶有明顯的塑料感和油膩感。如果說 Seedance 2.0 的畫面始終像隔著一層薄霧,那么新版本則讓整體質(zhì)感變得更加通透真實。
人物細(xì)節(jié)同樣是這一版本的重要進(jìn)步。
上一代最容易暴露AI痕跡的地方,就是人物皮膚過于光滑,缺乏真實肌理,看起來像過度磨皮。而在 2.5 中,人物面部已經(jīng)能夠呈現(xiàn)更加細(xì)膩的皮膚紋理,毛孔、皺紋、膚質(zhì)等細(xì)節(jié)得到保留,角色整體也更接近真人拍攝的狀態(tài)。
值得一提的是,Seedance 2.5對參考圖的處理方式也進(jìn)行了優(yōu)化。
它并不會簡單復(fù)制參考圖,而是在保留主體特征的基礎(chǔ)上,對畫面進(jìn)行重新理解和優(yōu)化。例如,一些參考圖中存在的光線、材質(zhì)或細(xì)節(jié)瑕疵,模型往往會主動修正,而人物特征和整體風(fēng)格則能夠較好地保留下來。這意味著模型已經(jīng)開始具備一定的理解后再生成能力,而不是單純復(fù)刻參考圖。
在整體質(zhì)感提升的同時,我們也發(fā)現(xiàn)了三個細(xì)節(jié)問題:
第一個問題,多角色時面部容易扭曲。當(dāng)一個畫面里出現(xiàn)很多角色時,其中某個角色的面部可能會出現(xiàn)扭曲或變形。背后的原因是計算資源分配的問題,角色一多,每張臉分到的計算資源就少了,細(xì)節(jié)精度自然下降。
第二個問題,720P上限是專業(yè)用戶的硬傷。2.5目前最高只支持720P,和4K比起來還是缺少質(zhì)感和細(xì)節(jié)。對普通用戶來說是夠用了,但對專業(yè)影視創(chuàng)作者來說,720P是沒法交付的。
第三個問題,文字準(zhǔn)確性提升了,但還不夠。2.0時代生成的文字基本是亂碼,2.5在這方面有很大提升,大部分時候文字是對的。但還是會出現(xiàn)錯別字,而且一旦出現(xiàn)錯別字,這個鏡頭就不能用了。對商業(yè)廣告來說,交付效率大打折扣。
06
一致性:仍是AI視頻落地的最大痛點
在短鏡頭中,人物形象通常能夠保持較好的穩(wěn)定性。但當(dāng)視頻時長增加,人物一致性依舊是所有 AI 視頻模型共同面臨的最大問題。
在實際測試中,我們遇到了一個非常典型的案例:
來看這個三打白骨精的視頻片段。重點關(guān)注豬八戒和沙僧的人物形象,我們設(shè)定沙僧形象為正常的小麥膚色,但在超長視頻中,角色膚色發(fā)生變化,最終偏向了傳統(tǒng)作品中常見的青色形象。豬八戒也從第一次畫面轉(zhuǎn)場之后變成了其他傳統(tǒng)影視形象。
小tips:要保持主體形象完全不變,在提示詞里寫“參考圖中的形象,外貌和著裝保持完全一致”,可以增加避免人物形象發(fā)生偏移的概率。
07
版本新功能迭代:重構(gòu)AI視頻生產(chǎn)流程
2.0時代,AI視頻更像是一次性片段生成工具。輸入提示詞產(chǎn)出畫面,效果不滿意只能全部重制,工作流程單向、不可微調(diào)。
2.5三大核心更新徹底重構(gòu)創(chuàng)作邏輯:30秒時長、50個全模態(tài)參考素材、局部編輯,3分鐘超長視頻模式。
1. 30秒時長:實現(xiàn)完整短片敘事
圖片1
15秒僅能承載單一鏡頭、單個動作,無法串聯(lián)起劇情的起承轉(zhuǎn)合,而30秒擁有完整敘事空間,漫劇、短視頻廣告、劇情短片甚至能單條完成敘事。
B站頭部的測評官評價得很客觀:
2. 50個全模態(tài)參考素材:緩解一致性短板
圖片2
支持圖片、短視頻、音頻、文本混合導(dǎo)入,多角度人物圖、分鏡參考視頻可以強(qiáng)制鎖定角色、運(yùn)鏡風(fēng)格,對一致性短板做出針對性優(yōu)化。
3. 局部編輯:告別全盤重制抽卡
圖片3
過去的創(chuàng)作中出現(xiàn)一處瑕疵,整條視頻就要作廢,現(xiàn)在可框選出人物面部、背景、光影單獨(dú)重繪修改,大幅縮短重復(fù)生成視頻的創(chuàng)作周期。
4. 3分鐘超長模式:前瞻性技術(shù)試水
圖片4
180秒實測成片后半段形象漂移嚴(yán)重,目前只適合概念測試,離實現(xiàn)商業(yè)價值還有一定距離。
08
結(jié)語:AI視頻的下半場:迭代才剛剛開始
對比半年前同類AI視頻產(chǎn)品,Seedance 2.5七維綜合得分大幅領(lǐng)先。
對短視頻創(chuàng)作者、個人漫劇制作者、小型創(chuàng)意工作室而言,已經(jīng)可以融入日常創(chuàng)作流程,依靠多參考素材、局部編輯功能抵消一部分缺陷;但對于院線級短片、高標(biāo)準(zhǔn)宣傳片,受分辨率、一致性限制,現(xiàn)階段無法直接交付成片。
長遠(yuǎn)來看,本次測評也指明了模型后續(xù)迭代的核心方向:
第一,從底層算法邏輯解決人物一致性問題;
第二,繼續(xù)打磨文本指令與視覺畫面的對齊能力;
第三,開放更高分辨率輸出權(quán)限,滿足商業(yè)化落地對畫面質(zhì)量的要求。
這一輪版本迭代刷新了AI視頻的創(chuàng)作上限,但距離交出完美答卷仍有距離。
下期預(yù)告:
AI視頻的瓶頸在交互端同樣重要:
怎么寫提示詞才能讓模型準(zhǔn)確理解你想要的畫面?提示詞的上限夠不夠生成30秒視頻?生成一條30秒的視頻,實際成本到底是多少?
這些問題,也是決定AI視頻能不能真正走進(jìn)日常工作流的關(guān)鍵。
下一期,我們將聚焦用戶體驗與創(chuàng)作效率,從提示詞工程、使用成本、創(chuàng)作流程三個維度,繼續(xù)拆解Seedance 2.5在實際工作流中的真實表現(xiàn)。
end
AI測評
新媒體矩陣
本文來自微信公眾號“36氪AI測評”,36氪經(jīng)授權(quán)發(fā)布。
上一篇:PriceSeek提醒:8月10日外盤甲醇價格波動影響分析
下一篇:最后一頁
凡本網(wǎng)注明“XXX(非現(xiàn)代青年網(wǎng))提供”的作品,均轉(zhuǎn)載自其它媒體,轉(zhuǎn)載目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點和其真實性負(fù)責(zé)。
原標(biāo)題:文化交流讓兩岸同胞心更近、情更濃(主題)——訪閩臺歷史文化
2023-09-12 09:56
原標(biāo)題:暑期檔中國電影觀眾滿意度調(diào)查出爐(引題)?6部影片滿意度超8
2023-09-12 09:57
原標(biāo)題:河北發(fā)現(xiàn)完整“熱河生物群”恐龍化石人民日報石家莊9月11日電
2023-09-12 09:59
原標(biāo)題:2023國際青年設(shè)計師邀請賽周五開賽(引題)?居庸關(guān)長城“跨界
2023-09-12 09:55
原標(biāo)題:“福運(yùn)武清”鄉(xiāng)村振興主題文學(xué)創(chuàng)作采風(fēng)活動舉行(引題)?市作
2023-09-12 09:57
原標(biāo)題:當(dāng)“非遺藤編”走向世界工人日報-中工網(wǎng)記者徐福平陳子蘊(yùn)一樓
2023-09-09 14:57
原標(biāo)題:工業(yè)題材電影創(chuàng)作研討會在京舉辦工人日報-中工網(wǎng)記者陳俊宇9月
2023-09-09 15:07
原標(biāo)題:2024中國國際時裝周時裝大秀綻放女性力量中新網(wǎng)北京9月8日電(
2023-09-09 14:54
原標(biāo)題:《別董大》原來是高適的“蹭飯”詩“千里黃云白日曛,北風(fēng)吹雁
2023-09-09 15:01
原標(biāo)題:周杰倫天津演唱會發(fā)生意外?經(jīng)紀(jì)公司凌晨回應(yīng)9月8日晚,周杰倫
2023-09-09 15:02
原標(biāo)題:“灣仔之狼”馬家輝:要讀書,就要讀經(jīng)典讀書有多好,不必再多
2023-09-09 08:06
原標(biāo)題:反套路、反類型《云之羽》打造新江湖武俠劇中新網(wǎng)9月8日電?由
2023-09-09 08:02
原標(biāo)題:第48屆多倫多國際電影節(jié)啟幕多部華語影片亮相中新社多倫多9月7
2023-09-09 08:05
原標(biāo)題:聚焦青年作家創(chuàng)作“新文化與新時代青年寫作”主題論壇舉辦中新
2023-09-08 15:03
原標(biāo)題:大作云集第十屆烏鎮(zhèn)戲劇節(jié)將于10月啟幕中新網(wǎng)北京9月7日電(記
2023-09-08 15:06
原標(biāo)題:第十屆烏鎮(zhèn)戲劇節(jié)將啟匯集11個國家與地區(qū)劇目中新網(wǎng)嘉興9月7日
2023-09-08 15:00
原標(biāo)題:浙江湖州推出文旅亞運(yùn)主題線路助力文旅產(chǎn)業(yè)9月6日,游客在游覽
2023-09-08 14:58
原標(biāo)題:帕米爾高原上的歌舞情緣新疆塔什庫爾干塔吉克自治縣(以下簡稱
2023-09-08 15:04
原標(biāo)題:張藝謀新片《堅如磐石》舉行發(fā)布會北京日報記者袁云兒張藝謀首
2023-09-08 10:56
原標(biāo)題:《相約敦煌》文藝晚會上演9月6日,演員在《相約敦煌》文藝晚會
2023-09-08 11:02
原標(biāo)題:喀什英吉沙:傳承民族特色體驗非遺魅力9月5日,手工藝人在英吉
2023-09-08 10:56
原標(biāo)題:“名家讀經(jīng)典”系列首期:阿來解讀《瓦爾登湖》中新網(wǎng)北京9月7
2023-09-08 10:56
原標(biāo)題:《封神三部曲》用“東方敘事”助力在國際銀屏上講好“中國故事
2023-09-08 10:56
原標(biāo)題:樊錦詩等,獲聯(lián)合國教科文組織頒獎賈釗程楠非物質(zhì)文化遺產(chǎn)促進(jìn)
2023-09-08 10:06
原標(biāo)題:一條古道串起顆顆文化“明珠”(引題)石景山區(qū)打造京西“活態(tài)
2023-09-08 10:02