將為虛擬現(xiàn)實(shí)(VR)提供無限可能。

李飛飛新項(xiàng)目僅憑借1張圖,就能生成3D場景的AI系統(tǒng)

2024-12-03 09:33:36發(fā)布     來源:多知    作者:Penny  

  多知12月3日消息,李飛飛創(chuàng)立的“World Labs”剛剛發(fā)布了一個最新的AI系統(tǒng)——僅憑一張圖片,AI就能生成一個真實(shí)、可互動的3D場景。

  與生成靜態(tài)內(nèi)容的 AI 圖像/視頻生成器不同,World Labs 的系統(tǒng)可創(chuàng)建持久的 3D 環(huán)境,即使用戶從不同角度探索,也能保持一致性。 "大多數(shù)生成式人工智能工具都是制作圖片或視頻等 2D 內(nèi)容,"World Labs 寫道。"三維生成則提高了控制和一致性。可以說,這是一個突破性技術(shù)。

  這一創(chuàng)新超越了傳統(tǒng)生成模型的單純像素預(yù)測,轉(zhuǎn)而直接渲染出完整的3D場景,且場景具有高度的交互性和自由度,用戶可以通過鍵盤或鼠標(biāo)自由控制視角,甚至可以像玩游戲一樣探索這個虛擬世界。

  

(一張靜態(tài)的圖可以轉(zhuǎn)為3D畫面)

  一旦生成一個3D場景,它就會持續(xù)存在——即使你把視線移開然后再轉(zhuǎn)回來,也不會發(fā)生突然變化。而且,除了視覺保真度之外,World Labs 的技術(shù)還將現(xiàn)實(shí)生活中的物理現(xiàn)象帶入了虛擬空間。用戶還可以應(yīng)用實(shí)時(shí)相機(jī)效果,如景深調(diào)整和推拉變焦,類似于傳統(tǒng)的電影制作技術(shù)。該技術(shù)還支持動態(tài)照明變化和場景修改等互動功能,所有這些都直接在網(wǎng)絡(luò)瀏覽器中呈現(xiàn)。

  3D 生成式 AI 的應(yīng)用范圍已擴(kuò)展到視頻游戲、電影、建筑甚至在線教育。正如聯(lián)合創(chuàng)始人賈斯汀·約翰遜 (Justin Johnson) 所指出的那樣,如今創(chuàng)造互動式沉浸式世界需要多年的開發(fā)時(shí)間和巨額預(yù)算。借助 AI 生成的世界模型,他們希望讓這個過程更快、更方便,從而讓人人擁有創(chuàng)造力。

  這種技術(shù)不僅是藝術(shù)創(chuàng)作的巨大工具,也為虛擬現(xiàn)實(shí)(VR)提供了無限可能,網(wǎng)友們紛紛表示,這項(xiàng)技術(shù)可能是VR應(yīng)用的一次重大飛躍。

  不少知名人士也為此點(diǎn)贊,Shopify創(chuàng)始人Tobi Lutke稱其為“AI領(lǐng)域的一次革命”,他認(rèn)為這項(xiàng)技術(shù)將會徹底改變創(chuàng)作與互動體驗(yàn)。評論區(qū)更是被“難以置信”刷屏,用戶紛紛表示,3D世界的穩(wěn)定性和物理真實(shí)性讓他們大開眼界。許多網(wǎng)友認(rèn)為,AI能夠從單張圖片生成這樣的世界,不僅讓游戲和電影的制作方式發(fā)生變革,還將極大提升設(shè)計(jì)、教育、藝術(shù)等領(lǐng)域的創(chuàng)作效率。

  李飛飛本人也在社交平臺分享了這一成果,表示:“雖然很難用語言完全描述這種通過一張圖片或一句話就能生成的3D場景互動體驗(yàn),但我相信它會給大家?guī)砣碌母惺堋?rdquo;目前,World Labs的系統(tǒng)已經(jīng)進(jìn)入內(nèi)測階段,創(chuàng)作者和開發(fā)者們紛紛搶先體驗(yàn),并開始在實(shí)際項(xiàng)目中運(yùn)用這項(xiàng)技術(shù)。

  World Labs 于今年早些時(shí)候成立,已獲得了 2.3 億美元的風(fēng)險(xiǎn)投資,投資者包括 Andreessen Horowitz (a16z)、Ashton Kutcher、英特爾資本、AMD Ventures 和埃里克-施密特(Eric Schmidt)。 該公司的估值超過 10 億美元。