“元宇宙”是未來(lái)虛擬世界與現(xiàn)實(shí)社會(huì)相交互的重要平臺(tái)。為貫徹落實(shí)《上海市建設(shè)具有全球影響力的科技創(chuàng)新中心“十四五”規(guī)劃》和《上海市培育“元宇宙”新賽道行動(dòng)方案(2022-2025年)》，加快推動(dòng)“元宇宙”領(lǐng)域關(guān)鍵技術(shù)攻關(guān)突破，上海市科學(xué)技術(shù)委員會(huì)制定了《上海市“元宇宙”關(guān)鍵技術(shù)攻關(guān)行動(dòng)方案(2023—2025年)》(下稱《行動(dòng)方案》)。
《行動(dòng)方案》提出了總體思路和目標(biāo)：以沉浸式技術(shù)與web3技術(shù)為兩大主攻方向，以自主創(chuàng)新和開(kāi)放協(xié)同為推進(jìn)路徑，著力提升“元宇宙”領(lǐng)域科技自立自強(qiáng)能力。到2025年，前沿優(yōu)勢(shì)領(lǐng)域相關(guān)科學(xué)問(wèn)題研究取得重要突破，原始性創(chuàng)新成果持續(xù)涌現(xiàn)；聚焦技術(shù)優(yōu)勢(shì)和必爭(zhēng)領(lǐng)域掌握一批關(guān)鍵技術(shù)，底層技術(shù)支撐能力持續(xù)提升；以重點(diǎn)場(chǎng)景需求為牽引，加快“元宇宙”技術(shù)體系化突破；科技成果轉(zhuǎn)化和產(chǎn)業(yè)化水平不斷提高，形成具有國(guó)際競(jìng)爭(zhēng)力的“元宇宙”創(chuàng)新集群，保障創(chuàng)新鏈、產(chǎn)業(yè)鏈、供應(yīng)鏈安全和韌性，為加快建設(shè)具有全球影響力的科技創(chuàng)新中心提供有力支撐。
主攻方向
針對(duì)“元宇宙”沉浸式、開(kāi)放式、永續(xù)實(shí)時(shí)、以人為中心等跨界復(fù)合的技術(shù)特性，圍繞“元宇宙”內(nèi)容、存算、傳輸和終端等技術(shù)層面，結(jié)合國(guó)內(nèi)外產(chǎn)業(yè)發(fā)展情況和本市研發(fā)基礎(chǔ)，聚焦沉浸式技術(shù)、web3技術(shù)兩大主攻方向，在沉浸影音、沉浸計(jì)算、新型顯示、感知交互與區(qū)塊鏈等關(guān)鍵技術(shù)領(lǐng)域打造新高地。
主攻方向一：沉浸式技術(shù)
圍繞沉浸影音和沉浸計(jì)算領(lǐng)域，重點(diǎn)布局人工智能生成內(nèi)容(aigc)、跨尺度采集重建、空間計(jì)算、智能編碼等關(guān)鍵技術(shù)攻關(guān)，降低場(chǎng)景構(gòu)建成本、提升“元宇宙”內(nèi)容制作靈活度，并在引擎技術(shù)等方面取得新進(jìn)展。圍繞新型顯示和感知交互領(lǐng)域，重點(diǎn)布局近眼顯示、多模傳感等技術(shù)和終端設(shè)備研發(fā)，帶動(dòng)本市芯片、零部件與算法技術(shù)研發(fā)應(yīng)用，深化內(nèi)容與硬件聯(lián)動(dòng)，搶占“元宇宙”關(guān)鍵入口。
主攻方向二：web3技術(shù)
面向“元宇宙”去中心化/多中心化的組織規(guī)則，圍繞區(qū)塊鏈領(lǐng)域，重點(diǎn)布局web3網(wǎng)絡(luò)操作系統(tǒng)等技術(shù)研發(fā)，構(gòu)建高性能、可擴(kuò)展和安全可控的新型區(qū)塊鏈體系架構(gòu)，為“元宇宙”應(yīng)用提供中立、可信的信息處理平臺(tái)。
三、開(kāi)展沉浸影音技術(shù)布局
面向“元宇宙”海量沉浸影音內(nèi)容生產(chǎn)的需求，基于ai賦能虛實(shí)融合的技術(shù)路線，重點(diǎn)布局人工智能生成內(nèi)容(aigc)、跨尺度采集重建、數(shù)字人生成與驅(qū)動(dòng)、虛擬空間三維引擎等關(guān)鍵技術(shù)研發(fā)，實(shí)現(xiàn)超寫(xiě)實(shí)“元宇宙”沉浸影音內(nèi)容的自動(dòng)化、低成本生產(chǎn)，支撐“元宇宙”內(nèi)容創(chuàng)作生態(tài)建設(shè)。
(一)人工智能生成內(nèi)容(aigc)技術(shù)
研究人工智能通用生成模型、多模態(tài)協(xié)同生成、內(nèi)容可控生成等技術(shù)，構(gòu)建低成本、高效率的沉浸影音內(nèi)容生成體系，實(shí)現(xiàn)敏感生成信息可控和可識(shí)別。到2025年，實(shí)現(xiàn)文本、圖像、音樂(lè)、視頻和三維模型等多模態(tài)內(nèi)容間的關(guān)聯(lián)對(duì)齊與互生成，實(shí)現(xiàn)多模態(tài)沉浸影音內(nèi)容的高逼真、高效率和可控生成，實(shí)現(xiàn)內(nèi)容智能生成過(guò)程中的敏感信息規(guī)避能力。
(二)跨尺度采集重建技術(shù)
研究跨尺度多傳感器融合采集、大尺度和高動(dòng)態(tài)的神經(jīng)輻射場(chǎng)建模生成等技術(shù)，形成自主可控的跨尺度采集重建技術(shù)體系。到2025年，構(gòu)建包括激光雷達(dá)、光場(chǎng)陣列、梯度光陣列等多模態(tài)協(xié)同采集系統(tǒng)；形成城市(大)、室內(nèi)(中)、靜態(tài)物體(小)等多尺度場(chǎng)景的高精度、分鐘級(jí)建模能力，生成新視角的圖像分辨率、渲染速度和圖像精度等核心指標(biāo)達(dá)到國(guó)際領(lǐng)先水平。
(三)數(shù)字人生成與驅(qū)動(dòng)技術(shù)
研究人臉、表情與動(dòng)作的高逼真重構(gòu)、自動(dòng)綁定、實(shí)時(shí)驅(qū)動(dòng)等技術(shù)，建設(shè)光學(xué)動(dòng)作捕捉相機(jī)系統(tǒng)，集表情、動(dòng)作、語(yǔ)音一體化的數(shù)字人智能生成系統(tǒng)。到2025年，形成人體和剛體運(yùn)動(dòng)的高精度定位與智能分析系統(tǒng)，定位追蹤精度達(dá)到國(guó)際領(lǐng)先水平；實(shí)現(xiàn)虛擬人高精度建模與綁定，重建精度達(dá)到亞毫米級(jí)，支持智能綁定，表情基數(shù)量與面部4d數(shù)據(jù)采集速度均達(dá)到國(guó)際領(lǐng)先水平；形成人工智能驅(qū)動(dòng)能力，支持基于文字、音頻、視頻等多模態(tài)的表情和動(dòng)作驅(qū)動(dòng)。
(四)虛擬空間三維引擎技術(shù)
研究跨平臺(tái)、端云協(xié)同架構(gòu)，突破多線程同異步加載均衡、多線程粒子計(jì)算、多核cpu資源調(diào)度等技術(shù)，實(shí)現(xiàn)低成本、低帶寬設(shè)備上的高頻數(shù)據(jù)渲染。到2025年，渲染效率和功耗等指標(biāo)位于國(guó)內(nèi)先進(jìn)水平。
四、加快沉浸計(jì)算技術(shù)研發(fā)突破
圍繞“元宇宙”虛實(shí)融合的沉浸體驗(yàn)技術(shù)要求，基于端云協(xié)同的沉浸式計(jì)算技術(shù)路線，重點(diǎn)布局空間計(jì)算、智能編碼、分布式渲染分發(fā)等關(guān)鍵技術(shù)研發(fā)，提升“元宇宙”內(nèi)容計(jì)算和分發(fā)效率。
(一)空間計(jì)算技術(shù)
研究毫米級(jí)視覺(jué)定位服務(wù)、高性能同步定位與地圖創(chuàng)建(slam)、多場(chǎng)景大規(guī)模用戶實(shí)時(shí)交互等技術(shù)，推動(dòng)“元宇宙”數(shù)字交互信息與現(xiàn)實(shí)環(huán)境的無(wú)縫實(shí)時(shí)嵌入，提升虛實(shí)融合數(shù)字空間運(yùn)營(yíng)服務(wù)能力。到2025年，實(shí)現(xiàn)各類室內(nèi)外場(chǎng)景下的高精度定位，百平米級(jí)小場(chǎng)景定位精度達(dá)到毫米級(jí)，十萬(wàn)平米級(jí)大場(chǎng)景定位精度達(dá)到厘米級(jí)。
(二)智能編碼技術(shù)
研究高效結(jié)構(gòu)表達(dá)三維空間不規(guī)則網(wǎng)格數(shù)據(jù)、多源媒體同步關(guān)聯(lián)和網(wǎng)元協(xié)同處理、存算網(wǎng)一體處理芯片等技術(shù)，形成6自由度(6dof)數(shù)據(jù)高效壓縮編碼方法、跨網(wǎng)同步封裝協(xié)議和全新媒體處理器結(jié)構(gòu)。研究基于人工智能輔助的視覺(jué)視頻特征編碼和沉浸式視頻壓縮編碼技術(shù)，構(gòu)建虛實(shí)融合的新型編解碼模型。到2025年，在重建幾何質(zhì)量峰值信噪比(psnr)70db、屬性質(zhì)量40db條件下，密集6dof點(diǎn)云達(dá)到250倍壓縮率，實(shí)現(xiàn)跨網(wǎng)分發(fā)精準(zhǔn)同步。
(三)分布式渲染分發(fā)技術(shù)
研究面向云原生的渲染優(yōu)化技術(shù)、云端渲染內(nèi)容的音視頻數(shù)據(jù)高實(shí)時(shí)高質(zhì)量調(diào)度算法。到2025年，算力基礎(chǔ)設(shè)施滿足“元宇宙”沉浸式應(yīng)用需求，實(shí)現(xiàn)可彈性擴(kuò)展、支持混合渲染的云原生系統(tǒng)，4k高清媒體流推送時(shí)延和交互時(shí)延進(jìn)一步降低；提供多層級(jí)服務(wù)，顯著提升異構(gòu)業(yè)務(wù)下的服務(wù)可靠性和資源利用率。
五、開(kāi)展新型顯示關(guān)鍵技術(shù)布局
面向“元宇宙”內(nèi)容呈現(xiàn)方面的高清晰、深度沉浸等發(fā)展趨勢(shì)和需求，重點(diǎn)布局高性能低功耗微顯示器件、高亮度輕量化光學(xué)模組、全息和光場(chǎng)顯示等關(guān)鍵技術(shù)攻關(guān)，搶占“元宇宙”關(guān)鍵入口高地，推動(dòng)近眼顯示、裸眼全息等新型顯示產(chǎn)業(yè)高質(zhì)量發(fā)展。
(一)高性能低功耗微顯示技術(shù)
研究數(shù)字驅(qū)動(dòng)和注視點(diǎn)渲染、感顯算一體化集成系統(tǒng)架構(gòu)、像素結(jié)構(gòu)設(shè)計(jì)等技術(shù)。到2025年，硅基oled顯示模組及自主驅(qū)動(dòng)芯片、硅基micro-led顯示模組和自主驅(qū)動(dòng)芯片、fast-lcd顯示器件達(dá)到國(guó)際先進(jìn)水平，高亮度、廣色域、低功耗的微顯示單目分辨率達(dá)到4k以上。
(二)高亮度輕量化光學(xué)模組
研究面向近眼顯示的幾何光波導(dǎo)技術(shù)，突破針對(duì)消費(fèi)級(jí)光學(xué)玻璃的分子鍵合工藝，研發(fā)二維擴(kuò)瞳幾何光波導(dǎo)鏡片及其顯示模組，推進(jìn)消費(fèi)級(jí)幾何光波導(dǎo)鏡片及其顯示模組的量產(chǎn)化。到2025年，視場(chǎng)角、鏡目距、眼動(dòng)范圍、入眼亮度、透光率、光學(xué)畸變等指標(biāo)達(dá)到國(guó)際領(lǐng)先水平，支撐小型化輕量級(jí)產(chǎn)品實(shí)現(xiàn)量產(chǎn)。
(三)全息和光場(chǎng)顯示技術(shù)
研究大角度高信息量全息3d光波調(diào)制、超精密微納制造、光場(chǎng)實(shí)時(shí)渲染、全息圖大數(shù)據(jù)實(shí)時(shí)生成算法等技術(shù)，研制全息3d波前調(diào)制器件、3d視頻處理芯片和光場(chǎng)裸眼3d顯示模組，實(shí)現(xiàn)高沉浸感全息顯示和大視角多視點(diǎn)光場(chǎng)顯示。到2025年，光場(chǎng)裸眼3d光學(xué)器件貼合精度達(dá)到亞微米級(jí)，視場(chǎng)角、視覺(jué)分辨率、顯示幀率、全息圖像的空間帶寬積和散斑噪聲對(duì)比度、光場(chǎng)顯示的視點(diǎn)數(shù)等指標(biāo)達(dá)到國(guó)際先進(jìn)水平。
六、加強(qiáng)感知交互技術(shù)突破
面向“元宇宙”自然交互中長(zhǎng)時(shí)間、高響應(yīng)與多樣性的需求，重點(diǎn)布局低功耗交互算法、多模傳感、手勢(shì)與眼動(dòng)追蹤、腦機(jī)接口等關(guān)鍵軟硬件技術(shù)研發(fā)，實(shí)現(xiàn)自然環(huán)境下的視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、體態(tài)等多模態(tài)信息感知交互。
(一)多模傳感技術(shù)
研究微型距離傳感、深度視覺(jué)傳感、低功耗壓電聲學(xué)/柔性纖維/織物皮膚/高精度微機(jī)電慣性等狀態(tài)傳感和輕量級(jí)交互算法等技術(shù)，助推國(guó)產(chǎn)芯片、國(guó)產(chǎn)零部件在終端應(yīng)用。到2025年，微距計(jì)算、注視點(diǎn)渲染、多模式無(wú)盲區(qū)人機(jī)交互、傳感密度、壓強(qiáng)分辨率、零偏精度等關(guān)鍵技術(shù)指標(biāo)達(dá)到國(guó)際先進(jìn)水平，支撐距離、視覺(jué)、聲音、壓力和慣性等高性能低功耗傳感器量產(chǎn)。
(二)手勢(shì)與眼動(dòng)追蹤技術(shù)
研究高性能、低功耗、高魯棒性的手勢(shì)與眼動(dòng)追蹤等技術(shù)，助推“元宇宙”人機(jī)交互向自然化、情景化與智能化方向演進(jìn)。到2025年，識(shí)別類型數(shù)量、追蹤延時(shí)、手指追蹤精度與眼動(dòng)追蹤精度等關(guān)鍵技術(shù)指標(biāo)達(dá)到國(guó)際先進(jìn)水平，實(shí)現(xiàn)高精度、多種類、低延遲的手勢(shì)識(shí)別和眼動(dòng)追蹤。
(三)腦機(jī)接口技術(shù)
開(kāi)展多學(xué)科交叉的理論和技術(shù)研究，構(gòu)建面向“元宇宙”的虛實(shí)融合腦機(jī)接口體系，研究腦機(jī)接口神經(jīng)界面、神經(jīng)融合芯片、柔性電極、神經(jīng)信號(hào)編碼與解碼技術(shù)等前沿技術(shù)，研發(fā)面向“元宇宙”的新型超低功耗腦機(jī)交互硬件系統(tǒng)和原型產(chǎn)品。
七、開(kāi)展區(qū)塊鏈技術(shù)研發(fā)布局
面向“元宇宙”去中心化/多中心化的組織規(guī)則，基于異構(gòu)多鏈融合技術(shù)路線，重點(diǎn)布局web3網(wǎng)絡(luò)操作系統(tǒng)、區(qū)塊鏈數(shù)字身份、分布式可信存儲(chǔ)、可信計(jì)算芯片等支撐技術(shù)和數(shù)字監(jiān)管技術(shù)研發(fā)，構(gòu)建高性能、可擴(kuò)展和安全可控的新型區(qū)塊鏈體系架構(gòu)，形成承載大規(guī)模“元宇宙”創(chuàng)新應(yīng)用的基礎(chǔ)設(shè)施。
(一)web3網(wǎng)絡(luò)操作系統(tǒng)
研究區(qū)塊鏈系統(tǒng)抽象、資源管理與調(diào)度模型，突破底層區(qū)塊鏈系統(tǒng)的適配與封裝、鏈上數(shù)據(jù)資源解析與定位、跨鏈互操作等技術(shù)，完善區(qū)塊鏈數(shù)據(jù)標(biāo)準(zhǔn)、系統(tǒng)應(yīng)用接口標(biāo)準(zhǔn)和跨鏈互操作標(biāo)準(zhǔn)，形成跨區(qū)塊鏈系統(tǒng)的web3網(wǎng)絡(luò)操作系統(tǒng)。研發(fā)適配多種異構(gòu)底層區(qū)塊鏈系統(tǒng)(包括主流公有鏈和聯(lián)盟鏈)的應(yīng)用開(kāi)發(fā)中間件和工具鏈，支持通過(guò)統(tǒng)一接口實(shí)現(xiàn)底層異構(gòu)區(qū)塊鏈系統(tǒng)訪問(wèn)、數(shù)字身份內(nèi)容管理、跨鏈應(yīng)用數(shù)據(jù)遷移等功能。
(二)數(shù)字身份管理技術(shù)
研究自主可控低成本區(qū)塊鏈數(shù)字身份sim卡芯片、身份認(rèn)證和權(quán)限管理、虛實(shí)身份映射綁定等技術(shù)，開(kāi)發(fā)安全便捷的區(qū)塊鏈數(shù)字身份管理終端，支持國(guó)密算法(sm系列)等主流密碼算法、新型的抗量子/門限/可聚合數(shù)字簽名算法、bip32/44等賬戶派生協(xié)議，以硬件安全技術(shù)保護(hù)私鑰生成、存儲(chǔ)、數(shù)字簽名的安全性。支持區(qū)塊鏈賬戶的實(shí)名認(rèn)證，構(gòu)建“元宇宙”數(shù)字身份與現(xiàn)實(shí)世界身份綁定的數(shù)字身份體系。
(三)分布式可信存儲(chǔ)技術(shù)
研究區(qū)塊鏈動(dòng)態(tài)數(shù)據(jù)分片存儲(chǔ)等技術(shù)，支持通過(guò)智能合約訪問(wèn)數(shù)據(jù)、鏈上高效驗(yàn)證數(shù)據(jù)有效性，單鏈系統(tǒng)存儲(chǔ)空間可隨共識(shí)節(jié)點(diǎn)數(shù)量線性擴(kuò)展。
(四)可信計(jì)算芯片技術(shù)
突破可信執(zhí)行環(huán)境、密碼學(xué)算法(零知識(shí)證明、同態(tài)加密等)加速芯片等軟硬件關(guān)鍵技術(shù)，開(kāi)發(fā)自主可控的可信計(jì)算芯片，計(jì)算性能和效率達(dá)到國(guó)際先進(jìn)水平。
八、加快創(chuàng)新平臺(tái)和場(chǎng)景建設(shè)
圍繞“元宇宙”技術(shù)創(chuàng)新、試驗(yàn)驗(yàn)證和生態(tài)構(gòu)建，建設(shè)一批技術(shù)創(chuàng)新和服務(wù)平臺(tái)，打造關(guān)鍵技術(shù)試驗(yàn)驗(yàn)證場(chǎng)景，加快國(guó)產(chǎn)技術(shù)創(chuàng)新和應(yīng)用，促進(jìn)“元宇宙”企業(yè)培育和集聚發(fā)展。
(一)技術(shù)創(chuàng)新支撐平臺(tái)
依托第三方機(jī)構(gòu)、行業(yè)龍頭企業(yè)、高?？蒲性核蛟?ldquo;元宇宙”關(guān)鍵技術(shù)創(chuàng)新平臺(tái)和創(chuàng)新公共服務(wù)平臺(tái)，持續(xù)優(yōu)化“元宇宙”技術(shù)突破、應(yīng)用創(chuàng)新和產(chǎn)業(yè)發(fā)展支撐環(huán)境。建設(shè)“元宇宙”可信技術(shù)監(jiān)管支撐平臺(tái)，支撐相關(guān)監(jiān)管政策研究和治理體系建設(shè)。
(二)技術(shù)試驗(yàn)驗(yàn)證場(chǎng)景
依托本市資源優(yōu)勢(shì)及特色，面向城市經(jīng)濟(jì)、生活、治理的數(shù)字化轉(zhuǎn)型等重要應(yīng)用需求，鼓勵(lì)本市“元宇宙”技術(shù)創(chuàng)新企業(yè)與行業(yè)應(yīng)用需求方協(xié)同發(fā)展，打造文化旅游、工業(yè)制造等高水平技術(shù)試驗(yàn)驗(yàn)證場(chǎng)景，支持技術(shù)實(shí)驗(yàn)驗(yàn)證與優(yōu)化迭代，推動(dòng)形成一批具有競(jìng)爭(zhēng)力的解決方案，加快提升城市治理能力現(xiàn)代化水平。
《行動(dòng)方案》還提出了：加強(qiáng)組織領(lǐng)導(dǎo)；實(shí)施有組織科研攻關(guān)；完善創(chuàng)業(yè)孵化和金融服務(wù)；強(qiáng)化人才引育等四項(xiàng)保障措施。
相關(guān)資料下載：
上海市“元宇宙”關(guān)鍵技術(shù)攻關(guān)行動(dòng)方案（2023-2025年）.docx