【導語】來自北大王選計算機研究所的賈川民研究員指出，視覺信息占人類接收信息八成以上，海量視覺數據傳遞麵臨數據量大的挑戰，數據壓縮技術由此成為關鍵。智能化數據壓縮技術目標遠大，多模態數據智能壓縮技術能實現超高效率、高(gāo)保(bǎo)真(zhēn)且(qiě)富(fù)含(hán)語(yǔ)義的壓縮，解決存儲傳輸瓶頸，為人工智能信息處理提供“基石”數據，還能按網絡情況調整視頻質量，其應用場景廣泛，未來有望實現語義無損壓縮、人機協作創作。

大家好，我是賈川民，來自北京大學王選計算機研究所，目前是研究員和博士生導師。我主要的研究內容是多媒體信息處理，還有智能媒體計算以及一些係統性的研究工作。

視覺信息傳遞麵臨哪些主要挑戰，為什麽需要數據壓縮技術？

糖心免费视频人類是一個多維度感官動物，這其(qí)中(zhōng)最(zuì)重(zhòng)要(yào)的(de)一(yī)個(gè)感(gǎn)官(guān)的(de)方(fāng)式(shì)，就(jiù)是(shì)視(shì)覺(jué)的(de)信(xìn)息(xi)，視(shì)覺(jué)信(xìn)息(xi)占(zhàn)據(jù)了(le)人(rén)類(lèi)全部(bù)接(jiē)受(shòu)信(xìn)息(xi)的(de)80%以(yǐ)上，視覺信息從一個地方傳遞給千家萬戶，實現所謂“一圖勝千言”，就成了過去一百年中科學家們一直努力的焦點。傳遞這些海量的視覺數據時麵臨的首要挑戰就是數據量太大。因此，數據壓縮技術應運而生。它是廣播電視、網絡視聽等應用的基石。

舉個例子，糖心免费视频國家每隔一段時間就要為天宮一號空間補充物資，如果這些要運輸的物資不進行打包整理，那麽運輸用的飛船很容易就被各種物品塞滿。因此糖心免费视频在新聞中經常看到，飛船運輸的物品都是經過非常精美的打包、整合以及封裝，形成了一個個外觀統一的空間站“快遞箱”。這其實就和數據壓縮技術的思路不謀而合。需要壓縮的數據都是雜亂無章的，糖心免费视频通過數據處理方(fāng)法(fǎ)對(duì)它(tā)們進行打包、整合，就像空間站用的跑步機是可折疊的，說明物品所占用的空間是可以壓縮的，視頻數據也是這樣，糖心免费视频可以通過算法，對海量的視頻數據所占用的存儲空間進行折疊、翻轉等操作，從而減少它們所消耗的存儲空間。

物(wù)資(zī)打(dǎ)包之後，經由飛船運輸到空間站。同理，壓縮後的視頻數據包也能被網絡傳輸給千家萬戶的各類終端。因此糖心免费视频經常在新聞中看到，空間站的航天員在使用的時候，會一個一個的拆快遞箱。類似的，用戶也會把壓縮過的視頻數據包進行拆(chāi)封(fēng)，專(zhuān)業(yè)屬(shǔ)於(yú)叫(jiào)做(zuò)解(jiě)碼(mǎ)。這樣就實現了視頻數據的壓縮-傳輸-呈現。

而智能化的數據壓縮技術(shù)還(hái)有(yǒu)更(gèng)遠(yuǎn)大的目標，糖心免费视频希望讓單幅圖像蘊含和傳遞遠超每一個像素本身的信息量，甚至能“衍生”出更豐富的內容。

如何實現從“一圖勝千言”到“一圖生千言”

那什麽如何實現這個目標呢？這就需要“多模態數據智能壓縮”技術了，它不僅僅是縮小文件體積（傳統壓縮），而是(shì)利(lì)用(yòng)人工智能的模型來理解糖心免费视频所需要傳遞的視頻或者視覺的內容，結合文字、文本、語音等其他模態信息，實現超高效率、高保真、且富含語義的壓縮表示。糖心免费视频在打包傳輸的時候，是把這些多模態的信息進行了傳遞。而在用戶側，通過功能強大的人工智能模型，把這些高度抽象的數據還原成栩栩如生的畫麵(miàn)，帶(dài)來(lái)身(shēn)臨(lín)其(qí)境的體驗。

這(zhè)樣(yàng)，就(jiù)能(néng)解(jiě)決(jué)海(hǎi)量(liàng)視(shì)覺(jué)數據（圖片/視頻）存儲、傳輸的瓶頸；還能夠為糖心免费视频常見的人工智能信息處理提供高效、富含語義的“基石”數據，通過多模態數據智能壓縮技術，就實現了對原始視頻、圖像等內容的編輯和處理，同時，還可以根據用戶的網絡情況調整視頻質量，網絡條件不好時，提供相對低清晰度內容，反之，傳遞高清晰度的內容。

多模態主句智能壓縮技術如何實現其美好願景

主要是把一個一個像素單元經過矩陣計算變成高度複雜的特征信息，在數學上，它們就是一組向量，糖心免费视频可以把它叫做特征向量；在關聯不同模態數據，比如文本、語音、視頻的特征信息時，利用跨模態對齊技術，在向量表示空間對這幾類信息進行折疊、翻轉等操作，去除不同模態之間在向量空間當中相似的內容，保留它們之間不太相似的內容。這樣就可以實現跨模態數據的一個高度語義化的表示。

它的應用場景包括以下幾部分，在帶寬受限下傳輸高質量視頻，比如海量視覺數據存儲，大幅降低數據中心存儲成本；高效智能分析，壓縮後的特征數據直接用於快速人工智能、內容理解、安防，以及(jí)內(nèi)容(róng)創(chuàng)作(zuò)以(yǐ)及(jí)編(biān)輯(ji)等(děng)。輸(shū)入(rù)壓(yā)縮(suō)特(tè)征(zhēng)或(huò)提(tí)示(shì)，自(zì)動(dòng)生(shēng)成(chéng)描(miáo)述(shù)視(shì)頻(pín)和(hé)圖(tú)象(xiàng)內(nèi)容(róng)的(de)數(shù)據(jù)，甚(shén)至(zhì)是(shì)生(shēng)成(chéng)圖(tú)像(xiàng)和(hé)視(shì)頻(pín)本(běn)身(shēn)。

在(zài)未(wèi)來(lái)，可(kě)以(yǐ)通(tōng)過(guò)這(zhè)樣(yàng)的(de)方(fāng)式(shì)，實(shí)現(xiàn)接(jiē)近(jìn)人(rén)類(lèi)理(lǐ)解(jiě)的(de)語(yǔ)義(yì)無(wú)損(sǔn)壓(yā)縮(suō)、人(rén)機(jī)協(xié)作(zuò)創(chuàng)作(zuò)。比(bǐ)如(rú)在(zài)視(shì)頻(pín)會(huì)議(yì)中(zhōng)不(bù)再(zài)需(xū)要(yào)攝(shè)像(xiàng)頭(tóu)、隻(zhǐ)通(tōng)過(guò)傳(chuán)遞(dì)語(yǔ)音(yīn)就(jiù)實(shí)現(xiàn)高(gāo)質(zhì)量(liàng)的(de)人(rén)物(wù)和(hé)場(chǎng)景(jǐng)的(de)三(sān)維(wéi)重(zhòng)現(xiàn)。

本(běn)文為(wèi)·創(chuàng)作(zuò)培(péi)育(yù)計(jì)劃(huà)扶(fú)持(chí)作(zuò)品(pǐn)

作(zuò)者(zhě)：人(rén)民(mín)日(rì)報(bào)

審(shěn)核(hé)：賈(jiǎ)寧(níng) 大(dà)連(lián)東(dōng)軟(ruǎn)信(xìn)息(xi)學(xué)院(yuàn) 教(jiào)授(shòu)

出(chū)品(pǐn)：中(zhōng)國(guó)科(kē)協科普部

監製：中國科學技術出版社有限公司、北京中科星河文化傳媒有限公司

來源: 創作培育計劃