在线乱码卡一卡二卡新HD,最近韩国免费观看视频,国产色无码精品视频国产,亚洲男人的天堂久久香蕉

作者 | 黃敏峰，單位：中國移動智慧家庭運營中心

Labs 導(dǎo)讀

萬物互聯(lián)時代，AIoTel技術(shù)打通了人與物之間的交互壁壘，構(gòu)筑出人與人、人與物、物與物廣泛連接的通信系統(tǒng)，極大拓展了通信邊界。視頻作為一種基礎(chǔ)的通信交互媒介，也隨之迎來更廣闊、豐富、多變的的應(yīng)用舞臺，本期我們就先從這個舞臺的支柱——視頻講起，探知AIoTel下的視頻特征及編碼技術(shù)。在進(jìn)入正題之前，首先讓我們了解一下，什么是AIoTel？

1 AIoTel及媒體特征

AIoTel是一個組合詞，它由AI+IoT+Telephony拼接而成，表達(dá)由智能設(shè)備、物聯(lián)網(wǎng)、多媒體通信等技術(shù)構(gòu)建的新型多媒體交互體系，也稱作物聯(lián)多媒體。在這個體系中，人不再占據(jù)交互主導(dǎo)地位，而出現(xiàn)了物與物、物與人的互動方式。

(相關(guān)資料圖)

AIoTel通信

相較傳統(tǒng)多媒體通信技術(shù)有以下三個突出特點：

1.1 場景多樣化

物聯(lián)多媒體通信服務(wù)廣泛存在于各種地方、各類設(shè)備和軟件中，涵蓋安防、汽車、家居、醫(yī)療、辦公和工業(yè)等眾多應(yīng)用領(lǐng)域，對視頻的能力要求各不相同。安防視頻靜態(tài)背景和動態(tài)對象相結(jié)合，汽車自動駕駛、辦公會議通常對媒體的實時性有較高要求。醫(yī)療、家居娛樂對高清、超高清的需求較為顯著。

1.2 終端多態(tài)化

物聯(lián)網(wǎng)多媒體通信服務(wù)向消費者傳遞信息的場景和媒介的界限也在被不斷突破和延展，終端的形態(tài)更加豐富。智能電視、智能冰箱、智能音箱、早教機、智能手環(huán)等大、中、小、微屏形態(tài)各異。

1.3 網(wǎng)絡(luò)復(fù)雜化

承載物聯(lián)多媒體通信服務(wù)的網(wǎng)絡(luò)可能是廣域網(wǎng)（如Internet）、局域網(wǎng)、無限局域網(wǎng)（如wifi）、個域網(wǎng)（如藍(lán)牙，紅外，NFC等）不一而足，網(wǎng)絡(luò)帶寬、網(wǎng)絡(luò)穩(wěn)定性等網(wǎng)絡(luò)環(huán)境差異巨大。

終端多樣化和網(wǎng)絡(luò)復(fù)雜化，決定了物聯(lián)多媒體視頻編解碼應(yīng)具備智適應(yīng)能力，即編碼器能更據(jù)屏幕尺寸、網(wǎng)絡(luò)環(huán)境自動調(diào)節(jié)分辨率、碼率以及抗丟包能力。

場景多樣化，如何更據(jù)場景特點來決定編碼目標(biāo)，包括極致壓縮、實時編碼、高清低碼等，形成物聯(lián)多媒體場景化編碼能力。

接下來我們會更加詳細(xì)地介紹智適應(yīng)和場景化這兩個主要特征。

2 智適應(yīng)

在AIoTel的視頻應(yīng)用中，需要根據(jù)終端、網(wǎng)絡(luò)、內(nèi)容、應(yīng)用等不同特征智適應(yīng)調(diào)整，提出了四個方面的編碼要求：自適應(yīng)屏幕、自適應(yīng)帶寬、自適應(yīng)參數(shù)、自適應(yīng)內(nèi)容。

自適應(yīng)屏幕

自適應(yīng)屏幕的目的是視頻媒體能夠自動適配大、中、小不同尺寸屏幕，目前有多種方案，一種是是可分級編碼（SVC），把視頻信號分層多個層級。在編碼端對原始視頻信號經(jīng)下采樣、重構(gòu)、上采樣等過程，形成一個基本層和多個增強層，基本層碼流可以單獨解碼，還原最低質(zhì)量碼流，增強層中包含高質(zhì)量視頻重構(gòu)所需的額外信息。另一種視頻超分（SR），接收端把低分辨率的視頻幀，利用插值、深度學(xué)習(xí)等方式，經(jīng)過視頻降噪、銳化、去模糊、去抖動等增強處理，擴充像素點，使視頻達(dá)到較高分辨率，提升低分辨率在高分辨率上的視頻質(zhì)量。

自適應(yīng)帶寬

自適應(yīng)帶寬是根據(jù)不同網(wǎng)絡(luò)中帶寬的承載能力，動態(tài)調(diào)整編碼參數(shù)，控制傳輸碼率，實現(xiàn)編碼能力與網(wǎng)絡(luò)能力的匹配。要實現(xiàn)良好的應(yīng)用效果，需要綜合多種手段來聯(lián)合控制。通用的方法是結(jié)合編碼輸出帶寬和當(dāng)前網(wǎng)絡(luò)的狀態(tài)，動態(tài)調(diào)整幀率、分辨率、碼率等參數(shù)。這些參數(shù)的調(diào)整都會對視頻質(zhì)量產(chǎn)生影響，對幀率的調(diào)整，會影響視頻的流暢程度；對碼率的調(diào)整，會影響存儲、帶寬和清晰度；對分辨率的調(diào)整，直接決定視頻的清晰度。因此，需要綜合衡量不同參數(shù)的影響，以達(dá)到較好質(zhì)量。

自適應(yīng)參數(shù)

自適應(yīng)參數(shù)是指在傳統(tǒng)編碼框架中，利用AI技術(shù)對部分模塊進(jìn)行部分前處理和后處理，確定部分編碼特征和參數(shù)，減小編碼過程的遍歷和運算，降低復(fù)雜度，提升視頻質(zhì)量。比如在計算占比較大的CTU劃分階段，通過基于隨機森林的CTU劃分算法，直接預(yù)測最優(yōu)的CTU劃分方式，而無需遍歷整個參數(shù)，從而顯著降低計算復(fù)雜度；在碼率控制階段，采用強化學(xué)習(xí)方法實現(xiàn)更為精確的碼率失真模型，提升碼率控制的精度及壓縮性能。

自適應(yīng)內(nèi)容

針對應(yīng)用群體的特征，對用戶(老人/兒童)、不同顯示要素，為編碼到應(yīng)用各個層面，提供不同的能力。一方面，不同區(qū)域或者對象的視覺重要性不同，關(guān)注程度不同，各種失真也具有不同的敏感和容忍程度，據(jù)此可以分配不同的編碼資源，有選擇地控制質(zhì)量，提升視頻壓縮率。另一方面，可以通過識別和跟蹤視頻中人物或物體，及時準(zhǔn)確地識別和捕捉所關(guān)注的事件，自動地進(jìn)行標(biāo)記和提醒，用于日常生活輔助、家居看護等方面。

3 場景化

質(zhì)量、時延、壓縮率、復(fù)雜度、流暢度等是視頻的幾個維度，不同的場景下的應(yīng)用目的不同，所需求的維度特征也不相同不同。接下來我們從RTC和家庭安防兩個典型的場景，了解不同業(yè)務(wù)下的視頻要求。

3.1 家庭安防

安防行業(yè)的視頻場景有諸多特點：

比如攝像頭一般都固定在某個位置，所錄制的視頻畫面背景較為穩(wěn)定；攝像頭一般位置高、角度廣，因此視頻畫面包含的內(nèi)容比較豐富，但是畫面變化較為平緩；安裝在室外的攝像頭，光線、雨雪、霧霾等天氣因素會影響到視頻質(zhì)量；安防行業(yè)一般都是監(jiān)控人、車的行為，因此人臉、車牌能否清晰可見也是評價的關(guān)鍵因素。

因此，安防行業(yè)的視頻能力會側(cè)重以下幾個方面：

高壓縮率

由于大部分監(jiān)控場景下，視頻背景幾乎不會變化，這就為高壓縮率提供了可能；同時，直播會發(fā)生在多種網(wǎng)絡(luò)環(huán)境下，如果較高碼率遇到不佳的網(wǎng)絡(luò)狀況時，就會出現(xiàn)丟包、花屏或者時延增加的問題；另外，視頻片段存放在云服務(wù)器上，碼率大小與云存儲的成本也是直接相關(guān)的，所以各個方面都會要求盡可能的提高視頻的壓縮率。在視頻編碼時，大多可以采用可變碼率的方式，盡可能降低每一幀的壓縮率。

低時延

網(wǎng)絡(luò)時延是指一個圖像數(shù)據(jù)從前端的攝像頭采集，到傳輸客戶端，用戶通過顯示器觀看到圖像的時間差。例如人在攝像機前揮動手臂，圖像采集后通過編碼，然后通過網(wǎng)絡(luò)傳輸?shù)胶蠖私獯a顯示出圖像，這一過程雖然很短暫，但仍然可以感覺到顯示圖像略有滯后，這就是我們通常所說的網(wǎng)絡(luò)視頻監(jiān)控時時延。

一般基于內(nèi)部網(wǎng)絡(luò)系統(tǒng)的監(jiān)控系統(tǒng)，要求時延小于500ms；基于公網(wǎng)傳輸?shù)谋O(jiān)控系統(tǒng)，時延小于2秒。

低幀率

由于大部分場景下，畫面變化比較小，背景幾乎不動，為了降低網(wǎng)絡(luò)帶寬的占用和存儲成本，安防行業(yè)一般使用每秒15幀的幀率，在實踐中也是能滿足要求的，這也是降低碼率提高壓縮率最直接的手段。

高分辨率

安防行業(yè)的視頻，經(jīng)常需要獲取“誰”發(fā)生了“什么事情”這樣的信息，所以畫面中的人臉、車牌等關(guān)鍵信息需要清晰可辨。

因此，在視頻編碼時，可以考慮前后景動態(tài)編碼技術(shù)，將圖像中涉及的車輛、人臉等目標(biāo)信息進(jìn)行動態(tài)識別，精確分離前景和后景，根據(jù)場景智能決定編碼策略，對重要目標(biāo)給予高碼率，以實現(xiàn)“可辨別”的目標(biāo)，對背景或者不重要的目標(biāo)給予低碼率，以實現(xiàn)“高壓縮率”的目標(biāo)，從而實現(xiàn)最優(yōu)的編碼。

3.2 RTC

在RTC視頻場景下，用戶的主要注意力會在屏幕上，與用戶體驗相關(guān)的相對比較重要，如實時性、流暢度等。最終的視頻呈現(xiàn)體驗不僅受到視頻本身處理能力的制約，與網(wǎng)絡(luò)傳輸也密切相關(guān)。

實時性

RTC場景中通常會有多個參與者，他們隨時互相交換信息，比如一次1v1通話、一場會議，一場直播等，具有強烈的互動性，信息的生產(chǎn)端盡快同步內(nèi)容到各個接收端，接收端接到信息、迅速反饋，才能有良好的體驗。實時性在這里就顯得極為重要，對端到端的實時性要求一般是不高于400ms。

然而，視頻、語音等要經(jīng)過采樣->編碼->傳輸->接收->解碼->顯示等一系列過程，各個環(huán)節(jié)處理都需要耗費時間，其中視頻編碼耗時比重超過70%。提升視頻編碼的速率，也就成為RTC下對視頻一個重要要求。

高流暢

視頻流暢還可以用另一個比較容易理解的詞——“絲滑”。

視頻本質(zhì)上是一張張圖片的連續(xù)播放，它利用了人眼的視覺殘留效應(yīng)，給人產(chǎn)生了畫面連續(xù)運動的感覺。一段時間內(nèi)播放的圖片數(shù)越多，畫面流暢度就越好，一般幀率在24fps達(dá)到，人就不會有停頓的感覺。RTC中常用25fps、30fps兩種幀率，幀率再向上提升，流暢度提升有限，并且還會使帶寬增加。

影響流暢度的另一個因素是網(wǎng)絡(luò)因素，RTC的視頻媒體在網(wǎng)絡(luò)傳輸時，為了降低傳輸時延，基本都采用了基于UDP的RTP協(xié)議。而網(wǎng)絡(luò)側(cè)的阻塞、抖動、丟包等均會會影響接收側(cè)的視頻解碼，接收的屏幕會出現(xiàn)丟卡頓、馬賽克、綠塊等明顯的現(xiàn)象。

因此，在視頻編碼時，要求編碼器具有動態(tài)碼率的調(diào)節(jié)能力，減小網(wǎng)絡(luò)的影響，并且能夠與各種QoS、QoE等策略結(jié)合，提升視頻的質(zhì)量。

高波動

不同于攝像頭中的位置和視角固定，畫面內(nèi)容連續(xù)性較大。RTC場景里的畫面內(nèi)容豐富，并且前后幀之間場景差異可以很明顯。圖像空間和時間之間的相關(guān)性減小，如果想繼續(xù)保持圖像質(zhì)量，則需要更多編碼字節(jié)。從而導(dǎo)致了每一幀的編碼字節(jié)長度變動較大，整天畫面呈現(xiàn)高波動狀態(tài)。并且，一些視頻編碼器在場景切換時，會重新插入I幀，來增強后續(xù)畫面的質(zhì)量，這也進(jìn)一步加劇了碼率波動。RTC場景編碼本身的碼率和網(wǎng)絡(luò)的抖動，最終呈現(xiàn)了高波動。

以上我們介紹了AIoTel場景下的視頻技術(shù)，重點介紹了智適應(yīng)和場景化兩項關(guān)鍵特征，并且結(jié)合部分業(yè)務(wù)介紹了對編碼的要求。下期我們將從視頻編解碼器的角度來了解AIoTel編解碼技術(shù)。

關(guān)鍵詞： 多媒體通信 網(wǎng)絡(luò)環(huán)境 監(jiān)控系統(tǒng) 網(wǎng)絡(luò)帶寬 動態(tài)調(diào)整