2013年深圳安防展上，一些監(jiān)控廠家推出了4K分辨率前端，顯控廠家也推出了配套大屏，非常熱鬧。何為4K？簡單理解，所謂4K是只水平方向分別率接近4000或4096的超高清圖像。要詳細(xì)了解4K，必須要了解超高清電視（UltraHighDefinitionTelevision，即UltraHDtelevision，UHDTV,UHD），UHD包括4KUHD和8KUHD兩種分辨率，這兩種數(shù)字視頻格式由日本NHK建議，并最終稱為ITU國標(biāo)標(biāo)準(zhǔn)（如圖1所示）。同時于2012年10月消費(fèi)電子聯(lián)盟也把這兩種UHD分辨率也作為顯示分辨率。4KUHD分辨率為3840×2160（2160p，8.3Megapixels），4倍于1920×1080（1080p，2.1Megapixels）。8KUHD分辨率為7680×4320（4320p，33.2Megapixels），16倍于1080P。1080PHD、4K和8KUHD的縱橫比均為16:9。除此之外，數(shù)字影院促進(jìn)會還定義了另外一種4K分辨率4096×2160（8.8Megapixels，縱橫比為17:9）。監(jiān)控領(lǐng)域大多使用ITU定義的應(yīng)用于電視領(lǐng)域的4KUHD。

 

 

　　

 

　　UHD相比于FHD（即HD，1920×1080），不僅僅分辨率加大，顏色空間和幀率也進(jìn)行擴(kuò)展。FHD的色彩空間定于Rec.709，而UHD的色彩空間定義于Rec.2020（2012年正式發(fā)布）當(dāng)處理CIE1931顏色空間時，Rec.2020顏色空間可以覆蓋到75.8%，但是Rec.709顏色空間只能覆蓋到35.9%（如圖2）。Rec.2020還允許幀率達(dá)到120fps，Rec.709最大只達(dá)到60fps。

 

　　圖2   CIE1931顏色空間

 

　　說明：Rec.2020（UHD）顏色空間為外三角，Rec.709（HD）顏色空間為內(nèi)三角，光源D65同時為兩者的白點(diǎn)。

 

 

　　由此可見，4倍1080p的超高清分辨率，帶來的最直觀的好處就是清晰度更高，畫面色彩鮮艷，文字清晰銳利，和1080p相比，同一畫面下細(xì)節(jié)更清楚。圖3是宇視1080p的IP攝像機(jī)的測試圖像；圖4是宇視4K的IP攝像機(jī)的測試圖像。

　　圖3   宇視1080p測試圖像

        圖4   宇視4K測試圖像

 

　　粗略看，好像差不多，但放大看細(xì)節(jié)就能看出明顯的差別，圖5是兩者細(xì)節(jié)對比圖。

 

 

　　由圖5所示的細(xì)節(jié)對比圖可以看出，4K帶來的好處顯而易見，很多關(guān)鍵的信息不丟失，顏色更豐富，不僅僅主觀感覺圖像效果不同，對智能分析應(yīng)用準(zhǔn)確率提高大有裨益。

 

　　圖5  宇視4K和1080p細(xì)節(jié)對比圖

 

 

　　但問題也顯而易見，由于4K碼率比較大，網(wǎng)上傳輸和存儲需消耗很大的資源。舉例說明，一路基于H.264的1080p碼率大約是4Mbps，而基于H.264的4K碼率大約是12Mbps，造成的后果是，如果要保存1路1080p的碼流一個月，大約需要的存儲空間是1.4T，而要存儲1路4K的全幀率大約花費(fèi)是1080p的3倍，約需要4.2T。這意味著要上一個4K系統(tǒng)，網(wǎng)絡(luò)和存儲上比1080p要付出非常多的代價。

 

 

　　如何解決既想通過4K看得清晰，又不需要在網(wǎng)絡(luò)和存儲上投入太巨大，就必須把碼率降下來，而在目前已知的編碼方式中，H.264相比MPEG2和MPEG4等壓縮比已經(jīng)是最高的。如何進(jìn)一步提升壓縮效率，解決重任就落在H.264的繼任者俗稱H.265的HEVC上了。可以這么說，HEVC就是專門為4K和8K的UHD而量身定做的。

 

 

 

 

　　HEVC全稱HighEfficiencyVideoCoding，是繼H.264之后的新一代視頻壓縮格式。HEVC框架類似于H.264，由ISO/IECMPEG和ITU-TVCEG成立的視頻編碼聯(lián)合協(xié)作小組JCT-VC合作開發(fā)完成。該新的視頻壓縮標(biāo)準(zhǔn)在ISO/IEC中的名稱為ISO/IEC23008-2（即MPEG-Hpart2），在ITU-T中的名稱為ITU-TH.265/H.HEVC。

 

 

　　HEVC的目標(biāo)是與H.264HP相同級別圖像質(zhì)量的情況下只需其一半的碼率，即壓縮效率提升一倍。但是編碼復(fù)雜度會增加數(shù)倍。壓縮效率提升的好處顯而易見，按照碼率降50%來算，一個H.264的4K碼流碼率將變成6Mbps，只比原來的1080p多2Mbps，一路一月存儲下來能省大約2.1個TB的空間，非常有經(jīng)濟(jì)效益。導(dǎo)致目前，很多互聯(lián)網(wǎng)視頻廠家，已經(jīng)通過.265存儲來省帶寬和存儲空間，如迅雷、優(yōu)酷等均已宣稱支持H.265。

 

 

　　1、HEVC的起源

 

 

　　在H.264的2005年1月份的會議上，ISO/IECMPEG和ITU-TVCEG成立了“KeyTechnicalAreas（KTA）”專題，同時KTA的參考軟件基于H.264的參考軟件JM實(shí)現(xiàn)，HEVC就是在KTA的基礎(chǔ)上發(fā)展而來。

 

 

　　從2010年4月JCT-VC第一次會議召開，到2013年4月，歷時4年HEVC終于成為國際標(biāo)準(zhǔn)。2014年4月13日，H.HEVC/H.265成為ITU-T的標(biāo)準(zhǔn)，在2013年11月25日，ISO/IEC23008-2（MPEG-HPart2）最終稱為ISO/IEC的標(biāo)準(zhǔn)。HEVC包含了最近幾年間的大量的視頻編解碼算法方面的最新研究成果，成為國際上代表了最高的視頻壓縮效率的新一代視頻標(biāo)準(zhǔn)。

 

 

　　2、HEVC編碼框架

 

 

　　HEVC視頻編碼器框圖如圖6所示。由此可見，HEVC類似于之前的圖像視頻編解碼標(biāo)準(zhǔn)，仍然采用了預(yù)測+變換的“混合”架構(gòu)。

 

　　圖6    HEVC編碼框架（注：其中紫色部分為解碼器）

 

 

　　3、HEVC編碼技術(shù)

 

 

　　HEVC相比于H.264，之所以編碼效率提高一倍，主要得益于其采用了更大的圖像分割尺寸。H.264中圖像最大的圖像分割單元（宏塊MB）尺寸為16×16。HEVC中的CTU（CodingTreeUnit）又稱為最大編碼單元（LargestCodingUnit），其尺寸范圍為64×64、32×32、16×16。實(shí)驗(yàn)表明CTU的尺寸越大壓縮效率越高，其具體實(shí)驗(yàn)如表1所示。基于HEVC參考模型HM-8.0版本（截止2014年2月份，HEVC參考模型版本為HM13.0）測試，評價標(biāo)準(zhǔn)為客觀評價指標(biāo)PSNR。測試序列為JCT-VC中使用的4類測試序列。

 

　　表1    更小CTU尺寸導(dǎo)致更高比特率

 

 

　　對分辨率為2560×1600的A類測試序列來說，全部強(qiáng)制32×32的CTU比全部強(qiáng)制64×64時，比特率提高5.7%；全部強(qiáng)制16×16的CTU比全部強(qiáng)制64×64時，比特率提高28.2%。

 

 

　　對四類所有序列，圖像中的CTU尺寸強(qiáng)制設(shè)置為32×32時的比特率要比強(qiáng)制設(shè)為64×64高2.2%，全部強(qiáng)制設(shè)為16×16的比特率要不全部強(qiáng)制設(shè)為64×64高11%。

 

 

　　表1所示的實(shí)驗(yàn)表明對高分辨率視頻來說，采用更大尺寸的CTU對提高編碼效率更加有益。同時這項(xiàng)實(shí)驗(yàn)還表明，全部采用16×16的CTU編碼的解碼時間要比全部采用64×64的CTU的解碼時間要長60%。即采用更大尺寸的CTU也對降低解碼時間有益，即在提高編碼效率的同時降低編碼時間。

 

 

　　HEVC采用四叉樹的編碼樹單元架構(gòu)，如圖7和圖8。CTU的尺寸可為64×64、32×32、16×16。編碼樹單元可以進(jìn)一步按照四叉樹結(jié)構(gòu)細(xì)分，即一分為四個相同尺寸區(qū)域，同時每個區(qū)域還可以繼續(xù)四叉樹細(xì)分。不再細(xì)分的編碼單元（CU）稱為編碼塊（CB）。

　圖7   編碼樹單元架構(gòu)

 

　圖8    遞歸四叉樹細(xì)分得到的編碼塊（白色）和變換塊（紅色）

 

　　所謂的編碼單元包含編碼塊和編碼單元中塊的細(xì)分層次等語法元素。HEVC之所以具有高壓縮效率，其中就在于其采用的自適應(yīng)的CTU尺寸，根據(jù)不同圖像區(qū)域紋理內(nèi)容的不同，采用不同尺寸的CTU。

 

 

　　對解碼器來說，不同區(qū)域選擇怎么樣的CTU已經(jīng)在碼流中固定了，但是對編碼器來說，如何理解圖像內(nèi)容，自適應(yīng)采用不同尺寸的CTU以及CU將是一個艱巨的挑戰(zhàn)。對同一段視頻序列中同一幀的同一塊區(qū)域來說，不同的HEVC編碼器實(shí)現(xiàn)方案所采用的CTU尺寸或許不同，因此真正的編碼效果和編碼效率也不同。所以真正的核心在如何使用圖像分析算法去理解圖像紋理內(nèi)容，快速高效的選擇最佳編碼模式。　

 

 

　　CTU的最底層編碼單元成為編碼塊（CB），編碼塊作為預(yù)測單元（PU）。預(yù)測單元可以進(jìn)一步細(xì)分成不同尺寸的預(yù)測單元，最底層的預(yù)測單元成為預(yù)測塊（PB）。預(yù)測單元的尺寸范圍為64×64～4×4。考慮到解碼過程中運(yùn)動補(bǔ)償時最壞情況下的內(nèi)存帶寬使用，幀間預(yù)測編碼的預(yù)測單元的最小尺寸，在單向預(yù)測中，限制在8×4或4×8；在雙向預(yù)測中限制在8×8。如圖9所示，相比于H.264中的四叉樹細(xì)分和1/2細(xì)分，HEVC還增加了1/3+2/3細(xì)分。從標(biāo)準(zhǔn)規(guī)范上涵蓋了預(yù)測單元內(nèi)圖像紋理的各種可能情況，即HEVC的碼流能夠支持各種可能的紋理分割預(yù)測模式，相比H.264碼流標(biāo)準(zhǔn)，提高了兼容性，相比于H.264解碼器，復(fù)雜度增加不大。但是對編碼器設(shè)計來講，如何充分理解圖像紋理內(nèi)容，使用合理的圖像分析算法，快速高效的找到最佳預(yù)測單元細(xì)分模式將是一項(xiàng)充滿挑戰(zhàn)的工作。

 

 

 

圖9 預(yù)測單元劃分模式
 

　　最底層的預(yù)測單元成為預(yù)測塊，運(yùn)動估計后的預(yù)測殘差塊形成變換單元（TU），變換單元可以進(jìn)一步細(xì)分，最底層的變換單元成為變換塊（TB）。一個變換塊的尺寸可以是32×32、16×16、8×8、4×4。

 

 

　　就變換塊尺寸來講，HEVC對比H.264，增加了更大尺寸的32×32變換。

 

 

　　除了以上重要的技術(shù)，HEVC還有適合多核并行處理的瓦片機(jī)制和波陣面并行處理機(jī)制，還有熵編碼、幀內(nèi)預(yù)測、幀內(nèi)預(yù)測、運(yùn)動補(bǔ)償、運(yùn)動矢量預(yù)測、反變換、環(huán)路濾波、去塊濾波器、樣點(diǎn)自適應(yīng)濾波器等各方面的全面改進(jìn)。

 

 

　　4、HEVC顏色空間

 

 

　　HEVC標(biāo)準(zhǔn)支持的顏色空間有：NTSC、PAL、Rec.601、Rec.709、Rec.2020、SMPTE170M、SMPTE240M、sRGB、sYCC、vYCC等。這些顏色空間不僅包含表清和高清的顏色空間，還包含的4K和8K的顏色空間，在顏色豐富程度上充分支持了高清和超高清應(yīng)用。

 

 

　　5、HEVC范圍擴(kuò)展

 

 

　　（1）HEVC不僅僅支持8bit位寬樣點(diǎn)，還支持10bit、12bit、16bit位寬樣點(diǎn)。

 

 

　　（2）HEVC還支持DPCM格式的無損壓縮。

 

 

　　（3）除了4:2:0色度空間格式，HEVC還支持4:2:2和4:4:4色度空間格式。

 

 

　　（4）HEVC還支持圖片壓縮，其中的Mainstillprofile就是專門為圖片壓縮而設(shè)計。相比于JPEG和JPEG2000圖片壓縮格式，HEVC的圖片壓縮效率提高顯著。如表2所示。

 

表2    基于PSNR和MOS的圖片壓縮效率對比
 

　　（5）HEVC去掉了H.264中的場模式。

 

 

　　6、HEVC編解碼實(shí)現(xiàn)復(fù)雜度

 

 

　　從以上編碼技術(shù)來看，HEVC的確比H.264提供更高級的算法。同時作為一個視頻壓縮標(biāo)準(zhǔn)，為更多的算法技術(shù)提供了更多的碼流規(guī)范。視頻編碼標(biāo)準(zhǔn)作為一個規(guī)范，類似于監(jiān)控中的平臺互聯(lián)互通中的國標(biāo)或者DB33，它只提供接口，只在碼流格式層面為高效壓縮提供盡可能多的模式規(guī)范。但是對編碼器設(shè)計來說，要想充分利用這種可能，則需要在上述的各個技術(shù)方面進(jìn)行創(chuàng)新和突破，在充分理解視頻圖像的基礎(chǔ)上，充分利用各種視頻圖像分析技術(shù)，尋找便捷快速算法，但又不能消耗過多的內(nèi)存容量和內(nèi)存交換帶寬。

 

 

　　鑒于HEVC壓縮標(biāo)準(zhǔn)才發(fā)布不久，上述的各種技術(shù)也是剛標(biāo)準(zhǔn)化。編碼器的快速算法的研究實(shí)現(xiàn)還需要一段時間，可以預(yù)見在將來的一兩年里將是這些快速算法的爆發(fā)期。等這些快速算法實(shí)現(xiàn)并成熟后，HEVC編碼器的SOC方案才會真正的落地。

 

 

　　但是從解碼器角度來看，HEVC其復(fù)雜度并不大，類似于H.264，可以在現(xiàn)有的各種平臺上實(shí)現(xiàn)。故現(xiàn)在市面上首先發(fā)布的一些HEVC方案大都是HEVC解碼器，有軟件的，也有硬件的。

 

 

 

 

　　當(dāng)然，H.265的出現(xiàn)不僅僅是對4K好，對目前的720p、1080p高清設(shè)備同樣有效，采用H.265編碼大約用1Mbps就能完成720p的傳輸，2Mbps完成1080p的傳輸。由于目前4G的普及，意味著我們通過手機(jī)端就能完成高清碼流的看控存查。同樣，隨著碼流的下降，高清設(shè)備所占用的存儲空間大大下降。雖然H.265是大勢所趨，但基于上面的介紹可以看出，H.265的真正落地還需要一段時間。主要原因是一是算法的復(fù)雜度高，至今沒有芯片廠家推出SOC的編碼方案，很多廠家是通過CPU或者多核DSP來提供H.265，效率低，價格高，也不實(shí)用。二是H.265的專利收費(fèi)用問題，谷歌的開源的VP9進(jìn)步明顯，同樣也會對H.265的落地造成一定影響。

 

 

　　（作者系浙江宇視研究開發(fā)部首席算法架構(gòu)師）