又色又爽的视频-天天插伊人-黄色短视频免费观看,中文字幕精品亚洲无线码二区,精品久久91,欧美色就是色

視頻編解碼芯片設計原理----04 幀內預測

視頻編解碼芯片設計原理----04 幀內預測

視頻編解碼芯片設計原理----04 幀內預測

本系列主要介紹視頻編解碼芯片的設計,以HEVC視頻編碼標準為基礎,簡要介紹編解碼芯片的整體硬件架構設計以及各核心模塊的算法優化與硬件流水線設計。

本文首先給出了HEVC幀內預測的相關背景知識,接著分析了VLSI實現RMD過程所面臨的一些限制條件并有針對地優化了RMD算法,然后分析并總結了上述算法在VLSI實現時所面臨的實際問題,并有針對地提出了對應的VLSI結構。

 

幀內預測是視頻編碼的第一個處理過程,該過程通過對已經編碼了的相鄰像素進行某種預先設置的加權處理,從而得到對當前像素塊的較佳估計,能有效地減小空間冗余度,提高壓縮效率。

1概述

 

HEVC中的幀內預測引入了一些新的工具來提高編碼效率:基于四叉樹的塊結構劃分、自適應的參考像素濾波、包含33個方向的Angular預測、適用于平滑紋理的Planar預測等。

塊劃分

 

HEVC中引入四叉樹劃分提供了更靈活的塊劃分結構,標準將“當前像素塊”稱為預測單元(PU)。當最大編碼單元(LCU)的大小是64×64時,幀內PU的大小可以是以下任意五種:4×4、8×8、16×16、32×32和64×64。

下圖1給出了一種可能的PU劃分方式。

圖1

參考像素管理

 

HEVC中,幀內預測所參考的像素,除了類似于H.264/AVC中當前預測塊上、左邊、上方、右上的像素,還增加了左下的像素,如下圖2所示。

圖2

另外,對參考像素還增加了填充、濾波、投影處理。填充過程是為了保證之后各個圖像塊預測過程的統一性,使參考像素的有無不會改變具體的預測過程。濾波過程是采用三抽頭濾波器([1 2 1]/4)對大于4×4的亮度塊的參考像素進行濾波,并且HEVC可以根據塊大小以及預測模式而選擇性地對參考像素進行濾波,有效減輕了由于邊界效應帶來的輪廓偽像。投影處理是把二維的參考像素映射為一維形式,顯著降低了預測的復雜度。

預測模式

 

在HEVC 標準中,“預先設置的加權處理”被稱之為“預測模式”,包含了Planar、DC和33 種角度預測模式,以確保在各種允許的塊大小的預測過程中,能更精確地表明當前塊的紋理狀況,確保預測的準確性,具體的預測模式如下圖3所示。

圖3

Planar 模式適用于相對平滑的PU,其預測像素為水平預測值和豎直預測值的線性平均。DC模式則用求平均的方式以單一值對整個像素塊進行預測。HEVC 幀內預測中的Angular 模式是針對圖像紋理的方向性預測,而預測方向的數目和角度則是權衡了編碼復雜度和編碼效率之后得到的一個折衷值。



2算法優化

HEVC采用RMD和MPM以加速判決過程,兩者大大減輕了RDO的復雜度,然而,RMD仍然需要在5層四叉樹中遍歷35種預測模式,其計算量之大,難以用較低的硬件代價實時完成。對此,本文提出了以下優化算法。

 

計算失真優化

 

碼率失真優化中的失真在本意上指的是重建像素和原始像素之間的差異。然而,由于重建環路的復雜度太高,我們并不能在RMD中獲取當前塊的重建像素。所以我們將碼率失真優化中的失真調整成了預測像素與原始像素之間的差異,并采用了SATD代價對差異進行表征。

計算碼流的優化

 

為了減少預測模式占用的碼率,HEVC標準引入了MPM(Most Possible Mode,最可能模式)的概念。但由于硬件實現在信息獲取上的限制,我們無法在RMD的過程中獲取相鄰PU的預測模式。但幸運的是SATD代價也能夠體現殘差系數所對應的碼率代價。事實上,相比于失真,SATD代價對于碼率的體現程度可能更高。因此,它被廣泛地運用在RMD的過程中。

搜索模式的優化

 

與HM推薦的遍歷算法不同,優化后的模式搜索方法是利用步長為3的層次化搜索對預測模式逐步收斂,從而得到備選集。具體而言,該搜索算法在每一輪排序后會逐漸減小搜索范圍,如下圖給出的一個具體例子。步驟1)中根據SATD值將初始列表中的角度模式進行排序,然后在較優模式[-2,2]的搜索范圍內進行搜索。步驟2)將搜索范圍縮小為[-1,1]。最后把DC和Planar模式合并到步驟3)排序后的列表中。若選用Ma策略,則直接將Planar和DC模式放在步驟3)產生的列表前;若選用Mb策略,則仍然搜索Planar和DC模式,按照SATD值排序。


圖4

3 VLSI實現


01 VLSI實現概述

 

在實際的VLSI實現時,以下三個問題將會在很大程度上影響處理速度:準備參考像素的延遲、準備原始像素的延遲和當前搜索步驟與下一個搜索步驟的數據依賴。

準備參考像素的延遲是由不合理的存儲方式帶來的。在一般的實現中,參考像素是按照光柵的順序存放在存儲器中的,而這會導致很多問題,比如產生訪問地址的邏輯較復雜、訪問參考像素所需的周期較多,同時還造成了存儲器中的空間浪費。

原始像素不合理的儲存方式增加了準備原始像素的延遲。雖然光柵存儲方式有利于像素從外存到內存的搬運,但對于基于塊的后續處理,這樣的存儲方式會大大拖慢處理速度。

層次化搜索方式會導致當前搜索步驟與下一個搜索步驟產生數據依賴。對于每個PU來說,都需要進行步長為3的搜索,而下一步的搜索是依賴于上一步的結果的。因此,在不進行調度的情況下,該RMD引擎的時空圖如下圖5所示,其中字母P代表PU,S代表搜索步驟,M代表搜索模式。

圖5

為了解決上述問題,本文提出了如下圖6所示的VLSI架構。其中,行列存儲器用于快速讀入參考像素;并發存儲器用于快速讀入原始像素;預測引擎和SATD引擎分別用于執行預測和SATD計算的任務;搜索調度器用于執行搜索算法。

圖6

 

 

02行列存儲器




為了使準備參考像素的延遲變得不可見,架構采用了如下圖7所示的行列存儲器,并對其進行了優化。其中,行存儲器用來存放所有橫向排布的參考像素,即左上、上方和右上的參考像素;列像素用來存儲所有縱向排布的參考像素,即左上、左方和左下的參考像素。

圖7

行列存儲器具有諸多優勢。首先,橫向分布和縱向分布的參考像素都分別被映射到了連續的地址中,簡化了訪問地址的產生。而且參考像素總是能夠以每周期4像素的吞吐率被取出或更新,減少了訪問的延遲。所有地址空間都存儲了有意義的數據,消除了對于存儲空間的浪費。最后,合理的存儲方式也大大減少了訪問所引入的功耗。



03并發存儲器




為了使準備原始像素的延遲變得不可見,本文提出了如下圖8所示的并發存儲器。

圖8

并發方式在增加少量功耗的代價下,大大提高了對于小塊PU的訪問速度,使得準備原始像素的時間對RMD引擎而言變得不可見。

 

04預測引擎

 

預測模式中的33種Angular模式本身具有共性,易于復用實現,而Angular、DC、Planar三種模式之間幾乎沒有什么相似性,所以整個預測引擎可以看成有三條預測的數據通路,如下圖所示,分別代表Angular、DC、Planar三種預測模式,最后的輸出結果會根據配置信號模式進行選擇。

圖9

整個預測引擎的輸入信號是讀入的參考像素,以及所有的配置信號,三條具體預測的數據通路則采用三級全流水的結構實現。因為采用全流水的結構,這樣對于一個TU內的所有4×4塊,因為其之間相互不存在數據相關性,所以可以流水線地完成幀內預測過程。

 

05搜索調度器

為了使當前搜索步驟與下一個搜索步驟間的數據依賴變得不可見,需要使用到“模式調度器”,其主要功能是將對于當前PU和下一個PU的搜索進行交織運作,如下圖10所示。該調度器中集成了兩組模式存儲器及其對應的代價存儲器,分別用于存儲當前PU和下一個PU經排序后的模式列表及其對應的代價。

10

 

06性能評估

 

我們選用HM作為參考對象,將優化算法移植到了HM-15.0版本中測試了若干標準序列,采用的配置為默認配置。下表1給出了本算法和及相關算法的B-D rate性能。

表1

 

X.Yu[1]

J.Zhu[2]

K.Miyazawa[3]

Ours

最小二輸入與非門個數 (K)

/

214.1

/

184.0

工作頻率 (MHz)

/

357

/

500

BD Rate 增量 (%)

3.39

4.53

3

0.5



參考文獻

[1] X. Yu, Z. Liu, J. Liu, Y. Gao and D.Wang.VLSI friendly fast CU/PU mode decision for HEVC intra encoding: Leveragingconvolution neural network[A].IEEE International Conference on ImageProcessing[C].IEEE, 2015:1285-1289.

[2] J. Zhu, Z. Liu, D. Wang, Q. Han and Y.Song.HDTV1080p HEVC Intra encoder with source texture based CU/PU modepre-decision[A].19th Asia and South Pacific Design AutomationConference[C].IEEE, 2014:367-372.

[3] K. Miyazawa et al.Real-time hardwareimplementation of HEVC video encoder for 1080p HD video[A].Picture CodingSymposium[C].IEEE, 2013:225-228.

 

訂閱快訊

通過快訊訂閱,您將及時收到我們的信息更新通知。