本系列主要介紹視頻編解碼芯片的設計，以HEVC視頻編碼標準為基礎，簡要介紹編解碼芯片的整體硬件架構設計以及各核心模塊的算法優化與硬件流水線設計。
視頻編碼的實際應用中，編碼器往往需要包含碼率控制模塊以確保編碼器的輸出碼率滿足存儲設備可提供的存儲空間、傳輸信道可提供的傳輸帶寬以及傳輸延遲的限制等條件。本章首先簡要說明了碼率控制的概念與三種基本方法，然后詳細說明了R-Q模型、URQ模型、R-λ模型以及R-λ模型的改進。
01
概 述
碼率控制的目的是在精確達到目標碼率的同時盡可能改善編碼視頻的質量，其主要分為兩個步驟，即比特分配和比特控制。比特分配過程通常是根據目標碼率和視頻序列特性為每一個GOP、幀和基本單元分配適當的目標比特數。比特控制過程是根據目標比特數，利用率失真模型計算量化參數或拉格朗日乘子進行編碼，使編碼器輸出每一個基本單元、幀和GOP的比特數盡可能等于預先的目標比特。
為了更好地理解具體的碼率控制模型，首先介紹一些碼率控制方法。固定比特率編碼是指編碼器每秒輸出的比特數是常數。固定比特率編碼模式的編碼效率通常比較低，且在傳輸畫面細節較多的視頻序列時會出現畫面模糊等現象。可變比特率編碼是相對固定比特率編碼提出的概念，優點是在保證視音頻質量的情況下盡可能減小文件體積，缺點是不適用于對比特率穩定程度要求較高的圖傳系統。平均比特率編碼是上述兩種方法的折中，通常設定有傳輸比特率的上下限。
02
AVC的R-Q模型(JVT-N046)
JVT-N046提案中的碼率控制算法由GOP級碼率控制、圖像級碼率控制和基本單元級碼率控制組成。GOP級碼率控制完成以下工作：1）計算該GOP中剩余圖片的總目標比特數；2）刷新第一個參考幀的初始量化參數。具體來說，當第i個GOP中的第j幀編碼時，該GOP中的剩余圖片的目標比特數按下式計算：
其中f為預定義的編碼幀率，Ni是第i個GOP中的圖片總數，Ri(j)是編碼第i個GOP中的第j幀時的信道速率，Bi(j)和bi(j)分別是目標比特數和編碼實際產生的比特數。Vi(j)是編碼第i個GOP中的第j幀時虛擬緩沖區已占用的比特數，會隨著編碼的進行按下式更新：
第一個GOP的第一個參考幀的量化參數QP由其像素深度（bpp）決定，其余GOP的第一個參考幀的QP值由其前一層GOP的初始QP或最后一幀QP值決定：
其中NP(i-1)是第（i-1）個GOP中的參考幀總數，SumQP(i-1)是第（i-1）個GOP中參考幀的平均量化參數之和。
JVT-N046提案在GOP級碼率控制后緊接著進行圖像級碼率控制，主要完成兩步工作：預編碼和后編碼。預編碼是為了計算每一張圖片的量化參數，后編碼則是根據實際的編碼結果更新預編碼中的參數。預編碼階段的非參考幀和參考幀的量化參數的計算方式略有不同。對于非參考幀量化參數的計算分為兩種情況，一是非參考幀的前后恰好均為參考幀：
另一種情況是兩個參考幀之間有多個非參考幀：
對于參考幀量化參數的計算，此提案分兩步計算，第一步為計算參考幀的目標比特：
其中等式左項為參考幀的目標比特數，等式右項從左到右則分別表示圖像本身和緩沖區對于參考幀目標比特數的影響。第二步為計算量化參數和進行率失真優化：
其中σ~i(j)表示第i個GOP中第j幀的平均絕對誤差（MAD）。
其中a1和a2初始為1和0，會隨著編碼的進行不斷更新。
③ 完成幀編碼與模型參數（即c1和c2，a1和a2）的更新。
JVT-N046提案的R-Q模型最后進行基本單元層的碼率控制。在一般情況下，一個基本單元由多個連續的宏塊組成。基本單元級的碼率控制與圖像級的碼率控制有相似之處，具體來說此級的碼率控制按照以下五步進行：
① 計算基本單元的MAD值。
② 計算基本單元的目標圖片比特數。
③ 使用二階拋物線模型計算量化步長并轉換為量化參數。
④ 進行率失真優化和基本單元編碼。
⑤ 更新當前幀的剩余比特數和模型參數。
03
HEVC的URQ模型
(JCTVC-H0213)
隨著編碼標準的不斷更新，起源于AVC標準的R-Q模型已不適用于HEVC。JCTVC-H0213提案在JVT-N046的基礎上提出了基于像素級碼率控制的URQ模型。URQ模型使用與R-Q模型中相似的二階拋物模型，不過針對HEVC編碼標準做出了一定修改：
使用上式計算QP前需要完成以下兩步：1）幀級或LCU級比特分配，得到第i個GOP中第j幀的目標比特；2）根據線性預測模型計算當前幀的平均絕對誤差MADpred,i(j)。此提案中計算MAD依舊使用線性預測模型：
對于每一個GOP的第一個參考幀，由于不存在用于預測MAD的參數，無法計算其QP。在此提案中，針對第一個GOP中的第一個參考幀和其余GOP中的第一個參考幀兩種情況進行不同的處理。對于第一個GOP中的第一個參考幀，直接使用預設的QP值，而對于其余GOP中的第一個參考幀則通過下式確定：
其中NGOP為當前GOP中的參考幀數量。可以看出，除第一個GOP以外的其余GOP，其第一個參考幀QP取值幾乎由前一個GOP決定，而參考幀的QP又通過影響其MAD值影響其余幀的QP計算，因此預設QP的值對碼率控制的效果有著重要的影響。而HEVC的編碼模式相較H.264更加靈活多變，為不同視頻源在不同編碼模式下選擇合適初始QP值的難度更大。
04
HEVC的R-λ模型
(JCTVC-K0103)
R-λ模型是通過建立R-λ的關系，而后根據λ進行碼率控制的模型。由率失真理論與率失真優化中的拉格朗日成本函數可知-λ是R-D曲線的斜率，因此只要知道R-D曲線的關系即可知R-λ的關系。該提案采用了更好反映H.265/HEVC視頻碼率和失真關系的雙曲線模型：
通過上式λ和R可以互相確定。為了將圖像本身的特點和碼率控制聯系起來，利用bpp表示R：
其中f為視頻源的幀率，w和h分別為圖像的寬與高。
在此提案的模型中，碼率控制分為兩步：1）比特分配步驟確定目標碼率R；2）由R-λ模型根據目標R確定λ，由Q-λ模型根據λ確定QP，使用QP和λ完成編碼后更新模型參數α與 β。
比特分配過程分為GOP級、幀級和LCU級，首先GOP級比特分配如下進行：
其中TAvgPic為每幀的目標比特數，RPicAvg為目標信道速率下的每幀的目標比特數，Ncoded為視頻序列已經編碼的總幀數，Rcoded為這些幀的實際編碼比特數。
在幀級與LCU級碼率分配中引入了權重ω的概念，每一幀和每一LCU依照自身權重與未編碼內容的總權重之比在剩余的比特數中分配比特。幀級比特分配如下：
其中權重參數根據幀的編碼結構以及bpp查表決定。
LCU級比特分配如下：
其中權重參數根據前一已編碼圖片中的同級LCU的MAD計算：
在比特分配完成后，使用R-λ關系確定λ，并根據確定的λ使用QP-λ關系式確定QP。確定QP與λ后，便可對一個LCU或幀進行編碼。編碼完成后，便是更新編碼參數一步，α與β會按照一定的規則進行更新。
R-λ模型的擺脫了蛋雞悖論，另外λ在編碼過程中以浮點數參加運算，而R-Q模型中QP僅能以整數形式變化，相比于QP，模型對于λ的調整更加精細。不過，R-λ模型也存在一定問題。一是模型主要針對幀間預測編碼，而對幀內預測編碼涉及較少。二是模型在更新α和β參數時方法較為簡單粗糙。三是模型在比特分配時權重參數不能很好地體現圖像特點。
05
改進的R-λ模型
(JCTVC-M0257,
JCTVC-M0036)
01
JCTVC-M0257
M0257提案提出了一種幀內碼率控制方案。在R-λ關系上進一步加入了復雜度C的影響：
其中復雜度C基于SATD來度量，SATD是將Hadamard變換應用于原始8×8塊后獲得的系數絕對值之和。復雜度C還被用于LCU級的比特分配過程，LCU的權重為當前單元的復雜度和同幀中所有未編碼的單元的復雜度累加結果之比：
此提案對LCU級比特分配時剩余比特數的計算進行了修正：
其中等式左項是修正后的剩余可分配總比特數，W是平滑窗口系數，此提案設為4，M是當前幀的總單元數。
其中等式左項是計劃分配給每個單元（CTU）的初始比特數，Rtarget是當前幀的目標比特數。
最后，針對K0103提案中參數更新較為粗糙的問題，該提案使用了更為復雜的參數更新模型。
02
JCTVC-M0036
JCTVC-M0036提案提出了一種自適應比特分配方法，應用于幀級和LCU級。該方法與M0257提案大致相同，不同的是此提案不是依靠復雜度計算權重，而是通過求解數值方程的方法解出當前幀的權重。用于求解的方程組如下式所示：
：
該式表示了幀級比特分配的理想情況，即所有幀被分配的比特之和恰好等于GOP的目標比特。另外，在未應用碼率控制時對 HM 分析可知，各幀的λ之比和權重之比相等，如下式所示：
M0036提案針對幀內編碼幀的碼率控制也做了一定改進，考慮到幀內編碼所需比特數往往多于幀間編碼的特點，一方面將α的取值范圍上限由20擴大至500，這樣模型可通過大λ和大QP降低幀內編碼消耗的比特數，使其與幀間編碼消耗的比特數接近；另一方面將log(bpp)的范圍由[-5.0,1.0]更改為[-5.0,-0.1]使模型在大bpp下能夠更精細地調整參數更新的速度。
