高效率視頻編碼

高效視頻編碼（HEVC），也稱為H.265和MPEG-H part 2，是視頻壓縮標準，是廣泛使用的AVC（H.264或MPEG-4第10部分）的幾個潛在後繼者之一。 與AVC相比，HEVC在相同的視頻質量水平下提供大約兩倍的數據壓縮比，或者以相同的比特率顯著提高視頻質量。 它支持高達8192×4320的解析度，包括8K UHD。

基本介紹

• 中文名：高效率視頻編碼
• 外文名：High Efficiency Video Coding
• 縮寫：HEVC
• 又稱：H.265和MPEG-H part 2
• 本質：視頻壓縮標準

簡介

在大多數方面，HEVC是H.264/MPEG-4 AVC中概念的擴展。兩者都通過比較視頻幀的不同部分來找到冗餘的區域，包括單幀和後續幀。然後用簡短描述代替原始像素替換這些冗餘區域。 HEVC的主要變化包括將模式比較和差分編碼區域擴展到16×16像素到大小達64×64，改進的可變塊大小分割，改進了同一圖像內的“幀內”預測，改進了運動矢量預測和運動區域合併，改進的運動補償濾波，以及稱為採樣自適應偏移濾波的附加濾波步驟。有效地使用這些改進需要更多的信號處理能力來壓縮視頻，但對解壓縮所需的計算量的影響較小。

HEVC由視頻編碼聯合協作小組（JCT-VC）開發，這是ISO / IEC MPEG和ITU-T VCEG之間的合作。 ISO/IEC組將其稱為MPEG-H第2部分，將ITU-T稱為H.265。 HEVC標準的第一個版本於2013年1月批准並於2013年6月發布。第二個版本具有多視圖擴展（MV-HEVC），範圍擴展（RExt）和可擴展性擴展（SHVC），於2014年完成並獲得批准2015年初完成了3D視頻擴展（3D-HEVC），並於2016年初完成了螢幕內容編碼（SCC）的擴展，並於2017年初發布，涵蓋了包含渲染圖形，文本或視頻的視頻。動畫以及（或代替）相機捕捉的視頻場景。 2017年10月，該標準被Primetime艾美工程獎認可為對電視技術產生重大影響。

HEVC包含參與JCT-VC的組織擁有的專利所涵蓋的技術。實施使用HEVC的設備或軟體應用程式可能需要HEVC專利持有者的許可。 ISO/IEC和ITU要求屬於其組織的公司以合理和非歧視性許可（RAND）條款提供其專利。專利許可可以直接從每個專利持有人處獲得，或通過專利許可機構獲得，例如MPEG LA，HEVC Advance和Velos Media。當前所有專利許可機構提供的綜合許可費用高於AVC。許可費是網路上HEVC採用率低的主要原因之一，也是一些最大的科技公司（亞馬遜，AMD，Apple，ARM，思科，谷歌，英特爾，微軟，Mozilla，Netflix，Nvidia和更多）已加入開放媒體聯盟，旨在於2017年底完成免版稅替代視頻編碼格式AV1。AV1規範的初始版本最終於2018年3月28日發布。

歷史

先前工作

2004年，ITU-T視頻編碼專家組（VCEG）開始對技術進步進行重大研究，以便能夠創建新的視頻壓縮標準（或H.264/MPEG-4 AVC標準的大量面向壓縮的增強）。 2004年10月，調查了各種可能增強H.264/MPEG-4 AVC標準的技術。 2005年1月，在VCEG的下次會議上，VCEG開始將某些主題指定為“關鍵技術領域”（KTA）以供進一步調查。建立了一個名為KTA代碼庫的軟體代碼庫來評估此類提案。KTA軟體基於聯合模型（JM）參考軟體，該軟體由MPEG和VCEG聯合視頻團隊為H.264 / MPEG-4 AVC開發。其他提議的技術已整合到KTA軟體中，並在未來四年的實驗評估中進行了測試。MPEG和VCEG建立了視頻編碼聯合協作小組（JCT-VC）來開發HEVC標準。

考慮了兩種標準化增強壓縮技術的方法：創建新標準或創建H.264 / MPEG-4 AVC的擴展。該項目暫定名稱為H.265和H.NGVC（下一代視頻編碼），並且是VCEG工作的主要部分，直到2010年它與MPEG進入HEVC聯合項目。

與H.264 / MPEG-4 AVC高配置檔案相比，NGVC的初步要求是能夠在相同的主觀圖像質量下降低50%的比特率，並且計算複雜度是該設備的1/2到3倍。高調。NGVC能夠在與高解析度相同的視頻質量下提供25%的比特率降低和50%的複雜性降低，或者提供更高的比特率降低，同時具有更高的複雜度。

ISO/IEC運動圖像專家組（MPEG）於2007年啟動了一個類似的項目，暫定名為高性能視頻編碼。在2007年7月之前，已經決定將比特率降低50%的協定作為該項目的目標。通過對VCEG開發的KTA參考軟體編碼器的修改進行早期評估。到2009年7月，實驗結果顯示，與AVC High Profile相比，平均比特減少約20%;這些結果促使MPEG與VCEG合作啟動其標準化工作。

標準化

VCEG和MPEG於2010年1月發布了關於視頻壓縮技術的正式聯合徵集提案，並在4月舉行的MPEG&VCEG視頻編碼聯合協作組（JCT-VC）第一次會議上對提案進行了評估。2010年。共提交了27份完整提案。評估表明，在許多測試案例中，一些提案可以達到與AVC相同的視覺質量，只有一半的比特率，計算複雜度增加了2-10倍，並且一些提議獲得了良好的主觀質量和比特率結果具有比參考AVC高輪廓編碼更低的計算複雜度。在那次會議上，聯合項目採用了高效視頻編碼（HEVC）這一名稱。從那次會議開始，JCT-VC將一些最佳建議的特徵集成到單個軟體代碼庫和“正在考慮的測試模型”中，並進行了進一步的實驗以評估各種提議的特徵。HEVC的第一個工作草案規範是在2010年10月的第三次JCT-VC會議上制定的。在後來的JCT-VC會議中，HEVC的編碼工具和配置發生了許多變化。
2013年1月25日，國際電聯宣布HEVC已獲得ITU-T替代批准程式（AAP）的第一階段批准（同意）同一天，MPEG宣布HEVC已經在MPEG標準化過程中被提升為國際標準最終草案（FDIS）。
2013年4月13日，HEVC/H.265被批准為ITU-T標準。該標準由ITU-T於2013年6月7日正式發布，ISO/IEC於2013年11月25日正式發布。
2014年7月11日，MPEG宣布第二版HEVC將包含三個最近完成的擴展，即多視圖擴展（MV-HEVC），範圍擴展（RExt）和可擴展性擴展（SHVC）。
2014年10月29日，HEVC/H.265第2版被批准為ITU-T標準。它於2015年1月12日正式發布。
2015年4月29日，HEVC/H.265第3版被批准為ITU-T標準。
2016年6月3日，HEVC/H.265第4版在ITU-T中獲得同意，並在2016年10月的投票中未獲批准。
2016年12月22日，HEVC/H.265第4版被批准為ITU-T標準。

專利

2014年9月29日，MPEG LA宣布其HEVC許可證，涵蓋23家公司的重要專利。首批100,000個“設備”（包括軟體實施）是免版稅的，之後每台設備的費用為0.20美元，而年度上限為2500萬美元。這比AVC的費用要貴得多，每台設備的費用為0.10美元，相同的100,000豁免，年度上限為650萬美元。 MPEG LA對內容本身不收取任何費用，這是他們最初授權AVC時所嘗試的內容，但隨後在內容製作者拒絕支付時被撤銷。該許可證已經擴展到包括HEVC標準第2版中的配置檔案。

當MPEG LA條款公布時，評論者指出，一些知名玩家不屬於該組。其中包括AT&T，微軟，諾基亞和摩托羅拉。當時的猜測是，這些公司將形成自己的許可池，以與MPEG LA池競爭或增加。這樣一個小組於2015年3月26日正式宣布為HEVC Advance。這些條款涵蓋500項重要專利，於2015年7月22日公布，其費率取決於銷售國家，設備類型，HEVC配置檔案，HEVC擴展和HEVC可選功能。與MPEG LA條款不同，HEVC Advance通過收益分享費用重新引入了使用HEVC編碼的內容的許可費。

最初的HEVC Advance許可證對於1區國家/地區的每台設備的最高使用費率為2.60美元，內容使用費率為HEVC視頻服務產生的收入的0.5%。 HEVC Advance許可證中的1區國家包括美國，加拿大，歐盟，日本，韓國，澳大利亞，紐西蘭等。 2區國家/地區是未列入1區國家/地區列表的國家/地區。 HEVC Advance許可證對於2區國家/地區的每台設備的最高使用費率為1.30美元。與MPEG LA不同，沒有年度上限。除此之外，HEVC Advance還收取了HEVC中視頻服務編碼內容產生的收入的0.5%的特權使用費率。

當它們被宣布時，行業觀察者對設備的“不合理和貪婪”費用產生了相當大的反響，這些費用大約是MPEG LA費用的七倍。一起添加，設備需要的許可證價格為2.80美元，是AVC的28倍，以及內容的許可費用。這導致要求“內容所有者團結起來並同意不同意HEVC Advance”。其他人認為，這些費率可能會導致公司轉向Daala和VP9等競爭標準。

2015年12月18日，HEVC Advance宣布了專利費率的變化。這些變化包括將1區國家的最高專利費率降至每台設備2.03美元，創建年度專利費上限，以及免除最終用戶免費內容的版稅。一家公司的年度特權使用費上限為4000萬美元，內容為500萬美元，可選功能為200萬美元。

2016年2月3日，Technicolor SA宣布他們已退出HEVC Advance專利池，並將直接授權他們的HEVC專利。

2016年11月22日，HEVC Advance宣布了一項重大舉措，修訂了他們的政策，允許HEVC的軟體實施直接分發給消費者移動設備和個人計算機免版稅，無需專利許可。

2017年3月31日，Velos Media宣布其HEVC許可證涵蓋愛立信，松下，高通公司，夏普和索尼的必要專利。

編碼效率

大多數視頻編碼標準的設計主要旨在獲得最高的編碼效率。編碼效率是能夠以儘可能低的比特率對視頻進行編碼，同時保持一定的視頻質量水平。有兩種標準方法來測量視頻編碼標準的編碼效率，即使用客觀度量，例如峰值信噪比（PSNR），或使用視頻質量的主觀評估。視頻質量的主觀評估被認為是衡量視頻編碼標準的最重要方式，因為人類主觀地感知視頻質量。

HEVC受益於使用更大的編碼樹單元（CTU）大小。這已經在使用HM-8.0 HEVC編碼器的PSNR測試中顯示，其中它被迫使用逐漸變小的CTU尺寸。對於所有測試序列，當與64×64 CTU大小相比時，顯示當強制使用32×32 CTU大小時HEVC比特率增加2.2%，並且當被迫使用16×時增加11.0% 16 CTU尺寸。在A類測試序列中，視頻的解析度為2560×1600，與64×64 CTU大小相比，顯示當強制使用32×32 CTU大小時，HEVC比特率增加了5.7% ，當被迫使用16×16 CTU尺寸時，增加了28.2%。測試表明，大CTU尺寸可提高編碼效率，同時還可縮短解碼時間。

HEVC Main Profile（MP）在編碼效率方面與H.264 / MPEG-4 AVC High Profile（HP），MPEG-4 Advanced Simple Profile（ASP），H.263 High Latency Profile（HLP）和H進行了比較.262 / MPEG-2主要配置檔案（MP）。視頻編碼是為娛樂套用完成的，並且使用HM-8.0 HEVC編碼器為9個視頻測試序列製作了12個不同的比特率。在九個視頻測試序列中，五個處於HD解析度，而四個處於WVGA（800×480）解析度。 HEVC的比特率降低基於PSNR確定，HEVC與H.264 / MPEG-4 AVC HP相比具有35.4%的比特率降低，與MPEG-4 ASP相比降低63.7%，與H.263 HLP相比降低65.1% ，與H.262 / MPEG-2 MP相比，有70.8%。

HEVC MP還與H.264 / MPEG-4 AVC HP進行了比較，以獲得主觀視頻質量。視頻編碼是針對娛樂套用進行的，並且對於使用HM-5.0 HEVC編碼器的九個視頻測試序列進行了四種不同的比特率。主觀評估是在早於PSNR比較的日期進行的，因此它使用了性能略低的HEVC編碼器的早期版本。使用平均意見得分值基於主觀評估確定比特率降低。與H.264 / MPEG-4 AVC HP相比，HEVC MP的整體主觀比特率降低為49.3%。

ÉcolePolytechniqueFédéraledeLausanne（EPFL）做了一項研究，以高於HDTV的解析度評估HEVC的主觀視頻質量。這項研究是用三個視頻完成的，解析度為3840×1744（24 fps），3840×2048（30 fps），3840×2160（30 fps）。五秒鐘的視頻序列顯示了人們在街頭，交通和開源計算機動畫電影Sintel的場景。使用HM-6.1.1 HEVC編碼器和JM-18.3 H.264 / MPEG-4 AVC編碼器以五種不同的比特率對視頻序列進行編碼。使用平均意見得分值基於主觀評估確定主觀比特率降低。該研究將HEVC MP與H.264 / MPEG-4 AVC HP進行了比較，結果表明，對於HEVC MP，基於PSNR的平均比特率降低為44.4%，而基於主觀視頻質量的平均比特率降低為66.5%。

在2013年4月發布的HEVC性能比較中，使用3840×2160視頻序列將HEVC MP和Main 10 Profile（M10P）與H.264 / MPEG-4 AVC HP和High 10 Profile（H10P）進行比較。使用HM-10.0 HEVC編碼器和JM-18.4 H.264 / MPEG-4 AVC編碼器對視頻序列進行編碼。對於幀間視頻，基於PSNR的平均比特率降低為45%。

在2013年12月發布的視頻編碼器比較中，將HM-10.0 HEVC編碼器與x264編碼器（版本r2334）和VP9編碼器（版本v1.2.0-3088-ga81bd12）進行了比較。該比較使用Bjøntegaard-Delta比特率（BD-BR）測量方法，其中負值表示比特率降低多少，正值表示相同PSNR的比特率增加多少。在比較中，HM-10.0 HEVC編碼器具有最高的編碼效率，並且平均而言，為了獲得相同的客觀質量，x264編碼器需要將比特率提高66.4%，而VP9編碼器需要提高比特率減少79.4%。

在2014年5月發布的主觀視頻性能比較中，JCT-VC將HEVC Main配置檔案與H.264 / MPEG-4 AVC High配置檔案進行了比較。該比較使用平均意見得分值，由BBC和蘇格蘭西部大學進行。使用HM-12.1 HEVC編碼器和JM-18.5 H.264/MPEG-4 AVC編碼器對視頻序列進行編碼。該比較使用一系列解析度，HEVC的平均比特率降低為59%。 HEVC的平均比特率降低為480p為52%，720p為56%，1080p為62%，4K UHD為64%。

在EPFL於2014年8月發布的主觀視頻編解碼器比較中，將HM-15.0 HEVC編碼器與VP9 1.2.0-5183編碼器和JM-18.8 H.264/MPEG-4 AVC編碼器進行了比較。四個4K解析度序列以五種不同的比特率編碼，編碼器設定為使用一秒的內部周期。在比較中，HM-15.0 HEVC編碼器具有最高的編碼效率，並且平均而言，對於相同的主觀質量，與VP9 1.2.0-5183編碼器相比，比特率可以降低49.4%，並且可以降低與JM-18.8 H.264 / MPEG-4 AVC編碼器相比，增加了52.6%。

2016年8月，Netflix公布了一項大型研究的結果，該研究將領先的開源HEVC編碼器x265與領先的開源AVC編碼器x264和參考VP9編碼器libvpx進行了比較。Netflix使用先進的視頻多方法評估融合（VMAF）視頻質量測量工具，發現x265的比特率相同，質量比x264低35.4%至53.3%，比VP9低17.8%至21.8%。

特點

與H.264 / MPEG-4 AVC HP相比，HEVC旨在顯著提高編碼效率，即以可比較的圖像質量將比特率要求降低一半，但代價是計算複雜度增加。HEVC的設計目標是允許視頻內容的數據壓縮比高達1000：1。根據套用要求，HEVC編碼器可以犧牲計算複雜性，壓縮率，對錯誤的魯棒性和編碼延遲時間。與H.264 / MPEG-4 AVC相比，改進HEVC的兩個關鍵特性是支持更高解析度的視頻和改進的並行處理方法。

HEVC針對下一代HDTV顯示器和內容捕獲系統，具有逐行掃描幀速率和QVGA（320x240）至4320p（7680x4320）的顯示解析度，以及在噪聲級別，色彩空間和動態方面的改善圖像質量範圍。