Ý nghĩa của mã hóa video
Không gian lưu trữ lớn cho dữ liệu video gốc, video 1080P 7 giây yêu cầu 817 MB
Quá trình truyền dữ liệu video gốc chiếm băng thông lớn và mất 11 phút để truyền video 7 giây ở trên với băng thông 10 Mbps
Sau khi mã hóa và nén H.264, dung lượng video chỉ còn 708 k, băng thông 10 Mbps chỉ cần 500 ms là có thể đáp ứng được nhu cầu truyền tải thời gian thực. Do đó, video gốc được thu thập từ cảm biến thu video phải được mã hóa video.
Cơ bản
Vậy tại sao một video gốc khổng lồ lại có thể được mã hóa thành một video rất nhỏ? Công nghệ trong này là gì? Trước khi nói về công nghệ, trước tiên chúng ta nên thiết lập khái niệm video là những bức ảnh liên tục.
Ý tưởng cốt lõi là loại bỏ thông tin thừa:
Dư thừa không gian: có mối tương quan chặt chẽ giữa các pixel liền kề của hình ảnh
Dự phòng tạm thời: nội dung tương tự giữa các hình ảnh liền kề trong chuỗi video
Dự phòng mã hóa: các giá trị pixel khác nhau có xác suất khác nhau
Dư thừa thị giác: hệ thống thị giác của con người không nhạy cảm với một số chi tiết nhất định
Dư thừa kiến thức: cấu trúc của sự đều đặn có thể thu được từ kiến thức trước và kiến thức nền
Video về bản chất là một chuỗi hình ảnh được phát liên tục và nhanh chóng, vì vậy cách nén video đơn giản nhất là nén từng khung hình ảnh. Ví dụ: mã hóa MJPEG cũ hơn là nén từng khung hình ảnh trong video. Phương pháp mã hóa này Chỉ có mã hóa nội khung, sử dụng dự đoán mẫu không gian để mã hóa. Phép ẩn dụ hình ảnh là coi mỗi khung hình như một bức tranh và sử dụng định dạng mã hóa JPEG để nén hình ảnh. Loại mã hóa này chỉ xem xét việc nén thông tin dư thừa trong một bức ảnh.
Tuy nhiên, do sự tương quan về thời gian giữa các khung, một số bộ mã hóa nâng cao đã được phát triển có thể sử dụng mã hóa liên khung. Nói một cách đơn giản, một số vùng nhất định trên khung được chọn thông qua thuật toán tìm kiếm, và sau đó khung hiện tại được tính Đó là một dạng mã hóa với sự khác biệt vectơ giữa hệ quy chiếu phía trước và phía sau. Qua hai khung hình liên tiếp sau đây trong Hình 2, chúng ta có thể thấy rằng người trượt tuyết đang dịch chuyển về phía trước, nhưng thực tế là cảnh tuyết đang dịch chuyển về phía sau, và khung hình P được tham chiếu Khung (I hoặc các khung hình P khác) có thể được mã hóa, kích thước sau khi mã hóa là rất nhỏ, và tỷ lệ nén rất cao.
Liên kết tham khảo về khung http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Một số học sinh có thể quan tâm đến việc hai bức tranh này ra đời như thế nào. Đây là hai dòng lệnh FFmpeg cần đạt được. Để biết thêm chi tiết về FFmpeg, vui lòng xem các chương sau:
Dòng đầu tiên tạo video có vectơ chuyển động
Dòng thứ hai xuất ra mỗi khung dưới dạng một bức tranh
Sử dụng lệnh
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Ngoài nén dự phòng không gian và nén dự phòng theo thời gian, chủ yếu có nén mã hóa và nén hình ảnh. Sau đây là sơ đồ luồng chính của bộ mã hóa:
Hình 3 và Hình 4 là hai quy trình. Hình 3 là mã hóa nội khung và Hình 4 là mã hóa liên khung. Sự khác biệt chính được nhìn thấy từ hình là bước đầu tiên là khác nhau. Trên thực tế, hai quá trình này cũng được kết hợp với nhau. Nói chung, khung I và khung P sử dụng mã hóa nội khung và mã hóa liên khung tương ứng.
Lựa chọn bộ mã hóa
Tôi đã sắp xếp nguyên tắc và quy trình cơ bản của bộ mã hóa. Bộ mã hóa đã trải qua nhiều thập kỷ phát triển. Nó đã phát triển từ việc chỉ hỗ trợ mã hóa trong khung thành thế hệ bộ mã hóa mới được đại diện bởi H.265 và VP9 ngày nay. Hiện tại, một số bộ mã hóa phổ biến đã được phân tích và chúng tôi sẽ đưa bạn khám phá thế giới của các bộ mã hóa.
H.264
Giới thiệu
Dự án H.264 / AVC dự định tạo ra một tiêu chuẩn video. So với tiêu chuẩn cũ, nó có thể cung cấp video chất lượng cao ở băng thông thấp hơn (nói cách khác, chỉ bằng một nửa băng thông của MPEG-2, H.263 hoặc MPEG-4 Part 2 trở xuống) mà không làm tăng quá nhiều thiết kế phức tạp. nó không thể đạt được hoặc chi phí thực hiện quá cao. Một mục đích khác là cung cấp đủ tính linh hoạt để được sử dụng trong các ứng dụng, mạng và hệ thống khác nhau, bao gồm băng thông cao và thấp, độ phân giải video cao và thấp, phát sóng, lưu trữ DVD, mạng RTP / IP và hệ thống điện thoại đa phương tiện ITU-T.
H.264 / AVC chứa một loạt các tính năng mới, làm cho nó không chỉ hiệu quả hơn các codec trước đó mà còn có thể được sử dụng trong các ứng dụng trong các môi trường mạng khác nhau. Nền tảng kỹ thuật này khiến H.264 trở thành codec chính được sử dụng bởi các công ty video trực tuyến bao gồm cả YouTube, nhưng việc sử dụng nó không phải là một việc quá dễ dàng. Về lý thuyết, sử dụng H.264 đòi hỏi rất nhiều tiền. Phí cấp bằng sáng chế.
Bằng sáng chế
Giống như phần thứ nhất và thứ hai của MPEG-2 và phần thứ hai của MPEG-4, các nhà sản xuất sản phẩm và nhà cung cấp dịch vụ sử dụng H.264 / AVC cần phải trả phí cấp bằng sáng chế cho chủ sở hữu bằng sáng chế. Nguồn chính của các giấy phép sáng chế này là một tổ chức tư nhân có tên là MPEG-LA LLC. Tổ chức này không liên quan gì đến Tổ chức tiêu chuẩn hóa MPEG, nhưng tổ chức này cũng quản lý Hệ thống MPEG-2 Phần một, Video Phần hai và MPEG-4 Phần một. Video gồm hai phần và các giấy phép bằng sáng chế công nghệ khác.
Các giấy phép bằng sáng chế khác cần phải nộp đơn cho một tổ chức tư nhân khác được gọi là VIA Licensing, tổ chức này cũng quản lý các giấy phép bằng sáng chế cho các tiêu chuẩn nén âm thanh như MPEG-2 AAC và MPEG-4 Audio.
Triển khai mã nguồn mở của H.264
openh264 là một chương trình mã hóa H.264 mã nguồn mở được thực hiện bởi Cisco. Mặc dù H.264 yêu cầu phí cấp bằng sáng chế cao, nhưng vẫn có giới hạn hàng năm đối với phí cấp bằng sáng chế. Sau khi Cisco trả phí bằng sáng chế hàng năm cho OpenH264, OpenH264 thực sự miễn phí Sử dụng nó một cách tự do.
x264 là một phần mềm miễn phí mã hóa video được cấp phép theo GPL. Chức năng chính của x264 là thực hiện mã hóa video H.264 / MPEG-4 AVC, không phải như một bộ giải mã.
Loại trừ vấn đề chi phí để so sánh:
Việc sử dụng CPU của openh264 thấp hơn nhiều so với x264
openh264 chỉ hỗ trợ cấu hình cơ sở, x264 hỗ trợ nhiều cấu hình hơn
HEVC / H.265
Giới thiệu
Mã hóa video hiệu quả cao (HEVC) là một tiêu chuẩn nén video (còn được gọi là H.265), được coi là sự kế thừa của tiêu chuẩn ITU-T H.264 / MPEG-4 AVC. Năm 2004, Nhóm chuyên gia hình ảnh chuyển động ISO / IEC (MPEG) và Nhóm chuyên gia mã hóa video ITU-T (VCEG) bắt đầu phát triển thành ISO / IEC 23008-2 MPEG-H Part 2 hoặc ITU-T H.265. Phiên bản đầu tiên của tiêu chuẩn nén video HEVC / H.265 đã được chấp nhận là tiêu chuẩn chính thức của Liên minh Viễn thông Quốc tế (ITU-T) vào ngày 13 tháng 2013 năm 264. HEVC được coi là không chỉ cải thiện chất lượng video mà còn đạt được gấp đôi tốc độ nén H.4 / MPEG-50 AVC (tương đương với việc giảm 4% tốc độ bit trong cùng chất lượng hình ảnh) và có thể hỗ trợ độ phân giải 8192K và thậm chí cả TV độ phân giải siêu cao (UHDTV), độ phân giải cao nhất có thể đạt 4320 × 8 (độ phân giải XNUMXK).
Bằng sáng chế
HEVC yêu cầu tất cả các nhà sản xuất nội dung sử dụng công nghệ H.265, bao gồm Apple, YouTube, Netflix, Facebook và Amazon, phải trả 0.5% doanh thu nội dung của họ dưới dạng phí sử dụng công nghệ. Toàn bộ thị trường truyền thông trực tuyến đạt khoảng 100 tỷ đô la Mỹ mỗi năm và nó vẫn tiếp tục tăng trưởng, mức thuế 0.5% chắc chắn là một khoản phí lớn. Và họ đã không bỏ qua các nhà sản xuất thiết bị, trong đó các nhà sản xuất TV cần trả 1.5 đô la Mỹ cho mỗi đơn vị và các nhà sản xuất thiết bị di động 0.8 đô la Mỹ cho mỗi đơn vị phí bằng sáng chế. Họ thậm chí còn không buông tha các nhà sản xuất như đầu phát thiết bị Blu-ray, bảng điều khiển trò chơi và máy ghi video, những thứ phải trả 1.1 đô la mỗi cái.
Triển khai mã nguồn mở của H.265 / HEVC
libde265 HEVC được cung cấp bởi công ty struktur theo giấy phép nguồn mở GNU Lesser General Public License (LGPL) và người xem có thể thưởng thức hình ảnh chất lượng cao nhất ở tốc độ internet chậm hơn. So với các bộ giải mã trước đây dựa trên tiêu chuẩn H.264, bộ giải mã libde265 HEVC có thể mang nội dung HD đầy đủ của bạn đến gấp đôi người xem hoặc giảm 50% băng thông cần thiết để phát trực tuyến.
x265 được phát triển bởi MulticoreWare và có nguồn mở theo thỏa thuận GPL.
VP8
Giới thiệu
VP8 là một định dạng nén video mở lần đầu tiên được phát triển bởi On2 Technologies và sau đó được phát hành bởi Google. Đồng thời, Google cũng phát hành thư viện triển khai mã VP8: libvpx, được phát hành dưới dạng điều khoản cấp phép BSD, và sau đó đã thêm quyền sử dụng bằng sáng chế. Sau một số tranh cãi, ủy quyền của VP8 cuối cùng đã được xác nhận là ủy quyền nguồn mở.
Hiện tại, các trình duyệt web hỗ trợ VP8 là Opera, Firefox và Chrome.
Bằng sáng chế
Vào tháng 2013 năm 11, Google đã đạt được thỏa thuận với MPEG LA và 8 chủ sở hữu bằng sáng chế để cho phép Google có được VP8 và VPx trước đó của nó và các mã hóa khác có thể vi phạm bằng sáng chế. Đồng thời, Google cũng có thể ủy quyền lại miễn phí các bằng sáng chế liên quan cho người dùng VP8. , Thỏa thuận này cũng phù hợp với thế hệ mã hóa VPx tiếp theo. Cho đến nay, MPEG LA đã từ bỏ việc thành lập liên minh cấp phép tập trung bằng sáng chế VP8 và người dùng VPXNUMX sẽ có thể xác định sử dụng mã này miễn phí mà không phải lo lắng về khả năng vi phạm bản quyền bằng sáng chế.
Triển khai mã nguồn mở của VP8
Libvpx là phần mềm triển khai mã nguồn mở duy nhất của VP8. Nó được phát triển bởi On2 Technologies. Sau khi Google mua lại nó, nó đã mở mã nguồn của nó. Giấy phép rất lỏng lẻo và có thể được sử dụng tự do.
VP9
Giới thiệu
Quá trình phát triển VP9 bắt đầu vào quý 2011 năm 50. Mục tiêu là giảm kích thước tệp tin xuống 8% so với mã hóa VPXNUMX với cùng chất lượng hình ảnh. Một mục tiêu khác là vượt qua mã hóa HEVC về hiệu quả mã hóa.
Vào ngày 13 tháng 2012 năm 9, trình duyệt Chromium đã thêm hỗ trợ mã hóa VP9. Trình duyệt Chrome bắt đầu hỗ trợ phát lại video được mã hóa VP21 vào ngày 2013 tháng XNUMX năm XNUMX.
Google thông báo rằng họ sẽ hoàn thành việc phát triển mã VP9 vào ngày 17 tháng 2013 năm 9, khi đó trình duyệt Chrome sẽ hướng dẫn mã VP18 theo mặc định. Vào ngày 2014 tháng 9 năm XNUMX, Mozilla đã bổ sung hỗ trợ VPXNUMX cho trình duyệt Firefox.
Vào ngày 3 tháng 2015 năm 1.4.0, Google đã phát hành libvpx10, bổ sung hỗ trợ cho độ sâu bit 12 bit và 4 bit, lấy mẫu màu sắc 2: 2: 4 và 4: 4: 9 và mã hóa / giải mã đa lõi VPXNUMX.
Bằng sáng chế
VP9 là định dạng mở, định dạng mã hóa video miễn phí bản quyền.
Triển khai mã nguồn mở của VP9
libvpx là phần triển khai mã nguồn mở duy nhất của VP9, được phát triển và duy trì bởi Google. Một số mã được chia sẻ bởi VP8 và VP9, và phần còn lại là triển khai codec của VP8 và VP9 tương ứng.
So sánh VP9 và H.264 và HEVC
So sánh HEVC và H.264 ở các độ phân giải khác nhau
So với H.264 / MPEG-4, mức giảm tốc độ bit trung bình của HEVC là:
Có thể thấy tốc độ bit đã giảm hơn 60%
HEVC (H.265) có lợi thế hơn trong việc tiết kiệm tốc độ bit cho VP9 và H.264, tiết kiệm lần lượt 48.3% và 75.8% trong cùng một PSNR
H.264 có lợi thế rất lớn về thời gian mã hóa. So với VP9 và HEVC (H.265), HEVC gấp 6 lần VP9 và VP9 gần 40 lần H.264.
