Học tập và phát triển âm thanh và video

Đầu tiên chúng ta giả định rằng ai đó không có nền tảng về âm thanh và video và chưa bao giờ học bất kỳ kiến thức nào liên quan đến xử lý tín hiệu kỹ thuật số. Nền tảng toán học về cơ bản là ở cấp trung học, nhưng anh ấy đã quen với việc phát triển C / C ++, ít nhất là quen với việc biên dịch và gỡ lỗi IDE theo một nền tảng nhất định.

Tập trung vào hai dự án mã nguồn mở ffmpeg và webRTC, chủ yếu xem xét phần video của ffmpeg và phần âm thanh của webRTC.

Trước hết, bắt đầu với giải mã video. Đây là cái đơn giản nhất. Mã cơ bản để gọi giải mã video ffmpeg chỉ khoảng 100 dòng. Giải mã video chỉ cần hiểu h.264, 80% + cảnh ở định dạng mã hóa này, hiểu cơ bản H.264 sps pps NAL và các khái niệm định dạng tệp khác, hiểu nguyên tắc của định dạng hình ảnh YUV và hiểu chuyển đổi YUV sang RGB Vì vậy, bạn có thể kết xuất hình ảnh, bạn có thể đạt được một trình phát video đơn giản. (Về cơ bản trong giai đoạn đầu)

Sau đó, để tìm hiểu về mã hóa video, bạn nên bắt đầu với x264, một lệnh gọi đơn giản tới mã mã hóa x264 là dưới 100 dòng. Mã hóa phức tạp hơn giải mã ở chỗ việc giải mã không yêu cầu bất kỳ tham số nào được cấu hình và mã hóa có một số lượng lớn các tham số cần được cấu hình. Khi bắt đầu, bạn chỉ cần hiểu một vài khái niệm cơ bản, chẳng hạn như tốc độ khung hình, các phương pháp điều khiển luồng thông dụng ABR CRF, GOP, I / B Tương ứng là gì / P Frame nghĩa là gì. (Làm quen với mã hóa X264 một lần nữa)

Codec của phần âm thanh tương tự như codec của video. Trong giai đoạn đầu, bạn chỉ cần hiểu hai bộ mã hóa EAAC + và Silk, hiểu các khái niệm về kênh âm thanh, tốc độ lấy mẫu,… và hiểu được định dạng tệp tin Wave. Có thể là một trình phát âm thanh đơn giản. (Tạo trình phát âm thanh)

Phần phức tạp của âm thanh không phải là codec, mà là hiệu ứng âm thanh. Hãy xem mô-đun Xử lý âm thanh trong webRTC và hiểu các khái niệm sau: khử âm thanh NS, loại bỏ tiếng vang AEC, phát hiện tắt tiếng VAD, điều khiển độ lợi tự động AGC và webRTC tích hợp sẵn. Mặc dù thuật toán không phải là tốt nhất, nhưng nó có thể giải quyết hơn 90% các vấn đề và rất đáng để học hỏi. (Tìm hiểu xử lý âm thanh webrtc)

Sau khi tìm hiểu điều này, tôi cần suy nghĩ về một câu hỏi, liệu tôi muốn theo con đường kỹ thuật hay con đường thuật toán. Nếu nó là một lộ trình thuật toán, thì tôi phải học toán học. Đằng sau quá trình xử lý tín hiệu kỹ thuật số là một số lượng lớn các lý thuyết toán học cơ bản. Nếu đó là một lộ trình kỹ thuật, thì bạn phải học cách phát triển đa nền tảng, học cách thu thập, phát lại và xử lý âm thanh và video trên nhiều nền tảng và học cách tối ưu hóa hợp ngữ dưới nhiều nền tảng. (Nền tảng liên quan)

Audio và video là một lĩnh vực rất sâu, học cả đời cũng không xong, nhưng lĩnh vực này có ưu điểm là tốc độ cập nhật kiến thức tương đối chậm, những điều học được không dễ đào thải, tích lũy kinh nghiệm. là rất quan trọng.v