前言
随着互联网基础设施的飞速发展，音视频技术已经成为我们日常生活中不可或缺的一部分。短视频、直播、视频会议、在线教育、在线医疗等应用的兴起，不仅极大地丰富了我们的信息获取方式，也对音视频技术提出了更高的要求。
音视频开发的现状与挑战
音视频开发的学习成本高，效率低，这是行业内的共识。
培养一个合格的音视频开发人员需要长期投入和时间，没有足够的实战经验和项目锻炼，很难达到企业的要求。
公司自己培养的音视频开发人才，尤其是高级开发人员，往往不会轻易流失，因为人才是企业的核心竞争力。即便他们跳槽，也通常是向更大的平台发展。
虽然学习的成本是高了一点，但是你一旦掌握音视频，你就会成为市场上炙手可热的人才。
音视频开发的多样性
而且音视频开发还涉及了对个专业方向可供你选择。
音视频传输：深入学习各种传输协议、信令控制、数据传输安全等，成为音视频传输领域的专家。
编解码技术：掌握H264、H265、VP8、AV1等视频编解码技术，以及PCM、G72x、ilbc等音频编解码技术，为视频质量的提升贡献力量。
特效处理：学习图形学知识，探索转码、美颜、滤镜、模糊处理、锐化处理等特效技术，为用户带来更加丰富的视觉体验。
服务端开发：搭建媒体服务器，学习音视频数据转发、信令数据处理、拉流、推流协议的处理等，成为服务端开发的中坚力量。
音视频格式：研究MP4、MVK、FLV、TS、RMVB、MP3、ogg等音视频数据格式封装，掌握数据格式的转换与优化。
开源库学习：深入学习FFMPEG、WebRTC、x264、live555等开源库，站在巨人的肩膀上，快速提升自己的开发能力。
大模型的兴起对音视频的影响
大模型的兴起和音视频技术之间是相辅相成，共同发展的关系；大模型为音视频的应用提供了更多的可能性，而传统的音视频技术也是大模型技术落地应用的核心技术基础之一。
创作：多模态数字人的出现，为音视频的创作带来更加丰富的素材和创作空间；同时革新了传统音视频的创作方式；为创作者提供了更加高效、更加便捷的创作工具。
处理：大模型提升了音视频的处理效率和智能化程度；多模态大模型可以同时分析视频中图像、音频、文本信息。
交互：大模型实现更自然的实时交互，推动AI应用场景大爆发，比如AI客服、AI社交、AI老师等等，使得音视频交互进一步增强。
传输：AI技术也可以优化音视频传输，根据不同的网络和用户设备，自动调整音视频的分辨率、码流等，提高传输效率，同时个性化推荐和分发。
消费：大模型的兴起还提升了用户体验，拓展了消费场景，如虚拟演唱会、互动式视频游戏等等。
音视频的未来之路
随着 LiveVideoStack平台停更了音视频技术，目前较为系统的音视频交流平台也就剩下一些比如CSDN等博客网站、公众号了。虽然随着AI大模型的爆发对音视频领域有一定的冲击，但音视频的未来一定是充满创新和机遇的。
1.技术多元化与智能化
编解码技术：新一代编解码器如H.266/VVC等正在加速研发和应用，有望在未来几年内实现更广泛的应用，进一步提高音视频质量和降低传输成本。
AI融合：AI技术将深度融入音视频处理，实现智能分析、推荐及个性化处理。例如，AI编码技术可以根据内容特点自动调整编码参数，实现更高效的压缩和传输。
超低延迟技术：随着实时互动需求的增加，超低延迟技术成为重要发展方向。通过优化传输协议、提高编解码效率及利用边缘计算等技术手段，可以有效降低音视频传输的延迟时间，提升用户体验。
虚拟现实与增强现实：VR/AR技术的融合将为音视频技术带来更加沉浸式的体验。未来，随着VR/AR设备的普及和技术的成熟，音视频技术将在娱乐、教育、医疗等领域实现更加广泛的应用和创新。
2.沉浸式体验与个性化服务
3D音频和全息影像：通过3D音频和全息影像技术，为用户创造身临其境的视听感受，提升沉浸式体验。
个性化推荐：基于用户行为和偏好的个性化推荐算法，将为每位观众提供定制化的音视频内容，增强用户黏性。
3.边缘计算与传输优化
边缘计算：为了降低延迟，边缘计算将成为音视频通信的重要组成部分，数据将在离用户更近的地方处理。
传输协议：更高效的编码压缩算法和传输协议的出现，将进一步降低音视频数据的存储和传输成本。
4.传统行业智能化
智能化监控：在深井矿山、应急排障、隧道施工等领域，音视频技术结合AI技术可以实现智能化监控和管理，提高安全性和效率。
数字文旅：数字文旅等新兴产业将借助音视频技术实现更加丰富的用户体验。
5.网络安全与隐私保护
安全问题：随着音视频通信的普及，网络安全问题也日益突出，如何保护用户隐私和数据安全将成为重要课题。
未来，音视频与AI会更深度、更广泛、多维度的交互，为用户带来更多更好的应用体验。那么我们该如何学习音视频开发技术呢？不骗大家，音视频的门槛是真的有点高，因为音视频特色就是C/C++开发，对于新入门的开发者来说，仅仅只是看大量的音视频开源库，像FFmpeg、MediaCodec这些API就已经很让人头大了。况且，只是使用API，根本不能适应实际工作中千变万化的需求。介于以上的主要原因，音视频自学起来困难重重，学习成本非常高，效率极低。当然，所谓的难度只是对那些找不到方向的人来说，如果有正确的学习方向，辅以系统的学习资料，难度就会降低很多，学起来也高效很多。
音视频开发学习方法
其实也没什么太多的取巧，只是学习这件事，必须得有体系，有条理，循序渐进，这样才能完全的掌握这些重要的知识点和技能。下面给大家分享一个最新音视频开发学习路线（来自零声教育音视频开发课程大纲），本路线涵盖最主流的音视频全栈开发技术，学完具备全栈的音视频技术体系思维和视野，能够结合企业实际场景业务，进行播放器、录屏器、推拉流直播、视频监控、音视频通话、流媒体服务器等实际项目的开发。
第一阶段：音视频基础
1.1 音频基础知识
如何采集声音-模数转换原理
为什么高品质音频采样率>=44.1Khz
什么是PCM
一个采样点用多少位表示
采样值用整数还是浮点数表示
音量大小和采样值大关系
多少个采样点作为一帧数据
左右通道的采样数据如何排列
什么是PCM（脉冲编码调制）
音频编码原理
1.2 视频基础知识
RGB彩色原理
为什么需要YUV格式
什么是像素
分辨率、帧率、码率
YUV数据存储格式区别
YUV内存对齐问题
为什么画面显示绿屏
H264编码原理
H264 I P B帧的关系
1.3 解复用基础知识
什么是解复用，比如MP4格式
为什么需要不同的复用格式MP4/FLV/TS
常见的复用格式MP4/FLV/TS
1.4 FFmpeg开发环境搭建
Windows、Ubuntu、MAC三大平台
QT安装
FFmpeg命令行环境
FFmpeg API环境
FFmpeg编译
vs2019安装（win平台）
1.5 音视频开发常用工具
MediaInfo，分析视频文件
VLC播放器，播放测试
EasyICE，分析TS流
flvAnalyser，分析FLV
mp4box，分析mp4
audacity，分析音频PCM
Elecard_streamEye，分析H264
海康YUVPlayer，分析YUV
第二阶段：FFmpeg实战
2.1 FFmpeg命令
音频PCM/AAC文件提取
视频YUV/H264文件提取
解复用、复用
音视频录制
视频裁剪和合并
图片/视频转换
直播推流和拉流
水印/画中画/九宫格滤镜
2.2 SDL跨平台多媒体开发库实战
SDL环境搭建
SDL事件处理
SDL线程处理
视频YUV画面渲染
音频PCM声音输出
2.3 FFmpeg基石精讲
FFmpeg框架
FFmpeg内存引用计数模型
解复用相关AVFormat XXX等
编解码相关AVCodec XXX等
压缩数据AVPacket
未压缩数据AVFrame
FFmpeg面向对象思想
Packet/Frame数据零拷贝
2.4 音视频解复用+解码
解复用流程
音频解码流程
视频解码流程
FLV封装格式分析
MP4封装格式分析
FLV和MP4 seek有什么区别
为什么FLV格式能用于直播
为什么MP4不能用于直播
MP4能否用来做点播
AAC ADTS分析
2.5 音视频编码+复用合成视频
AAC音频编码
H264视频编码
PCM+YUV复用合成MP4/FLV
H264编码原理
IDR帧和I帧区别
动态修改编码码率
GOP间隔参考值
复用合成MP4音视频不同步问题
编码、复用timebase问题
MP4合成IOS不能播放问题
2.6 FFmpeg过滤器
FFmpeg过滤chain框架
音频过滤器框架
视频过滤器框架
多路音频混音amix
视频水印watermark
视频区域裁剪和翻转
视频添加logo
2.7 ffplay播放器(开源项目实战)
掌握ffplay.c的意义
ffplay框架分析
解复用线程
音频解码线程
视频解码线程
声音输出回调
画面渲染时间间隔
音频重采样
画面尺寸格式变换
音频、视频、外部时钟同步区别
2.8 FFmpeg+QT播放器实战
播放器讲解
播放器框架分析
播放器模块划分
解复用模块
音视频解码
播放器控制
音视频同步
dxva2硬解
音量频谱展示
音频均衡器
2.9 ffmpeg多媒体视频处理工具
掌握ffmpeg.c的意义
ffmpeg框架分析
音视频编码
封装格式转换
提取音频
提取视频
logo叠加
音视频文件拼接
filter机制
命令行解析流程
2.10 OBS二次开发-录制推流项目
OBS vs2019+QT5.15.2编译
音频配置和初始化分析
音频线程模块采集和编码分析
视频配置和初始化分析
视频线程模块采集和编码分析
OBS初始化过程分析
录制流程分析
麦克风采集分析
桌面采集分析
X264编码分析
第三阶段：流媒体客户端
3.1 RTMP推拉流项目实战
RTMP协议分析
wireshark抓包分析
H264 RTMP封装
AAC RTMP封装
RTMP拉流实战
H264 RTMP解析
AAC RTMP解析
RTMP推流实战
没有MetaData能否播放
RTMP推流是否会导致延迟
3.2 HLS拉流分析
HLS协议分析
HTTP协议分析
TS格式分析
m3u8文件解析
wireshark抓包分析
HLS拉流实战
FFmpeg HLS源码分析
HLS多码率机制
如何解决HLS延迟高的问题
3.3 RTSP流媒体实战
RTSP协议分析
RTP协议分析
H264 RTP封装
H264 RTP解析
AAC RTP封装
AAC RTP解析
RTCP协议分析
RTSP流媒体服务器搭建
RTSP推流实战
RTSP拉流实战
第四阶段：WebRTC项目实战
4.1 WebRTC中级一对一音视频通话
WebRTC通话原理分析
WebRTC开发环境搭建
coturn最佳搭建方法
如何采集音视频数据
一对一通话时序分析
信令服务器设计
SDP分析
Candidate类型分析
Web一对一通话
Web和Android通话
4.2 WebRTC高级-MESH模型多人通话
自定义摄像头分辨率
码率限制
调整编码器顺序
Mesh模型多方通话分析
多人通话信令服务器开发
动态分配stun/turn服务器
Web客户端源码
Android客户端源码
4.3 WebRTC高级-Janus SFU模型多人通话
Janus框架分析
Janus信令设计
基于Janus实现会议系统
Janus Web客户端源码分析
Janus Android客户端源码分析
Janus Windows客户端源码分析
基于Full ICE的部署
基于Lite ICE的部署
Full ICE和Lite ICE的区别
发布订阅模型
第五阶段：嵌入式音视频开发
5.1 嵌入式驱动基础
5.1.1 快速掌握Linux驱动开发
Linux嵌入式驱动架构
Linux字符设备驱动分析
Linux字符设备驱动实践
Linux块设备驱动分析
5.1.2 Linux并发
阻塞和非阻塞
中断处理
互斥量
自旋锁
5.2 Linux嵌入式多路监控系统
5.2.1 架构分析和部署
嵌入式多路监控架构分析
部署C++后端服务
部署rv1126设备端程序
部署web远程查看实时画面
5.2.2 alsa驱动源码分析和应用实践
alsa架构分析
alsa驱动解析
alsa声音捕获实战
alsa声音播放实战
最完善的alsa接口封装实践
5.2.3 v4l2源码分析和应用实践
v4l2架构分析
v4l2 rv1126架构
v4l2摄像头捕获实战
最完善的v4l2接口封装实践
5.2 Linux嵌入式多路监控系统(续)
5.2.4 FFmpeg 7.1 ARM交叉编译
交叉编译x264
交叉编译FFmpeg7.1
移植到rv1126开发板
裁剪ffmpeg
5.2.5 FFmpeg 7.1软件编码
ffmpeg h264编码
h264编码参数优化(延迟/cpu占用率/码率/编码质量)
ffmpeg aac编码
5.2.6 FFmpeg 7.1 RTMP推流
推流队列设计
时间戳平滑处理
单纯音频推流测试
单纯视频推流测试
音视频推流测试
5.2 Linux嵌入式多路监控系统(续2)
5.2.7 rv1126硬件编码
vi架构分析
vi采集摄像头画面
venc架构分析
venc硬件编码
5.2.8 rv1126 AI人员检测
AI人员检测原理分析
rockx人员检测实战
项目集成人员检测功能
人员入侵提示
5.2.9 多路监控优化(面试必问)
如何实时网络状况检测
动态调整视频码率
实现子码流推流
音频降噪实践
第六阶段：流媒体服务器
6.1 SRS 源码剖析
整体框架分析
RTMP推流分析
RTMP拉流分析
HLS拉流分析
HTTP-FLV拉流分析
FFmpeg转码分析
首屏秒开技术分析
forward集群源码分析
edge集群源码分析
负载均衡部署方式
6.2 ZLMediaKit源码剖析
整体框架分析
线程模块划分
RTSP推流连接处理
RTSP拉流连接处理
数据转发模型
SDP解析
RTP H264解析
RTP AAC解析
6.3 WebRTC高级开发-SRS篇
RTMP转发WebRTC逻辑
WebRTC转发RTMP逻辑
WebRTC音视频一对一通话
WebRTC多人通话
WebRTC SFU模型分析
SRTP分析
RTCP分析
SDP分析
NACK分析
stun分析
第七阶段：Android NDK开发
7.1 Android NDK开发基础
So库适配总结
GDB调试技巧
Makefile工程组织
CMake工程组织
生成指定CPU平台的so库
JNI基础和接口生成
JNI Native层构建 Java 对象
JNI异常处理
7.2 Android FFmpeg编译和应用
编译x264
编译x265
编译mp3
编译fdk-aac
编译FFmpeg
使用ffmpeg实现mp4转格式
使用FFmpeg开发播放器
7.3 Android RTMP推拉流
RTMP推流协议实现
RTMP拉流协议实现
RTMP拉流音视频同步
MediaCodec硬件编码
MediaCodec硬件解码
OpenSL ES播放音频数据
OpenGL ES Shader显示视频
7.4 Android Ijkplayer源码分析
编译ijkplayer和实践
项目框架分析
播放状态转换
拉流分析
解码分析
音频播放流程
视频渲染流程
变速播放实现原理
低延迟播放实现
缓存队列设计机制分析
C++音视频流媒体开发免费试听地址
https://xxetb.xet.tech/s/2L80ej
课程适合人群
从事音视频岗位开发的在职工程师
从事嵌入式方向开发的在职工程师
从事Qt/MFC等桌面开发的在职工程师
从事Android/IOS移动开发的在职工程师
从事C/C++后台开发的在职工程师
计算机相关专业的在校生