“

2018年5月25日进入全新的领域，音视频领域，之前在私有云行业涉猎了两年。

未来会在零基础学习音视频领域知识并分享的同时，持续关注并更新私有云行业的架构知识、实战经验和行业知识。

音视频领域知识我将从拾人牙慧开始，但相信这样的日子会很快结束。

”

音视频领域主要涉及的模块和架构

    1.音视频采集模块：负责产生音视频信号，将场景转换成视频信号输出，声波转换成音频信号输出。在移动设备领域，信号采集设备主要有摄像头，麦克风，采集到的数据主要音视频裸数据，视频主要为RGB和YUV数据，音频主要PCM数据。

   2 .信号处理模块：将采集到的信号进行一些运算，使得有用信息更为突出（信噪比更高），视频的主要处理包括白平衡，滤镜等，视频处理运算量大一般，一般尽量用GPU处理，可以参照GPUImage开源框架。音频的处理主要有降噪，回声抑制，自增强等，这些算法可以参照webrtc开源框架。

   3 .编码模块：将信号的冗余去除，用最小的数据量来存储和传递信号，以便节省硬盘和带宽资源。视频信号在时间和空间上都有很大的冗余，通过正交变换和帧内预测，去除空间上的冗余度，通过帧间预测去除时间上的冗余度；音频信号短时平稳信号，通，变换到频谱域，再结合人耳的掩蔽效应，可以消除大部分信号的冗余度。主要的视频编码格式有mpeg4，h264，h265，vp8，vp9和av1等，主要音频编码格式有mp3，aac，flac和opus等。

    4.封装模块：在编码后的信号上面加一层协议，让信号便于理解，方便传输、存取和资源复用，比如支持随机存取和多套节目同时传输等，封装模块包括两部分，一部分主要用于存储的文件封装协议，如ps，mp4，flv和avi等协议，另一部分主要用于传输的封装协议，如ts，rtsp，rtmp等协议。

    5.存储模块：将信号存储起来，克服了信号时间的局限，在时间维度得以延续，比如经典影视和安防录像证据，还有人类第一段被记录声音。

    6.传输模块：将信号传输到他处，克服了信号的空间局限，比如视频监控和直播，主要是通过网络传输。

    7.解封装模块：将封装的信号复原编码后的信号。

    8.播放模块：再现视频和音频信号。

未来将分模块详述每个模块涉及的功能点和行业应用。