基于海思soc的智能产品开发（音视频处理的三个方向）

音视频处理这个需求一直都有，那我们为什么需要soc来处理音视频。或者说，用soc来处理音视频有什么好处？传统的pc，处理音视频的话，大多数情况下都是绰绰有余的。但是现在的社会，很多时候我们希望在户外游玩、在工业生产、在随身医疗等方面也需要处理音视频数据，这种情况下，用pc处理就不是很方便了。

下面，我们谈一下三个常见的音视频处理方向。

1、基于摄像头的音视频处理

这方面以sensor、isp为主要的使用目的。不同的sensor，效果其实是不一样的。有的擅长黑白，有的擅长彩色；有的擅长白天，有的擅长夜晚。如果加上焦距、镜头和光源，这里面能做的事情就更多了。当然，就sensor而言，不管什么样的sensor，出来的图像都是失真的、不能用的，只有经过isp的tuning之后，才能出来合格的图像。

如果这些图像不经过编解码，通过usb、网络，直接送出去，这就是工业相机的用途。当然，很多专业的消费相机也是这么做的。所以，基于sensor和isp本身的图像应用，是很大的一个市场。另外，有些sensor是特定行业专用的，比如内窥镜，这方面也需要专业的isp进行tuning处理的。

2、基于编解码和流媒体的音视频处理

传统的音视频基本上就是编解码。视频方面就是h264、h265，音频的话，格式也不少。为了提高处理的效率，一般都是由硬件负责编、解码的工作。常见的行车记录仪，就是这么做的。后来，随着网络的普及，视频生成后，及时通过网络传递出来，做安防、通信、娱乐和会议使用，这方面也是很大的一个市场。这就是所谓的视频流。既然是视频流，那么涉及到网络协议的部分就比较多，有志于此的同学，可以在这方面进行深入学习。

3、新型的AI市场

除了ISP处理、编解码及视频流之外，另外一个方兴未艾的市场就是ai，也就是人工智能。传统的图像可能需要人来提取有用的信息，但是有了ai和大模型之后，音视频设备就是一个智能的传感器。借助于深度学习模型，我们可以直接从中提取有用的信息。这里面，包括了人脸识别、车牌识别、二维码识别等等，这些都是非常实在的应用。