使用 MediaMTX 和 FFmpeg 推拉 RTSP 流媒体

实时流传输协议 RTSP（Real-Time Streaming Protocol）是 TCP/IP 协议体系中的一个应用层协议，由哥伦比亚大学、网景和 RealNetworks 公司提交的 IETF RFC 标准。该协议定义了一对多应用程序如何有效地通过 IP 网络传送多媒体数据。RTSP 在体系结构上位于 RTP 和 RTCP 之上，它使用 TCP 或 UDP 完成数据传输。

一、RTSP 适用场景：

视频监控和安防系统：RTSP 在视频监控领域具有广泛的应用。它可以实现监控视频的实时传输、回放、点播和存储等功能，适用于大规模的视频监控系统，如城市安防、企事业单位、交通监控等场景。
直播服务：RTSP 在直播服务中也发挥着重要作用。它可以实现音视频数据的实时传输和控制，确保直播的流畅性和稳定性。同时，RTSP 还支持多种媒体格式和编码方式，适应不同平台和设备的播放需求。
点播服务：除了直播外，RTSP 还适用于点播服务。用户可以通过 RTSP 协议向服务器请求特定的音视频资源，进行播放和观看。这种方式适用于视频库、在线教育、远程会议等场景。
视频会议和远程教育：RTSP 在视频会议和远程教育领域也具有一定的应用价值。它可以实现音视频数据的实时传输和控制，确保会议的顺利进行和远程教育的有效性。
流媒体服务器与媒体播放器之间的通信：RTSP 协议是流媒体服务器与媒体播放器之间的主要通信协议，用于建立和控制媒体会话。通过 RTSP 协议，媒体播放器可以向流媒体服务器请求媒体数据，实现音视频内容的播放。

二、FFmpeg 操作 RTSP 的参数：

FFmpeg 是一个非常强大的开源工具，可以用来处理音频和视频，也可以进行 RTSP 视频流的推拉。

要使用 FFmpeg 进行 RTSP 视频流的推拉，需要首先确保系统已经安装了 FFmpeg。在大多数 Linux 发行版中，可以通过包管理器（如 apt 或 yum）来安装。在 Windows 或 Mac 上，需要从 FFmpeg 的官方网站下载并安装。

安装完成后，可以通过下面的命令，来查询 FFmpeg 操作 RTSP 的参数：

ffmpeg -h demuxer=RTSP

RTSP demuxer AVOptions:
  -initial_pause     <boolean>    .D......... do not start playing the stream immediately (default false)
  -rtsp_transport    <flags>      ED......... set RTSP transport protocols (default 0)
     udp                          ED......... UDP
     tcp                          ED......... TCP
     udp_multicast                .D......... UDP multicast
     http                         .D......... HTTP tunneling
     https                        .D......... HTTPS tunneling
  -rtsp_flags        <flags>      .D......... set RTSP flags (default 0)
     filter_src                   .D......... only receive packets from the negotiated peer IP
     listen                       .D......... wait for incoming connections
     prefer_tcp                   ED......... try RTP via TCP first, if available
     satip_raw                    .D......... export raw MPEG-TS stream instead of demuxing
  -allowed_media_types <flags>      .D......... set media types to accept from the server (default video+audio+data+subtitle)
     video                        .D......... Video
     audio                        .D......... Audio
     data                         .D......... Data
     subtitle                     .D......... Subtitle
  -min_port          <int>        ED......... set minimum local UDP port (from 0 to 65535) (default 5000)
  -max_port          <int>        ED......... set maximum local UDP port (from 0 to 65535) (default 65000)
  -listen_timeout    <int>        .D......... set maximum timeout (in seconds) to wait for incoming connections (-1 is infinite, imply flag listen) (from INT_MIN to INT_MAX) (default -1)
  -timeout           <int64>      .D......... set timeout (in microseconds) of socket I/O operations (from INT_MIN to I64_MAX) (default 0)
  -reorder_queue_size <int>        .D......... set number of packets to buffer for handling of reordered packets (from -1 to INT_MAX) (default -1)
  -buffer_size       <int>        ED......... Underlying protocol send/receive buffer size (from -1 to INT_MAX) (default -1)
  -user_agent        <string>     .D......... override User-Agent header (default "Lavf60.3.100")

也可以参考《 FFmpeg 从入门到精通 》书里的内容：

三、安装 MediaMTX

MediaMTX（原名 rtsp-simple-server）是一个开源的实时媒体服务器和媒体代理，它允许用户发布、读取、代理、录制和播放视频和音频流。MediaMTX 是一个即用型、零依赖的工具，旨在简化媒体流的路由和管理。它通常被用作一个 “媒体路由器”，能够将媒体流从一个端点路由到另一个端点。通过使用 MediaMTX，开发者可以轻松地构建各种实时媒体应用，如视频直播、视频点播、视频会议等。

下载并安装 MediaMTX ，目前最新的 Windows 版本是： mediamtx_v1.8.0_windows_amd64.zip 。

四、使用 FFmpeg 发送 RTSP 流媒体

假设有一个视频文件（例如 input.mp4）并希望将其作为 RTSP 流发送，可以使用以下命令：

ffmpeg -re -i input.mp4 -c:v libx264 -preset veryfast -maxrate 3000k -bufsize 6000k -pix_fmt yuv420p -g 50 -c:a aac -b:a 160k -ac 2 -ar 44100 -f rtsp rtsp://your_rtsp_server/live/stream

命令参数：

    -re：以原始帧率读取输入（用于模拟实时流）。
    -i input.mp4：指定输入文件。
    -c:v libx264：使用 H.264 视频编码器。
    -preset veryfast：设置 x264 编码器的预设，这里选择了较快的预设以获得更快的编码速度。
    -maxrate 和 -bufsize：设置比特率和缓冲区大小。
    -pix_fmt yuv420p：设置像素格式，这对于某些 RTSP 服务器是必需的。
    -g 50：设置关键帧间隔（GOP大小）。
    -c:a aac：使用 AAC 音频编码器。
    -b:a 160k：设置音频比特率。
    -ac 2：设置音频通道数为 2（立体声）。
    -ar 44100：设置音频采样率为 44100 Hz。
    -f rtsp：设置输出格式为 RTSP。
    rtsp://your_rtsp_server/live/stream：指定 RTSP 服务器的 URL 和流路径。

如：ffmpeg -re -stream_loop -1 -i input.mp4 -c copy -f rtsp rtsp://127.0.0.1:8554/videoFile_test

五、使用 FFplay 播放 RTSP 流媒体

ffplay 可以直接播放 RTSP 流。命令如下：

ffplay -i rtsp://your_rtsp_server/live/stream

ffplay -i rtsp://127.0.0.1:8554/videoFile_test

六、使用 FFmpeg 录制 RTSP 流媒体

要录制 RTSP 流，可以使用以下命令：

ffmpeg -rtsp_transport tcp -i rtsp://your_rtsp_server/live/stream -c copy -f mp4 output.mp4

这个命令将 RTSP 流转码为 MP4 格式并保存在本地 output.mp4，采用 TCP 传输方式，可以避免缺省 UDP 传输模式可能丢包导致的花屏、绿屏、灰屏、马赛克等问题。

七、使用 FFmpeg 推送、拉取 RTSP 流媒体（摄像头作为源）

要使用 FFmpeg 发送和播放 RTSP 流媒体，并且以摄像头采集的视频作为源，需要按照以下步骤操作：

首先，需要确保摄像头已经被系统识别，可以通过一些命令方式（如 v4l2-ctl 或 ffmpeg -list_devices true -f dshow -i dummy，对于Windows）来列出和选择。

然后，可以使用以下 FFmpeg 命令将摄像头采集的视频作为源，并发送到 RTSP 服务器：

ffmpeg -re -f v4l2 -input_format h264 -i /dev/video0 -c:v copy -an -f rtsp rtsp://your_rtsp_server/live/stream

命令参数：

    -f v4l2 指定输入格式为 Video4Linux2（Linux上常用的摄像头输入格式）。
    -input_format h264（如果摄像头直接输出 H.264 格式的话）。但通常摄像头输出的是原始格式（如 YUV），可能需要使用 -c:v libx264 来重新编码。
    /dev/video0 是摄像头在 Linux 上的常见设备路径，具体取决于摄像头和系统配置。在 Windows 上，可能需要使用如 dshow 这样的输入选项和设备名。
    -c:v copy 试图直接复制视频流（如果源是编码的格式），但如果源是原始格式，则需要用编码器（如 -c:v libx264）。
    -an 表示不包含音频流（因为摄像头通常不输出音频）。
    -f rtsp 指定输出格式为 RTSP。
    rtsp://your_rtsp_server/live/stream 是 RTSP 服务器的 URL 和流路径。

以摄像头为源，推送 RTSP 流媒体：

ffmpeg -f dshow -i video="HP Wide Vision HD Camera" -vcodec libx264 -preset:v ultrafast -tune:v zerolatency -rtsp_transport tcp -f rtsp rtsp://127.0.0.1:8554/camera_test

以摄像头为源，拉取 RTSP 流媒体：

ffplay -i rtsp://127.0.0.1:8554/camera_test

拉取视频显示：

注意事项：

    如果摄像头输出的是原始格式而不是 H.264 编码的视频，需要使用视频编码器（如 -c:v libx264 ）来重新编码视频流。
    可能需要根据摄像头和 RTSP 服务器的具体配置来调整 FFmpeg 命令中的参数。
    确保网络防火墙和安全设置允许 RTSP 流的传输。
    如果 RTSP 服务器需要身份验证或其他安全设置，需要在 URL 中包含这些信息，如 rtsp://username:password@your_rtsp_server/live/stream。

老徐，2024/5/2