Windows平台RTMP推送|轻量级RTSP服务如何实现摄像头叠加到屏幕输出

技术背景

我们在用Windows平台RTMP推送、轻量级RTSP服务实现无纸化同屏、智慧教室等场景的时候，有个需求是，需要主讲人（或老师）的摄像头数据，叠加到屏幕上输出出去，这就是今天我们需要讲的视频视频叠加。

技术实现

实际上，大牛直播SDK的视频叠加这块做的非常先进，采用类似于Photoshop图层的概念，比如如需要摄像头实时叠加到屏幕，那么第0层，可以设置屏幕数据，第1层可以设置摄像头数据，以C#为例，设置如下：

/* SmartPublisherDemoDlg.cs
 * Author: daniusdk.com
 */
//摄像头overlay到桌面
int left = Int32.Parse(edit_clip_left_.Text);
int top = Int32.Parse(edit_clip_top_.Text);
int w = Int32.Parse(edit_clip_width_.Text);
int h = Int32.Parse(edit_clip_height_.Text);

// 有一个是0， 就使用全屏
if ( w == 0 || h == 0 )
{
	left = 0;
	top = 0;
	GetScreenSize(ref w, ref h);
}
else
{
	// 保证4字节对齐
	w = NT_ByteAlign(w, 4);
	h = NT_ByteAlign(h, 4);
}

NTSmartPublisherSDK.NT_PB_ClearLayersConfig(publisher_handle_, 0, 0, IntPtr.Zero);

//第一层：屏幕
NT_PB_ScreenLayerConfig screen_layer_c0 = new NT_PB_ScreenLayerConfig();

type = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_SCREEN;
fill_layer_base(screen_layer_c0, out screen_layer_c0.base_, type, index, true, left, top, w, h);
screen_layer_index_ = screen_layer_c0.base_.index_;

screen_layer_c0.clip_region_.x_ = left;
screen_layer_c0.clip_region_.y_ = top;
screen_layer_c0.clip_region_.width_ = w;
screen_layer_c0.clip_region_.height_ = h;

screen_layer_c0.reserve_ = IntPtr.Zero;

if (add_layer_config(screen_layer_c0, type))
	index++;

//第二层：摄像头
if (-1 != cur_sel_camera_index_)
{
	int c_l = Int32.Parse(edit_camera_overlay_left_.Text);
	int c_t = Int32.Parse(edit_camera_overlay_top_.Text);

	int c_w = Int32.Parse(edit_camera_overlay_width_.Text);
	int c_h = Int32.Parse(edit_camera_overlay_height_.Text);

	if (c_w == 0)
	{
		c_w = w / 2;
	}

	if (c_h == 0)
	{
		c_h = h / 2;
	}

	ctos_camera_layer_c1_ = new NT_PB_CameraLayerConfigV2();

	CameraInfo camera = cameras_[cur_sel_camera_index_];
	NT_PB_VideoCaptureCapability cap = camera.capabilities_[cur_sel_camera_resolutions_index_];

	ctos_camera_layer_c1_.device_unique_id_utf8_ = camera.id_;

	type = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_CAMERA;
	fill_layer_base(ctos_camera_layer_c1_, out ctos_camera_layer_c1_.base_, type, index, true, c_l, c_t, c_w, c_h);
	camera_layer_index_ = ctos_camera_layer_c1_.base_.index_;

	if (btn_check_flip_horizontal_camera_.Checked)
	{
		ctos_camera_layer_c1_.is_flip_horizontal_ = 1;
	}
	else
	{
		ctos_camera_layer_c1_.is_flip_horizontal_ = 0;
	}

	if (btn_check_flip_vertical_camera_.Checked)
	{
		ctos_camera_layer_c1_.is_flip_vertical_ = 1;
	}
	else
	{
		ctos_camera_layer_c1_.is_flip_vertical_ = 0;
	}

	ctos_camera_layer_c1_.rotate_degress_ = GetCameraRotateDegress();

	if (add_layer_config(ctos_camera_layer_c1_, type))
		index++;
}

NTSmartPublisherSDK.NT_PB_SetFrameRate(publisher_handle_, UInt32.Parse(edit_frame_rate_.Text));

界面设置如下，推送RTMP或启动轻量级RTSP服务之前，选择“摄像头叠加到屏幕”选项，然后，如果需要设置位置，可以设置摄像头的位置：

如果需要实时关闭或打开叠加的摄像头：

private void btn_disable_camera_overlay__Click(object sender, EventArgs e)
{
	if (btn_camera_overlay_to_desktop.Checked)
	{
		if (publisher_handle_ != IntPtr.Zero)
		{
			String str_btn_text = btn_disable_camera_overlay_.Text;

			String strStopOverlayCmr = "停止叠加摄像头";

			if (str_btn_text.Equals(strStopOverlayCmr))
			{
				if (NTBaseCodeDefine.NT_ERC_OK == NTSmartPublisherSDK.NT_PB_EnableLayer(publisher_handle_, 0,
					camera_layer_index_, 0))
				{
					btn_disable_camera_overlay_.Text = "叠加摄像头";
				}
			}
			else
			{
				if (NTBaseCodeDefine.NT_ERC_OK == NTSmartPublisherSDK.NT_PB_EnableLayer(publisher_handle_, 0,
					camera_layer_index_, 1))
				{
					btn_disable_camera_overlay_.Text = "停止叠加摄像头";
				}
			}
		}
	}
}

叠加后输出的效果如下：

技术总结

无论是摄像头叠加屏幕，还是屏幕叠加摄像头，亦或屏幕或摄像头添加动态图片或文字水印，大牛直播SDK都是采用图层设计，很容易扩展，也很容易随时隐藏某个图层，确保整体设计更灵活，满足大多数图像叠加场景的技术诉求。

以RTMP推送模块为例，我们目前功能设计如下：

[视频采集处理]Windows平台涵盖“Windows视频采集处理SDK”功能；
[音频采集处理]Windows平台涵盖“Windows音频采集处理SDK”功能；
[本地预览]Windows平台支持摄像头/屏幕/合成数据实时预览功能，Android/iOS平台支持本地前后置摄像头预览；
[摄像头反转/旋转]Windows平台支持摄像头水平反转、垂直反转、0°/90°/180°/270°旋转；
[摄像头采集]除常规YUV格式外，Windows平台还支持MJPEG格式的摄像头采集；
[麦克风/扬声器采集]Windows平台音频输入端支持麦克风、扬声器，或麦克风和扬声器混音输入；
[RTMP推流]超低延时的RTMP协议直播推流SDK（Windows/Android/iOS支持RTMP扩展H.265推送）；
[视频格式]Windows/Android平台支持H.264/H.265编码(Android H.265硬编码)，iOS平台支持H.264编码；
[音频格式]Windows/Android/iOS平台支持AAC编码，Windows/Android平台支持Speex编码；
[音频编码]Windows/Android平台支持Speex推送、Speex编码质量设置；
[音量调节]Windows/Android平台采集端支持实时音量调节(其中，Windows平台混音模式下支持单独控制麦克风、扬声器音量)；
[H.264硬编码]Windows/Android/iOS平台支持H.264特定机型硬编码；
[H.265硬编码]Android/iOS平台支持H.265特定机型硬编码；
[硬编码自适应]Android/iOS平台支持硬编码自适应，如检测到硬编码不支持，自动切换到软编（iOS如H.265硬编，先切换到H.264硬编码，如不支持再尝试H.264软编）；
[软硬编码参数配置]支持gop间隔、帧率、bit-rate设置；
[软编码参数配置]支持软编码profile、软编码速度、可变码率设置；
[多实例推送]支持多实例推送(如同时推送屏幕/摄像头和外部数据)；
[RTMP扩展H.265]Windows/Android/iOS推送SDK支持RTMP扩展H.265推送和Enhanced RTMP H.265，Windows针对摄像头采集软编码，使用H.265可变码率，带宽大幅节省，效果直逼传统H.265编码摄像头，Android/iOS平台支持H.265硬编码；
[横竖屏推流]Android/iOS平台支持支持横屏、竖屏推流；
[多分辨率支持]支持摄像头或屏幕多种分辨率设置；
[Windows推屏]Windows平台支持屏幕裁剪、窗口采集、屏幕/摄像头数据合成等多种模式推送；
[移动端推屏]Android平台支持后台service推送屏幕(推送屏幕需要5.0+版本)；
[移动端推屏]iOS平台支持后台推送屏幕(基于ReplayKit，需要iOS 10.0+版本)；
[事件回调]支持各种状态实时回调；
[水印]Windows平台支持文字水印、png水印、实时遮挡，Android平台支持文字水印、png水印；
[RTMP推送模式]支持RTMP推送 live|record模式设置（需服务器支持）；
[镜像]Android/iOS平台支持前置摄像头实时镜像功能；
[前后摄像头实时切换]Android/iOS平台支持采集过程中，前后摄像头切换；
[复杂网络处理]支持断网重连等各种网络环境自动适配；
[动态码率]支持根据网络情况自动调整推流码率；
[实时静音]支持推送过程中，实时静音/取消静音；
[实时快照]支持推流过程中，实时快照；
[纯音频推流]支持仅采集音频流并发起推流功能；
[纯视频推流]支持特殊场景下的纯视频推流功能；
[降噪]Windows/Android平台支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测；
[回音消除]Android平台支持实时传递远端PCM数据，方便回音消除处理；
[外部编码前视频数据对接]支持YUV数据对接；
[外部编码前音频数据对接]支持PCM对接；
[外部编码后视频数据对接]支持外部H.264数据对接；
[外部编码后音频数据对接]外部AAC/PCMA/PCMU/SPEEX数据对接；
[推送端休眠设置]Windows平台支持休眠接口(设置成休眠模式后CPU会适当降低)；
[编码后数据输出]Android平台支持输出编码后的H264/AAC数据到上层，方便对接第三方平台(如GB28181)对接；
[扩展录像功能]完美支持和录像SDK组合使用，录像相关功能，可参见”Windows/Android/iOS录像SDK“；
[裁剪模式]Android/iOS平台支持特定分辨率摄像头裁剪模式设置；
[服务器兼容]支持自建服务器(如Nginx、SRS)或CDN。