开发个RTMP播放器居然这么难？RTMP播放器对标和考察指标
好多开发者提到，RTMP播放器，不知道有哪些对标和考察指标，以下大概聊聊我们的一点经验，感兴趣的，可以关注 github：
1. 低延迟：大多数RTMP的播放都面向直播场景，如果延迟过大，严重影响体验，所以，低延迟是衡量一个好的RTMP播放器非常重要的指标，目前大牛直播SDK的RTMP直播播放延迟比开源播放器更优异（大牛直播SDK延迟在1秒左右，开源播放器如VLC，延迟在5-7秒），而且长时间运行下，大牛直播SDK播放端不会造成延迟累积，开源或第三方播放器，长时间运行，容易产生延迟累积；
部分服务器会缓存GOP，确保快速实现首屏播放，又不影响延迟，对此，我们设计了快速启动接口，快速render第一帧的同时，追到最新的播放数据：
/*
* 设置秒开, 1为秒开, 0为不秒开
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetFastStartup(IntPtr handle, Int32 isFastStartup);2. 音视频同步处理：大多播放器为了追求低延迟，甚至不做音视频同步，拿到audio video直接播放，导致a/v不同步，还有就是时间戳乱跳等各种问题，大牛直播SDK提供的播放器，具备好的时间戳同步和异常时间戳矫正机制；
备注：如果是超低延迟模式下，可以0 buffer，不做音视频同步：
/*
* 设置低延时播放模式，默认是正常播放模式
* mode: 1为低延时模式， 0为正常模式，其他只无效
* 接口调用成功返回NT_ERC_OK
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetLowLatencyMode(IntPtr handle, Int32 mode);3. 支持多实例：大牛直播SDK提供的RTMP直播播放SDK支持在设备性能允许的情况下，支持多实例播放RTMP流数据，大多开源播放器对多实例支持不太友好；
除了常规的多实例外，比如大屏监控场景下，尽管我们CPU占用已经是行业内非常低的了，但是好多厂家下，不是每路都需要全帧播放，针对此种情况，我们做了实时只播放关键帧和全帧播放的接口设计，比如8个实例，其中不太重要的几路数据，可以设置只播放关键帧，需要重点关注时，点击全帧率播放即可，这样既节省了系统开销，又实现了多路播放的目的：
/*
* 设置只解码视频关键帧
* is_only_dec_key_frame: 1:表示只解码关键帧, 0:表示都解码, 默认是0
* 成功返回NT_ERC_OK
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetOnlyDecodeVideoKeyFrame(IntPtr handle, Int32 is_only_dec_key_frame);4. 支持buffer time设置：在一些有网络抖动的场景，播放器需要支持buffer time设置，一般来说，以毫秒计，开源播放器对此支持不够友好；
5. 实时静音：比如，多窗口播放RTMP流，如果每个audio都播放出来，体验非常不好，所以实时静音功能非常必要，开源播放器不具备实时静音功能；
6. 视频view旋转：好多摄像头由于安装限制，导致图像倒置，所以一个好的RTMP播放器应该支持如视频view实时旋转(0° 90° 180° 270°)、水平反转、垂直反转，开源或第三方播放器不具备此功能；
/*
*上下反转(垂直反转)
*is_flip: 1:表示反转, 0:表示不反转
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetFlipVertical(IntPtr handle, Int32 is_flip);
/*
*水平反转
*is_flip: 1:表示反转, 0:表示不反转
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetFlipHorizontal(IntPtr handle, Int32 is_flip);
/*
* 设置旋转，顺时针旋转
* degress： 设置0， 90， 180， 270度有效，其他值无效
* 注意：除了0度，其他角度播放会耗费更多CPU
* 接口调用成功返回NT_ERC_OK
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetRotation(IntPtr handle, Int32 degress);7. 支持解码后audio/video数据输出：大牛直播SDK接触到好多开发者，希望能在播放的同时，获取到YUV或RGB数据，进行人脸匹配等算法分析，开源播放器不具备此功能；
public void SDKVideoFrameCallBack(UInt32 status, NT_SP_VideoFrame frame)
{
if (cur_video_frame_.plane0_ != IntPtr.Zero)
{
Marshal.FreeHGlobal(cur_video_frame_.plane0_);
cur_video_frame_.plane0_ = IntPtr.Zero;
}
cur_video_frame_ = frame;
this.Invalidate();
}
public void SDKAudioPCMFrameCallBack(UInt32 status, IntPtr data, UInt32 size,
Int32 sample_rate, Int32 channel, Int32 per_channel_sample_number)
{
//这里拿到回调的PCM frame，进行相关操作（如自己播放）
//label_debug.Text = per_channel_sample_number.ToString();
//release
Marshal.FreeHGlobal(data);
}
public void SetVideoFrameCallBack(IntPtr handle, IntPtr userData, UInt32 status, IntPtr frame)
{
if (frame == IntPtr.Zero)
{
return;
}
//如需直接处理RGB数据，请参考以下流程
NT_SP_VideoFrame video_frame = (NT_SP_VideoFrame)Marshal.PtrToStructure(frame, typeof(NT_SP_VideoFrame));
NT_SP_VideoFrame pVideoFrame = new NT_SP_VideoFrame();
pVideoFrame.format_ = video_frame.format_;
pVideoFrame.width_ = video_frame.width_;
pVideoFrame.height_ = video_frame.height_;
pVideoFrame.timestamp_ = video_frame.timestamp_;
pVideoFrame.stride0_ = video_frame.stride0_;
pVideoFrame.stride1_ = video_frame.stride1_;
pVideoFrame.stride2_ = video_frame.stride2_;
pVideoFrame.stride3_ = video_frame.stride3_;
Int32 argb_size = video_frame.stride0_ * video_frame.height_;
pVideoFrame.plane0_ = Marshal.AllocHGlobal(argb_size);
CopyMemory(pVideoFrame.plane0_, video_frame.plane0_, (UInt32)argb_size);
if (playWnd.InvokeRequired)
{
BeginInvoke(set_video_frame_call_back_, status, pVideoFrame);
}
else
{
set_video_frame_call_back_(status, pVideoFrame);
}
}
public void SetAudioPCMFrameCallBack(IntPtr handle, IntPtr user_data,
UInt32 status, IntPtr data, UInt32 size,
Int32 sample_rate, Int32 channel, Int32 per_channel_sample_number)
{
if (data == IntPtr.Zero || size == 0)
{
return;
}
IntPtr pcmData = Marshal.AllocHGlobal((Int32)size);
CopyMemory(pcmData, data, (UInt32)size);
if (playWnd.InvokeRequired)
{
BeginInvoke(set_audio_pcm_frame_call_back_, status, pcmData, size, sample_rate, channel, per_channel_sample_number);
}
else
{
set_audio_pcm_frame_call_back_(status, pcmData, size, sample_rate, channel, per_channel_sample_number);
}
}8. 实时快照：感兴趣或重要的画面，实时截取下来非常必要，一般播放器不具备快照能力，开源播放器不具备此功能；
/*
* 捕获图片
* file_name_utf8: 文件名称，utf8编码
* call_back_data: 回调时用户自定义数据
* call_back: 回调函数，用来通知用户截图已经完成或者失败
* 成功返回 NT_ERC_OK
* 只有在播放时调用才可能成功，其他情况下调用，返回错误.
* 因为生成PNG文件比较耗时，一般需要几百毫秒,为防止CPU过高，SDK会限制截图请求数量,当超过一定数量时，
* 调用这个接口会返回NT_ERC_SP_TOO_MANY_CAPTURE_IMAGE_REQUESTS. 这种情况下, 请延时一段时间，等SDK处理掉一些请求后，再尝试.
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_CaptureImage(IntPtr handle, IntPtr file_name_utf8,
IntPtr call_back_data, SP_SDKCaptureImageCallBack call_back);
public void SDKCaptureImageCallBack(IntPtr handle, IntPtr userData, UInt32 result, IntPtr file_name)
{
if (file_name == IntPtr.Zero)
return;
int index = 0;
while (true)
{
if (0 == Marshal.ReadByte(file_name, index))
break;
index++;
}
byte[] file_name_buffer = new byte[index];
Marshal.Copy(file_name, file_name_buffer, 0, index);
byte[] dst_buffer = Encoding.Convert(Encoding.UTF8, Encoding.Default, file_name_buffer, 0, file_name_buffer.Length);
String image_name = Encoding.Default.GetString(dst_buffer, 0, dst_buffer.Length);
if (playWnd.InvokeRequired)
{
BeginInvoke(set_capture_image_call_back_, result, image_name);
}
else
{
set_capture_image_call_back_(result, image_name);
}
}9. 网络抖动处理(如断网重连)：稳定的网络处理机制、支持如断网重连等，开源播放器对网络异常处理支持较差；
/*事件ID*/
public enum NT_SP_E_EVENT_ID : uint
{
NT_SP_E_EVENT_ID_BASE = NTBaseCodeDefine.NT_EVENT_ID_SMART_PLAYER_SDK,
NT_SP_E_EVENT_ID_CONNECTING = NT_SP_E_EVENT_ID_BASE | 0x2, /*连接中*/
NT_SP_E_EVENT_ID_CONNECTION_FAILED = NT_SP_E_EVENT_ID_BASE | 0x3, /*连接失败*/
NT_SP_E_EVENT_ID_CONNECTED = NT_SP_E_EVENT_ID_BASE | 0x4, /*已连接*/
NT_SP_E_EVENT_ID_DISCONNECTED = NT_SP_E_EVENT_ID_BASE | 0x5, /*断开连接*/
NT_SP_E_EVENT_ID_NO_MEDIADATA_RECEIVED = NT_SP_E_EVENT_ID_BASE | 0x8, /*收不到RTMP数据*/
NT_SP_E_EVENT_ID_RTSP_STATUS_CODE = NT_SP_E_EVENT_ID_BASE | 0xB, /*rtsp status code上报, 目前只上报401, param1表示status code*/
/* 接下来请从0x81开始*/
NT_SP_E_EVENT_ID_START_BUFFERING = NT_SP_E_EVENT_ID_BASE | 0x81, /*开始缓冲*/
NT_SP_E_EVENT_ID_BUFFERING = NT_SP_E_EVENT_ID_BASE | 0x82, /*缓冲中, param1 表示百分比进度*/
NT_SP_E_EVENT_ID_STOP_BUFFERING = NT_SP_E_EVENT_ID_BASE | 0x83, /*停止缓冲*/
NT_SP_E_EVENT_ID_DOWNLOAD_SPEED = NT_SP_E_EVENT_ID_BASE | 0x91, /*下载速度， param1表示下载速度，单位是(Byte/s)*/
NT_SP_E_EVENT_ID_PLAYBACK_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa1, /*播放结束, 直播流没有这个事件，点播流才有*/
NT_SP_E_EVENT_ID_RECORDER_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa2, /*录像结束, 直播流没有这个事件, 点播流才有*/
NT_SP_E_EVENT_ID_PULLSTREAM_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa3, /*拉流结束, 直播流没有这个事件，点播流才有*/
NT_SP_E_EVENT_ID_DURATION = NT_SP_E_EVENT_ID_BASE | 0xa8, /*视频时长，如果是直播，则不上报，如果是点播的话, 若能从视频源获取视频时长的话，则上报， param1表示视频时长，单位是毫秒(ms)*/
}10. 长期运行稳定性：大牛直播SDK提供的RTMP直播播放SDK适用于长时间运行，开源播放器对长时间运行稳定性支持较差；
11. 实时下载速度反馈：大牛直播SDK提供音视频流实时下载回调，并可设置回调时间间隔，确保实时下载速度反馈，以此来监听网络状态，开源播放器不具备此能力；
/*
* 设置下载速度上报, 默认不上报下载速度
* is_report: 上报开关, 1: 表上报. 0: 表示不上报. 其他值无效.
* report_interval： 上报时间间隔（上报频率），单位是秒，最小值是1秒1次. 如果小于1且设置了上报，将调用失败
* 注意：如果设置上报的话，请设置SetEventCallBack, 然后在回调函数里面处理这个事件.
* 上报事件是：NT_SP_E_EVENT_ID_DOWNLOAD_SPEED
* 这个接口必须在StartXXX之前调用
* 成功返回NT_ERC_OK
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetReportDownloadSpeed(IntPtr handle, Int32 is_report, Int32 report_interval);
/*
* 主动获取下载速度
* speed： 返回下载速度，单位是Byte/s
* （注意：这个接口必须在startXXX之后调用，否则会失败）
* 成功返回NT_ERC_OK
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_GetDownloadSpeed(IntPtr handle, ref Int32 speed);12. 异常状态处理、Event状态回调：如播放的过程中断网，大牛直播SDK提供的播放器可实时回调相关状态，确保上层模块感知处理，开源播放器对此支持不好；
/*
* 设置事件回调，如果想监听事件的话，建议调用Open成功后，就调用这个接口
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetEventCallBack(IntPtr handle, IntPtr call_back_data, SP_SDKEventCallBack call_back);
/*
* 设置视频大小回调接口
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetVideoSizeCallBack(IntPtr handle, IntPtr callbackdata, SP_SDKVideoSizeCallBack call_back);
/*
* 设置视频回调, 吐视频数据出来
* frame_format: 只能是NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, NT_SP_E_VIDEO_FRAME_FROMAT_I420
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetVideoFrameCallBack(IntPtr handle, Int32 frame_format,
IntPtr callbackdata, SP_SDKVideoFrameCallBack call_back);
/*
* 设置视频回调, 吐视频数据出来, 可以指定吐出来的视频宽高
* handle: 播放句柄
* scale_width：缩放宽度（必须是偶数，建议是 16 的倍数)
* scale_height：缩放高度（必须是偶数)
* scale_filter_mode: 缩放质量, 0 的话 SDK 将使用默认值, 目前可设置范围为[1, 3], 值越大 缩放质量越好，但越耗性能
* frame_format: 只能是NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, NT_SP_E_VIDEO_FRAME_FROMAT_I420
* 成功返回NT_ERC_OK
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetVideoFrameCallBackV2(IntPtr handle,
Int32 scale_width, Int32 scale_height,
Int32 scale_filter_mode, Int32 frame_format,
IntPtr call_back_data, SP_SDKVideoFrameCallBack call_back);
/*
* 设置绘制视频帧时，视频帧时间戳回调
* 注意如果当前播放流是纯音频，那么将不会回调，这个仅在有视频的情况下才有效
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetRenderVideoFrameTimestampCallBack(IntPtr handle,
IntPtr callbackdata, SP_SDKRenderVideoFrameTimestampCallBack call_back);
/*
* 设置音频PCM帧回调, 吐PCM数据出来，目前每帧大小是10ms.
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetAudioPCMFrameCallBack(IntPtr handle,
IntPtr call_back_data, SP_SDKAudioPCMFrameCallBack call_back);
/*
* 设置用户数据回调
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetUserDataCallBack(IntPtr handle,
IntPtr call_back_data, SP_SDKUserDataCallBack call_back);
/*
* 设置视频sei数据回调
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetSEIDataCallBack(IntPtr handle,
IntPtr call_back_data, SP_SDKSEIDataCallBack call_back);13. 设置视频填充模式（等比例显示）：好多情况下，有些场景需要全view铺满播放，有些为了防止视频拉伸，可以设置成等比例缩放显示；
/*
* 设置视频画面的填充模式，如填充整个绘制窗口、等比例填充绘制窗口，如不设置，默认填充整个绘制窗口
* handle: 播放句柄
* mode： 0: 填充整个绘制窗口; 1: 等比例填充绘制窗口, 默认值是0
* 成功返回NT_ERC_OK
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_SetRenderScaleMode(IntPtr handle, Int32 mode);14. D3D检测：一般来说市面上的大多Windows都支持D3D，有些小众化的，只支持GDI模式绘制，所以为了更好的兼容性，这个接口非常必要。
/*
* handle: 播放句柄
* hwnd: 这个要传入真正用来绘制的窗口句柄
* is_support: 如果支持的话 *is_support 为1， 不支持的话为0
* 接口调用成功返回NT_ERC_OK
*/
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_IsSupportD3DRender(IntPtr handle, IntPtr hwnd, ref Int32 is_support);手机扫一扫
移动阅读更方便
你可能感兴趣的文章