视频编解码器的延时产生

在音视频传输过程中，延时往往是大家最关注的问题，图像不清晰，视频延时问题都会直接影响视频图像的质量以及用户体验。大家都知道视频编解码器：是通过编码压缩、传输、解码输出的图像与前端输入的实时图像存在一定时间的滞后性即表现为视频延时，这种延时也叫做端到端延时。

比如实时现场指挥调度中导演，要根据回传的视频内容对前方拍摄进行指导，如果延时太大就会影响指挥效果。再比如远程控制摄像头的移动来跟踪目标，如果延时太大，控制摄像头转动的迟滞性就越大。假设视频延时为1秒，就意味着你启动摄像头转动需要1秒以后才能在显示器上看到画面，而且你停止操作后画面要继续移动1秒才是真实停下来的画面，所以你想象一下这个延时是不是对实际应用有着非常巨大的影响。
将视频传输的过程划开单独来看，编码、传输与解码三个部分都可以产生延时。
编码端的延时：
编码器需要采集缓冲两幅（两帧）原始图像进行压缩处理，也就是说视频输入后先要等待两幅画面的时间才会有编码数据输出，所以编码器大概存在67ms的延时。
传输端延时：
传输链路有很多种，例如有线网络、WIFI、4G、卫星等等，视频数据通过有线网络传输时，经过交换机和路由器转发时都有微小缓冲区对数据进行缓冲，所以存在延时。不过这个延时相对于前端编码和后端解码来说是非常小的，通常我们可以认为在5ms以内。外网也就是跨地域的英特网/广域网的延时比较复杂，延时根据实际网络有所不同。
解码端延时：
解码端的延时时长在整个端到端延时中占比最大，对于后端播放的流畅性、完整性的影响最大，所以我们要重点关注。
解码系统要正常的、稳定的输出视频画面就要求网络传输过来的视频数据是完整的、均匀的、连续的，达不到这个要求显示输出的画面就会存在卡顿（丢帧）、花屏（马赛克）、甚至断线的问题，但计算机网络的传输特性以及前后端软件系统处理机制就决定了数据包存在丢失、发送速率不恒定（抖动）的现象客观存在。
怎样解决这个问题？
增加缓冲是一个最为有效的办法，我们在数据接收端口与后端解码显示之间加一个缓冲区域，确保收到的数据是连续完整的一片数据（如果发现有丢失，立刻通知重传）后再均匀的送给解码，这样解决了一个核心的难题，但同时也带来了延时增加的负面影响。缓冲区越大，抗网络抖动和丢包的能力就强，所以怎样在更小的缓冲区下做到更流畅的图像传输效果是各家编解码器厂家优化的方向，千视电子视频解码器默认缓冲区在150ms左右，可以由用户根据实际情况自行调节。
因此，千视常规H.264编码器与解码器组成的视频传输系统端到端延时为67ms + 5ms + 150ms约等于220ms左右。
NDI系列产品延时，NDI|HX编解码器端到端的延时在150ms左右，FULL NDI系列几乎接近无损压缩，所以对带宽有所要求，FULL NDI端到端延时在80ms左右。