短视频SDK框架设计 研发短视频APP的难点

1.音视频领域固有门槛

深刻理解音视频编码格式H.264和AAC的编码细节；混音时如何将两个音频调整到一致的参数，使用什么样的算法去混合等等。

2.图形图像、OpenGL处理

摄像头预览数据，图像处理，音视频编解码都需要了解RGB和YUV色彩空间的数据格式，以及它们之间转换的方式等等；其中部分操作可以利用更高效的OpenGL去完成，如美颜滤镜，图层混合，放大/缩小，旋转，还有图像裁剪等等。

3.平台相关

要对相应平台的摄像头、麦克风、编解码、多媒体处理等API十分熟悉，否则它们的一些坑会耗费你大量时间。

4.高级功能

视频编辑少不了特色和高级的功能，例如美颜，滤镜，MV特效，倍数拍摄，文字特效等，每一个高级功能都对各方面技术提出很高的要求。

5.系统版本，机型等兼容性问题

这算是一个老生常谈的问题，无论iOS还是Android，机型和系统版本都越来越多了，必然会带来兼容性问题。比如会有小部分Android机型编码的视频在iOS端播放不了的情况，类似这种兼容性问题都是需要进行解决的。

6.性能以及资源占用的优化

移动应用的计算资源受到相应系统的严格制约，在进行音视频采集，渲染，编码等复杂计算的同时，还要确保应用有足够的资源流畅运行，这要求开发人员有丰富的调优能力。

解决以上的难点是首要的事情，但开发时间也是研发人员必须考虑的问题，开发一款优秀的短视频App，从熟悉音视频领域开始，到解决系统兼容性问题，紧接着去编写复杂业务逻辑，还有相应的UI界面这些工作需要耗费3-6个月的时间，是非常耗费时间和精力的。

优匠科技作为资深的专业技术团队，在开发行业沉淀多年，最开始我们团队进行短视频SDK开发时也踩过很多坑，用了将近一个月的时间才真正稳定下来，经过沉淀，现在我们针对一款App进行短视频SDK的对接，基本一周时间就可以完全搞定。