NVIDIA平台xavier/tx2板摄像头驱动开发(1)Camera系统 & Fpdlink相机概述

    技术交流: 请加微信video_D

 

前言

        格式分类: RAW、YUV

        接口分类: mipi、fpdlink、GMSL

        分辨率: 1080p、720p

        等等

nvidia camera系统架构介绍

(1)libargus

          提供一系列API进行深度开发,编解码、视频采集、视频处理等

(2) nvarguscamerasrc

         这个主要是用来对接Gstream框架,使用Gstream那套接口

(3)v4l2src

        Linux标准V4L2框架,上图的蓝色部分,也是最普及方便第三方开发的,但是就用不了板端ISP了(不过这个ISP第三方也没法调,除非和NVIDIA深度合作);

       这个是最推荐的方法,因为可以考虑用前端ISP嘛,所以这条路开发起来最快

硬件连接

 上图可以看出最多支持6路硬件通路,前端CSI接口组合可以使用1、2、4lane连接

Bayer sensor

由于Bayer sensor需要使用板端ISP,而ISP tuning这部分代码和工具是不开源的,如果想开发Bayer sensor的就必须与NVIDIA的特定camera伙伴进行合作开发,就可以获得如下功能开发:

• Custom tools for sensor characterization

• Image quality tuning

由于无法和英伟达进行深度合作开发,且板端ISP调试周期太长,

所以我这边直接放弃使用Bayer sensor+Nvidia ISP,直接选择Bayer sensor+前置ISP 方案

Camera模组接口分类

  • Mipi接口

                 Mipi Sensor------>Mipi(csi2协议)------>Xavier Mipi

        这条通路我这边已验证完成,在网上买一个几十块的4lane mipi 相机,

        做一个转接板即可,后面就是调试camera驱动+Xavier mipi接口驱动了。

  • Dvp并行接口

         由于xavier平台只有mipi接口,所以无法调试dvp接口摄像头

  • Fpdlink接口

          这里主要以TI954解串器为例分析,其它解串器 TI960/TI964等后续会新起新的帖子,可参考以下帖子。

          FPDlink接口---TI954解串器功能分析

          NVIDIA平台xavier/tx2板摄像头驱动开发(2)FPDLink接口相机方案选择

      (1)1080p

         目前1080p分两种,一种是YUV sensor 和Bayer sensor。

         Bayer sensor:

                 Sensor------->Mipi(csi2)------->TI953串行器------->TI954解串器------->Mipi(csi2)-------->Xavier Mipi

                 这种方式由于也没有前置ISP,也需要使用Nvidia ISP,所以也不推荐

         YUV sensor:

             硬件连接一:Sensor+ISP------->Mipi(csi2)------->TI953串行器------->TI954解串器------->Mipi(csi2)------>Xavier Mipi

             硬件连接二: Sensor+ISP------->dvp并口------->TI913a串行器------->TI954解串器------->Mipi(csi2)------->Xavier Mipi

         

               1. 这两种方案我这边也都调试ok,效率比调Nvdia ISP快很多,而且无需Nvidia支持,直接找前置ISP 支持即可

                (或模组 厂)

               2. 一般 Sensor+ISP +串行器 这三个器件,模组厂已经集成在一起做成一个整体模组,所以第三方开发一

                    般只需关心后端解串器+Xavier Mipi 这端的硬件转接即可,以及驱动实现

               3. 不过如果想剩成本,尝试完全自己做相机这端,也是可行了,只是可能比较劳神伤财;

                    这也是现在Fpdlink相机价格高的原因了

        (2)720p

               Sensor+ISP------->dvp并口------->TI913a串行器------->TI954解串器------->Mipi(csi2)------->Xavier Mipi

               由于720p camera模组普遍使用913a接口就可以满足要求,使用953解串器也可以只是比较浪费

        

总结

          1. Fpdlink接口由于提升了高清图像的传输距离的同时,保证了图像的高帧率和高分辨率,

               也保证了图像的稳定形(因为传输信号全程是差分信号),所以拓宽了CSI 相机的使用场景和用途,

               是不错的选择,也是现在车用ADAS相机的主要使用方案。

          2. 相对与传统的短距的CSI相机,成本更高,主要TI的串行器和解串器价值不菲,

              以及现在市面上卖的Fpdlink相机也比较贵,所以要想批量或者大量生产的话,

              就需要考虑降低成本----比较容易入手的地方就是Fpdlink相机部分

猜你喜欢

转载自blog.csdn.net/jzwjzw19900922/article/details/96597538