tensorRT教程——tensor RT OP理解(实现自定义层,搭建网络)

    首先如果你的自定义操作可以通过一些矩阵操作来实现,那么你大可不必自己去通过plug in的方式实现,可以使用tensor RT 的OP来组合实现。

    他的OP极其类似tensor flow的操作,如果看到不理解,那就去谷歌tensor flow的操作,触类旁通即可,但仍有一些文档描述错误。

    一些我使用过典型的OP备注如下,并附上一个测试OP的脚本,按需修改即可:

1、reduce层的理解:

    reduce主要是在各个轴上进行对应的操作。

    

    axes,注意官方说的是bit。可以组合然后对应到int,比如对于NCHW要进行全局平均池化,那么此时的axes对应的轴应该是H和W组合起来就是bit1+bit2对应int的6。

    keep_dim就是reduce后对应轴压缩为一个数,如果为false则维度降低1(或者N,看对几个轴进行操作,比如前面的全局平均池化,就是对两个维度操作,降低2维);如果为True则对应轴置为1,如NCHW全局平均池化后变为NC11。

2、constant层理解:

    主要是提供了一种从外界输入数据的方法。

    权重的参数类型为weight,weight可以冲numpy直接自动转换,所以可以直接载入numpy对象,通过get_output返回itensor。

    用途:比如gather操作的index要求为itensor类型,itensor类型并没有构造函数,所以可以通过constant layer来返回itensor。

3、shuffle层理解:

    shuffle层完成了转置和reshape的功能。

    需要通过建立层后对该层的后面三个参数进行赋值。

    

4、gather层的理解:

    

    对于NCHW,axis 0、1、2分别代表C、H、W轴。indices设置[x]对应取batch size的x层、x行、x列,但要注意当x为列表多个值时返回值的顺序按照行列通道顺序。

5、unarry层的理解:

    主要用于对每个元素进行同样的一元操作,可以进行的运算如下,要注意:

    平方不是exp,exp是以e为底数的对应元素值次方,平方需要使用

    传递参数的时候,传递的是(两个tensorrt,不是字符串)tensorrt.tensorrt.UnaryOperation.SUM

 

6、network.mark_output   

注意:

    当需要在passer网络后面加东西时,需要将结果unmark;

    在网络最后需要使用mark标注网络,再调试网络输出时,可以不注释调试层后面的层,只需要使用mark_output该层就可以。

7、view的处理

View的参数要在size后面加item。

8、他们的全连接层中得bias如果没有,要自定义一个0矩阵,而不是API说的可选。

猜你喜欢

转载自blog.csdn.net/u012863603/article/details/119358339
rt