litleo / tensorrt_tutorial Goto Github PK

Hello, have you made a relevant implementation for this method yet? @LitLeo

麻烦请问一下，怎么在centos下面安装tensorrt

我想用TensorRT来加速YOLO v2模型，但是YOLO v2模型中包含有BatchNorm层，程序会在ICudaEngine* engine = builder->buildCudaEngine(*network)这一步中断报错，官方文档中指的Batch Normalization可以用Scale层代替，具体应该怎么做呢？

好像还没有看到TensorRT部署到Windows平台上的例子。有相关的信息能分享下吗？谢谢！

非常感谢这个中文化的tutorial系列!
我想请问一下, 您是否有关于如何部署自定义算子显式int8量化(即基于ONNX的QDQ形式)的经验?

对于大通道，比如1024个channels的网络，比如最简单的 单层网络

class conv_1024_1024_33_d1(torch.nn.Module):
def init(self):
self.in_channel = 1024
self.out_channel = 1024
self.kernel_w = 3
self.kernel_h = 3
super(conv_1024_1024_33_d1, self).init()
self.conv = torch.nn.Sequential(
OrderedDict([("conv1", torch.nn.Conv2d(self.in_channel, self.out_channel, self.kernel_w, 1, 1))])
)

def forward(self, x):
    return self.conv(x)

用这个pytorch转onnx，然后调用trt的execute接口跑出来的耗时结合这层的计算量计算出来的算力（模型计算量/耗时）大于平台标称算力，这是由于trt加速的原因还是什么？有大神知道的么？

2018年5月16日23点16分访问您的网站TensorRT2.1在线手册，显示无备案。

cudnn 的卷积INT8加速，在demo中，他的这个代码有点小错误，cudnn cudnnConvolutionForward INT8输入要求是4的倍数，...需要怎么改动才能成功运行？？

有没有碰到多CUDA_R_32I找不到的情况。
我的cuda 是8.0.27的

在编译的时候报了这个错误

还有CUDA_R_32I这个是在哪个文件里定义的知道吗

你好，非常感谢您的分享。

我遇到一个问题，我在实现了自定义层之后，准备将其嵌入原有网络，但是在tensorrt中我该如何获取前一层的输出作为自定义layer的输入呢？

安装tensorrt3的时候出现这个问题，我按照网上的教程在bashrc里面添加：export PATH=/usr/local/cuda-9.0/bin:$PATH 环境变量，并source ~/.bashrc.
但是依旧报错，求帮助