在NVIDIA V100上没有使用TensorRT FP16或INT8加速

作者: 不想吃东西
发布时间: 2024-10-11 02:56:00 (2天前)
转自：

2 条回复

0#
回复此人
大黑骡子王 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 一些事情可以帮助根本导致缺乏加速。 </p> <P> 您可以检查转换为TRT的节点数。 </p> <P> 使用最新版本的TF（1.13或每晚）来使用添加的所有最新功能。 </p> <P> 配置文件（例如nvprof或tf profiler），以查看推理工作负载的瓶颈。 </p> <P> TF-TRT用户指南可能会有所帮助： <a href="https://docs.nvidia.com/deeplearning/dgx/integrate-tf-trt/index.html" rel="nofollow noreferrer"> https://docs.nvidia.com/deeplearning/dgx/integrate-tf-trt/index.html </A> </p> <P> 这个回购中还有很多例子： <a href="https://github.com/tensorflow/tensorrt" rel="nofollow noreferrer"> https://github.com/tensorflow/tensorrt </A> </p> </DIV>

编辑

登录后才能参与评论