1樓：OLDPAN
簡單說下～TensorRT8相比TensorRT7最突出的三個優化點就是：
transformer系列結構可以提速，實測只要是類似於qkv這樣的結構在轉化為trt的時候會有單獨的優化可以通過verbose看到。當然英偉達官方也提供了transformer的例子，可以白嫖
感知量化，就是可以無縫將感知量化後的onnx模型匯入trt，這個確實挺方便也挺好用。不過目前使用還有一些bug
稀疏化，這個我沒有使用官方例子測試過，自己的稀疏化方式貌似trt不能用，可能需要使用官方的方式。先埋個坑，後續再搞搞。
tensorrt8得api和trt7沒啥區別，可以無縫用，實測發現resnet系列的模型trt8速度比trt7快了10%，模型啥也不用變直接轉就行。
其他的變化還沒有感覺到，等有了再補充～
2樓：
TensorRT 8 的各項優化為語言應用帶來了創紀錄的速度，能夠在 1.2 毫秒內執行 BERT-Large ——全球最廣為採用的基於 transformer 的模型之一。過去，企業不得不縮減模型大小，而這會導致結果出現大幅偏差。
現在有了 TensorRT 8，企業可以將其模型擴大一倍或兩倍，從而大幅提高精度。
TensorRT 8 還通過以下兩項關鍵特性，實現了AI推理方面的突破。
其一是稀疏性，這是助力推動 NVIDIA Ampere 架構 GPU 效能提公升的一項全新技術，它不但提高了效率，還使開發者能夠通過減少計算操作來加速其神經網路。
其二是量化感知訓練，開發者能夠使用訓練好的模型，以 INT8 精度執行推理，在這一過程中不會損失精度。這大大減少了計算和儲存成本，從而在 Tensor Core 核心上實現高效推理。
如何評價NVIDIA發布的TRTorch
生棟 使用TRTorch擴充套件了Torch Script的JIT 執行時，這樣可以直接使用TensorRT加速，TensorRT不支援的運算元，可以使用PyTorch裡的實現。返回給使用者的是TorchScript程式，裡面有engine manager來看OP是用TensorRT執行還是JIT執...
NVIDIA 發布的Jarvis 對於構建先進的對話式AI有什麼幫助嗎？
NVIDIA 以達到最佳的準確性。目前它支援五種語言 英語到日語 西班牙語 德語 法語和俄語 在接受這些口音的訓練後，還可以進行口音區分。它提供的虛擬助理演示應用可以展示如何使用語音 文字轉換 自然語言處理 NLP 和文字 語音轉換的最新研究成果來建立自己的虛擬助理。此外，Jarvis為多模態對話式...
如何評價NVIDIA發布的執行在Ampere架構的光線追蹤Demo Marbles at Night？
硬體至少還得兩代顯示卡去迭代。看到了nvdia自家降噪器的痕跡。比之前的好多了，之前實時塗抹很嚴重，感覺再發展兩年就可以了。軟體發展速度比光追硬體發展速度快。但是也不是說光追就無敵了，UE5上的多種AO結合的效果也很炫，剛出來被誤認為是光線追蹤，而且勝在計算量小。後面幾年就看各路神仙打架了。 dum...