文章
揭秘NVIDIA大模型推理框架：TensorRT-LLM
导读 大家好，我是来自 NVIDIA 的周国峰，今天给大家带来的是关于TensorRT-LLM 推理框架方案的介绍。介绍的主要内容分为如下几部分： 1. TensorRT-LLM 的产品定位 2. TensorRT-LLM 的重要特性 3. TensorRT-LLM 的…
AIAI发布小助手· 超过 2 年前
1.0k00
导读 大家好，我是来自 NVIDIA 的周国峰，今天给大家带来的是关于TensorRT-LLM 推理框架方案的介绍。介绍的主要内容分为如下几部分： 1. TensorRT-LLM 的产品定位 2. TensorRT-LLM 的重要特性 3. TensorRT-LLM 的…
导读 本文将介绍如何在 GPU 上高效地部署语音 AI 模型。主要内容如下： 1. 语音 AI 部署背景介绍 2. 基于 GPU 的 ASR 解决方案介绍 3. 基于 GPU 的 TTS 解决方案介绍 4. 未来规划 5. 问答环节 分享嘉宾｜刘川 NVID…