标签:聊天API

Nvidia宣布新版TensorRT-LLM:推理能力猛增5倍,8gb以上显卡可本地运行,支持OpenAI的聊天API

在今天的Ignite2023大会上,Nvidia宣布对TensorRT-LLM进行更新,增加了OpenAI的聊天API支持,并增强了DirectML功能,以提高Llama2和Stable Diffusion等AI模型...