NVIDIA发布全新推理软件TensorRT7 可大幅减少推理延迟

时间:2019-12-18 17:20:39       来源:中关村在线

NVIDIA发布了一款突破性的推理软件。借助于该软件,全球各地的开发者都可以实现会话式AI应用,大幅减少推理延迟。而此前,巨大的推理延迟一直都是实现真正交互式互动的一大阻碍。

NVIDIA TensorRT7作为NVIDIA第七代推理软件开发套件,为实现更加智能的AI人机交互打开了新大门,从而能够实现与语音代理、聊天机器人和推荐引擎等应用进行实时互动。

据Juniper Research估计,全世界有32.5亿个数字语音助理被应用于设备中。到2023年,该数字预计将达到80亿,比当今全球人口总和还要多。

TensorRT 7内置新型深度学习编译器。该编译器能够自动优化和加速递归神经网络与基于转换器的神经网络。这些日益复杂的神经网络是AI语音应用所必需的。与在CPU上运行时相比,会话式AI组件速度提高了10倍以上,从而将延迟降低到实时交互所需的300毫秒阈值以下。

NVIDIA创始人兼首席执行官黄仁勋在GTC China主题演讲中表示:“我们已进入了一个机器可以实时理解人类语言的AI新时代。TensorRT 7使这成为可能,为世界各地的开发者提供工具,使他们能够构建和部署更快、更智能的会话式AI服务,从而实现更自然的AI人机交互。”

关键词: