没办法，就是快
快到飞起。
昨天，东京，“教主”黄仁勋发布了一枚新GPU：Tesla T4。
按照英伟达的说法，Tesla T4是为推理而生的。
2,560个CUDA，320个张量核心 (Tensor Core) ，推理加速表现如下。
△蓝为CPU，灰为P4，绿为T4
比赛结束，基于帕斯卡架构的P4前辈，在T4面前输得很惨：
在语音识别模型DeepSpeech 2上，T4比P4的5倍还要快；
在神经网络翻译模型GNMT上，T4的速度接近P4的4倍；
在图像识别模型ResNet-50上，T4也接近P4的3倍。
注意，在T4诞生之前，P4在深度学习界的地位，也是很崇高的。
Tesla T4快在哪里
算力的增长，图灵架构里的张量核心(Tensor Core) 是重中之重。
T4的320个张量核心，让数据吞吐量疾速增长，峰值达到260 TOPS(精度INT4) 。
再回头看两年前的P4：
别看速度提升那么多，Tesla T4的功耗(TDP) 依然停留在谦虚的75瓦。
这样的GPU，哪里需要哪里搬，英伟达称之为“宇宙通用推理加速器 (Universal Inference Accelerator) ” 。
把参数排列起来，是不是更燃：
△(后四行)多种精度混合，有助于加速推理
顺便，T4的显存为16GB GDDR6，带宽为320+GB/s。
以RTX为名的显卡，不论是专业级的Quadro系列还是游戏显卡Geforce系列，都是在T4的关怀之下，学习光线追踪技巧的。哪里该有光亮，哪里该是阴影，几乎不会错。
TensorRT也更新了
TensorRT 5
加速推理，是一项宏伟的事业，只有GPU是不够的。
和Tesla T4一同发布的，是TensorRT 5推理加速引擎。
这一次更新，主要是为图灵架构提供支持，最高可以达到CPU40倍的推理速度。
5.0版本中，有8个新的API(精度INT8) ，用于优化推理模型，神经网络翻译也好，推荐系统也好。
现在，TensorRT已经可以和TensorFlow集成，和MatLab集成，ONNX也没放过。
TensorRT推理服务器
除此之外，搭配着引擎食用的TensorRT推理服务器，也一起发布了，做足全套功课。
服务器的作用，是提升GPU的利用率，在一个节点上同时运行不同框架上的多个模型。以下是一个“学跳舞”模型的生成效果举栗。
原来是这样啊：
△举栗：只要跟对师傅，就能学好舞步
现在，推理服务器的测试版本已经提供下载了，大家可以试试看：
https://ngc.nvidia.com/registry/nvidia-inferenceserver
进击的AGX
有些推理，可以永远留在计算机里。
还有一些，就需要接受现实世界的调教了。
△Nvidia Isaac
针对机器人的大脑，以及其他自动化设备的大脑，英伟达也发布了一系列AGX系统：
Jetson AGX，Drive AGX以及Clara AGX皆在此列，是基于Xavier芯片打造的开发包(Devkit) 。
先说Drive AGX，顾名思义，用来开发自动驾驶应用。开发包里有一台计算机，搭载了Drive软件，可以与汽车联动。
这台电脑，只是老黄在发布会上举起的许多重物之中，比较轻的一个。
团队希望，开发者能在这“大脑”里，写出各式各样的脑回路，帮助自动驾驶汽车适应艰险的路况。
Drive AGX开发包，10月1日开始发售。
Jetson AGX与之同理，只是用于工业场景。在人口老龄化形势严峻的日本，工业自动化尤其受到重视。
英伟达说，Jetson AGX是全球第一台为自动化设备定制的计算机。工程机械巨头小松制作所等许多企业已经投入使用了。
Clara AGX是医疗场景下的开发包，但这里没有计算机，只是纯纯的SDK：
一句重要的话
如果想要申请谷歌云上的T4早期试用，请在这里填表：
https://docs.google.com/forms/d/1-EuhrG9UZ6yXM9lg6mJ4l8ltq-mklcVo7qbLh7H7zek/viewform?ts=5b98149d&edit_requested=true
—完—
加入社群
量子位AI社群28群开始招募啦，欢迎对AI感兴趣的同学，在量子位公众号（QbitAI）对话界面回复关键字“交流群”，获取入群方式；
此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。
昆山华硕旗舰店 昆山ROG专卖店 昆山华硕专卖店 昆山华硕售后服务中心 昆山华硕笔记本维修中心 昆山笔记本维修点 昆山笔记本批发 昆山华硕电脑批发 昆山华硕主板批发 昆山台式电脑批发 昆山地区办公电脑采购 昆山办公笔记本采购 昆山华硕笔记本采购中心 昆山电脑分期付款执行点 昆山IT外包服务解决方案提供商 昆山布线解决方案提供商 昆山电脑以旧换新、二手笔记本置换、手机平板屏幕通过无线，直接传到电视、显示器、大屏幕 无线视频传输 手机机、电脑、电视、投影机大屏幕同时显示大屏幕分享互动 无线视频分享 同屏 昆山经销商 昆城广场地区电脑上门维护 汇杰商务大厦 电脑上门维护 吉田国际广场电脑上门电脑维护 利得国际大厦电脑上门维护 现代广场电脑上门
