Search
#精選好文
【1.2 毫秒！#NVIDIA TensorRT 8 運行 BERT-Large 推理創紀錄】
支援NVIDIA GPU平台的深度學習推理框架「TensorRT」，是可以滿足電腦視覺、自動駕駛、工業自動化、資料中心等AI運算需求的框架。
自今年 5 月 TensorRT 8-嘗鮮版發表後，NVIDIA 終於在 20 日發表 TensorRT 8 正式版。TensorRT 8正式版與以往版本相比，能在1.2毫秒內運行全球廣為採用的基於transforemer模型之一BERT-Large，即將語言查詢推理時間縮短至上一版一半，創下最新紀錄，為搜尋引擎、廣告推薦和聊天機器人的AI模型提供支援。
更多精彩內容→ https://reurl.cc/GmOL5A
#關於AI的那些事
語言推論時間減至 1.2 毫秒！NVIDIA 全新 AI 軟體實現更強搜尋引擎
作者 侯 冠州 | 發布日期 2021 年 07 月 21 日 10:48 |
為使開發人員能打造更高效能的搜尋引擎、廣告建議與聊天機器人，NVIDIA 近日宣布推出第八代人工智慧軟體 TensorRT 8，其特色在於能讓語言查詢的推論時間減半，只需要 1.2 毫秒就能在 BERT-Large 上達到破紀錄的語言應用速度，而 BERT-Large 是全世界最被廣泛使用的 Transformer 模型之一。
NVIDIA 開發人員計劃事業部副總裁 Greg Estes 表示，AI 模型正以指數級的速度變得越來越複雜，而全球各地對於使用 AI 的即時應用需求也隨之高漲。這讓企業迫切地部署最新的推論解決方案。最新版本的 TensorRT 導入全新的功能，可以讓企業把對話式 AI 應用交付給客戶，達到更快的反應速度。
TensorRT 8 只需要 1.2 毫秒就能在 BERT-Large 上達到破紀錄的語言應用速度，企業以往只能縮小模型的大小，但也因此造成較低的精準度；透過TensorRT 8，企業可以把模型的大小擴增兩倍或三倍，大幅提升精準度。
另外，TensorRT 8 還透過另外兩個關鍵功能達成 AI 推論的突破，分別是稀疏性（Sparsity）和量化感知訓練。所謂的稀疏性，是 NVIDIA Ampere 架構 GPU 中用以提升效率的效能技術，可以讓開發人員藉由減少運算作業以加速神經網路。
至於量化感知訓練，則讓開發人員可以在不犧牲精準度的情況下，運用已訓練好的模型和 INT8 的精度運行推論，這讓他們在 Tensor 核心上進行高效率推論時，可以大幅減少運算與儲存的時間。
資料來源：https://technews.tw/2021/07/21/nvidia-tensorrt-8/?fbclid=IwAR2N4UwIIYXtftbkOKoPiE5sj-Y-EiEWrA0uwkHqaGcGDIvlSfnaFClCpAE
NVIDIA 宣布新一代的 AI 軟體套件 TensorRT 8 ，強調能夠使語言推論時間縮減一半，對於應用在搜尋引擎、廣告推薦、聊天機器人等帶來顯著的效益。TensorRT 8 針對語言相關應用進行最佳化，可在 1.2ms 執行龐大的 BERT-Large ，不須屈就性能縮減模型規模導致準確率下降。
🍿在這支影片當中，觀眾朋友的提問如下，李老師都一一耐心回答惹(as always😊)
1. 機器可以回答哲學性的問題嗎？👉影片中，老師告訴你一個好玩的網站！
2. 神經網路架構的選擇方針？👉老師給出三個思考方向！
3. 老師有沒有Twitter? 👉影片揭曉！
4. 對機器學習領域未來發展趨勢的看法？👉影片揭曉！
5. 怎麼用Google sheets開發機器人？👉影片揭曉！
🍭可以跟你玩文字接龍的AI：https://talktotransformer.com/
🍭李宏毅老師有提到「GPT-2」的課程連結：https://www.youtube.com/watch?v=ugWDIIOHtPA
#跟你玩文字接龍的AI
#機器學習的未來
#選用神經網路架構的三撇步
#Generative Pre-Training (GPT)
#GPT-2
#Transformer
#Residual connection
#Deep Learning
#台大電機李宏毅專訪
#AI神奇模型訓練師
#珊蒂微AI
#人工智慧
#AI
(下集)
🍿在下集當中，李老師跟大家聊的內容有：
1. 老師的宅男風格教學之力
2. 老師在2020年春季將會開一門全新課程！
3. 老師「請公子吃電信餅」🍪🍪🍪
4. 老師的「台大語音實驗室」都在做什麼？
🤖五個研究方向
🤖GAN來GAN去
🤖神奇模型「Multi-BERT」
5. 台大傅鐘的老梗笑話
6. 最後有李宏毅老師秘辛大爆料
🍿影片中提到的五個研究主題，李老師都精選了一篇論文，連結如下，請各位大大笑納:
非督導式語音辨識: https://arxiv.org/abs/1904.04100
非督導式語音轉換: https://arxiv.org/abs/1804.02812
非督導式文件摘要: https://arxiv.org/abs/1810.02851
問答系統: https://ieeexplore.ieee.org/document/8700217
個人化聊天機器人: https://arxiv.org/abs/1901.09672
#GAN來GAN去
#台大電機李宏毅專訪
#AI神奇模型訓練師
#珊蒂微AI
#人工智慧
#AI
(上集)
這集【人物專訪】來到台灣大學跟一位「宅男味很重」的電機系老師合作拍攝影片，他的研究風格 and 教學風格充斥著：二次元動漫梗、PTT鄉民詞彙、寶可夢、周星馳電影梗…等等元素，甚至還摻雜了一點鄉土劇的成分在他的研究與教學當中…
ㄟ！我不是在詆毀他喔，他這樣的研究跟教學風格可是大受學生歡迎呢！他是誰呢？！
#台灣大學電機系
#李宏毅的宅男之力
#AI神奇模型訓練師
#珊蒂微AI
#人工智慧
#AI
就这么来回一注意，电脑就看懂这句是什么意思啦，剖析 BERT 语言 模型 的魅力所在。并更进一步，提出如何将 BERT 改得更有效率。 ... <看更多>
Python自然語言處理-BERT模型實戰課程旨在幫助同學們快速掌握當下NLP領域最核心的演算法模型BERT的原理構造與應用例項。... ... <看更多>
bert模型 在 ymcui/Chinese-BERT-wwm: Pre-Training with Whole ... - GitHub 的推薦與評價
为了进一步促进中文信息处理的研究发展，我们发布了基于全词掩码（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及与此技术密切相关的模型：BERT-wwm-ext， ... ... <看更多>