蘋果與輝達合作，AI 模型運算速度提高三倍
- 騰云機械工業
- 2024年12月18日
- 讀畢需時 1 分鐘
蘋果公司近期宣布，與輝達（NVIDIA）合作，將其 Recurrent Drafter（ReDrafter）技術整合進輝達的 TensorRT-LLM 推理加速框架。
這項合作使得使用輝達 GPU 的機器學習開發者，能夠利用 ReDrafter 加速指令生成，從而顯著提升大型語言模型（LLM）的運算速度。
根據報導，經過整合後，編碼每秒產生速度提高了 2.7 倍。
ReDrafter 是蘋果於今年初發表的技術，旨在提高推測訓練的效率。
透過結合搜尋和動態樹循環神經網路（RNN）草稿模型，ReDrafter 能夠預測驗證多路徑草稿標記，相較於傳統的自回歸指令生成方法，每生成一步驟的 LLM 指令產生速度提高了 3.5 倍。
此次與輝達的合作，將 ReDrafter 整合進 TensorRT-LLM 推理加速框架，使得開發者能夠在使用輝達 GPU 的環境中，享受 ReDrafter 帶來的加速效果。
這不僅提升了 LLM 的運算效率，還有助於減少硬體需求，降低延遲，從而為用戶提供更快速的服務。
總體而言，蘋果與輝達的合作，為 AI 模型的運算速度帶來了顯著提升，對機器學習領域具有重要意義。
(原文出處 : https://technews.tw/2024/12/20/apple-partners-with-nvidia-to-triple-ai-model-computing-speed/)
騰云機械工業提供最專業的"滾輪送料機"和"沖床周邊"，歡迎至官網首頁查看~
