基於英偉達AI芯片技術 聯想車計算發佈智駕平臺大模型中間件
智通財經
發布 2024年3月20日 18:16
更新 2024年3月20日 18:47
基於英偉達AI芯片技術 聯想車計算發佈智駕平臺大模型中間件
智通財經APP獲悉，日前，在NVIDIA GTC 2024上，聯想車計算發佈了全新的支持包括NVIDIA DRIVE等平臺的大模型中間件Ultra Boost，包括AI模型引擎及AI編譯器等工具鏈，旨在助力大模型在車端部署，結合多模態的人機交互技術，賦能車內智能拓展更多應用場景。在CES 2024上聯想(00992)首次展示了基於汽車場景大模型的座艙智能助理，在此次GTC2024上，車計算團隊利用大模型中間件 Ultra Boost快速地將該智能助理應用部署至NVIDIA DRIVE平臺。
聯想車計算智駕平臺大模型中間件 Ultra Boost架構圖
大模型生態快速崛起，AI應用需求日益複雜，模型部署面臨巨大機遇與挑戰。與此同時汽車AI芯片的迭代也需要兼顧不同應用需求。芯片架構需要適配AI算法模型以及增加算法模型引擎。爲了提高 AI 計算效率，特別是針對基於 transformer 的算法，下一代 NVIDIA DRIVE Thor 平臺採用 Blackwell 架構，可實現生成式 AI 功能，該系統在 NVIDIA 最先進的數據中心 AI 解決方案上進行了訓練。
與此同時，爲了進一步發揮AI芯片平臺的性能，加速客戶的AI開發和部署效率，聯想推出了AI模型引擎Ultra Boost：針對NVIDIA DRIVE平臺，該引擎將提供一套軟硬一體的端到端AI性能優化方案。在應用層，提供場景自適應的建模優化工具、硬件感知的模型壓縮工具，可在極低的精度損失範圍內大幅降低模型計算量;在調度層，提供專用於自動駕駛的調度中間件，該中間件基於自研的靜態+動態調度算法打造，在保證實時性的同時提升了系統的執行效率;在執行層，該引擎提供多種算法加速庫，涵蓋AI大模型加速、多媒體任務流加速、激光雷達點雲加速，應用場景可覆蓋智能座艙和自動駕駛;在編譯層，聯想車計算自研的AI編譯器SpeedWise，可針對普通模型和大模型，以及不同目標硬件完成編譯和優化。
在此基礎上，聯想車計算推出的AI模型引擎，基於英偉達AI芯片的多項技術，包括Continuous Batching來提升推理吞吐率，降低推理時延;面向硬件Graphic Rewriting技術來優化大模型網絡結構的同時，還基於聯想車計算自研的大模型低比特量化技術來加速大模型推理，並且建立了面向NVIDIA DRIVE平臺的自動調優機制實現了全自動的模型優化，快速且成功的將聯想自己的智能助手應用部署。
聯想車計算此次發佈的面向智能駕駛的AI中間件 Ultra Boost，支持業界多個主要大模型的自動化部署和加速，將助力客戶縮短開發週期，打造性能卓越，成本更優的智能駕駛解決方案。
獲取APP
在NVIDIA GTC 2024上，聯想車計算展示了多款自動駕駛域控平臺。
作者：: 智通財經
金融工具及/或加密貨幣交易涉及高風險，包括可損失部分或全部投資金額，因此未必適合所有投資者。加密貨幣價格波幅極大，並可能會受到金融、監管或政治事件等多種外部因素影響。保證金交易會增加金融風險。
交易金融工具或加密貨幣之前，你應完全瞭解與金融市場交易相關的風險和代價、細心考慮你的投資目標、經驗水平和風險取向，並在有需要時尋求專業建議。
Fusion Media 謹此提醒，本網站上含有的數據資料並非一定即時提供或準確。網站上的數據和價格並非一定由任何市場或交易所提供，而可能由市場作價者提供，因此價格未必準確，且可能與任何特定市場的實際價格有所出入。這表示價格只作參考之用，而並不適合作交易用途。 假如在本網站內交易或倚賴本網站上的資訊，導致你遭到任何損失或傷害，Fusion Media 及本網站上的任何數據提供者恕不負責。
未經 Fusion Media 及/或數據提供者事先給予明確書面許可，禁止使用、儲存、複製、展示、修改、傳輸或發佈本網站上含有的數據。所有知識產權均由提供者及/或在本網站上提供數據的交易所擁有。
Fusion Media 可能會因網站上出現的廣告，並根據你與廣告或廣告商產生的互動，而獲得廣告商提供的報酬。