首頁>商情資訊>行業(yè)新聞

AI PC搭載70B大模型

2025-3-26 9:14:00
  • 算力狂飆,內(nèi)存開掛

AI PC搭載70B大模型

AI PC 浪潮:大模型適配與硬件革新

在人工智能技術(shù)飛速發(fā)展的當下,AI 推理為 DeepSeek 一體機帶來了極高的市場熱度。與此同時,AI PC 對 DeepSeek 大模型的支持能力,也逐漸成為消費者在選購 AI PC 時重點考量的因素。不同配置的 AI PC,能夠適配 DeepSeek-R1 系列的多種模型。就日常 AI 功能而言,DeepSeek-R1 70B 大模型基本能滿足絕大多數(shù)需求,因此也成為了高性能 AI PC 研發(fā)的關(guān)鍵方向。

DeepSeek-R1 模型家族與硬件適配

DeepSeek-R1 目前已發(fā)布 7 種不同參數(shù)量的模型版本,分別為 1.5B、7B、8B、14B、32B、70B 和 671B。這些模型可滿足自然語言處理、內(nèi)容創(chuàng)作等多種場景需求,當然,不同模型對硬件性能的要求也存在差異,模型參數(shù)越大,所需的計算資源就越多。

根據(jù)京東給出的配置建議,個人消費者在日常學習和生活中,若僅需實現(xiàn)文本生成、基礎圖像處理等功能,可選擇 1.5B、7B 或 8B 模型。這類模型對硬件要求較低,普通的個人筆記本或臺式機就能完成 DeepSeek 的本地部署。其中,1.5B 模型最低只需 4G 顯卡(如 GTX 1050 及以上),4 核 CPU 和 8G 內(nèi)存;7B 和 8B 模型則需要 8G 顯卡、8 核 CPU 以及 16GB 內(nèi)存。

若要實現(xiàn)多語言處理、AI 推理、專業(yè)圖像處理等更復雜的功能,可選擇 DeepSeek-R1 14B 或 32B 模型進行本地化部署。不過,這類模型對硬件配置的要求更高。14B 模型需要 16G 顯卡(至少 RTX4000Ada 及以上)、12 核 CPU 和 32G 內(nèi)存;32B 模型則需要 24G 顯卡(如 A6000 及以上顯卡并行計算)、16 核 CPU 和 64G 內(nèi)存。

對于大型企業(yè)、高端設計以及科研機構(gòu)等對性能要求極高的場景,可選擇 70B 模型。該模型可完成深度學習、復雜數(shù)據(jù)分析和高級圖像處理等復雜任務,目前推薦配置為 2 個 A100 80G 顯卡或 4 個 RTX4090 顯卡并行,并搭配 32 核 CPU 和 128G 內(nèi)存。實際上,70B 模型在本地部署后,基本能滿足各類日常需求,因此處理器和 PC 廠商都在積極推動 AI PC 運行大模型的技術(shù)方案。

硬件廠商的技術(shù)突破

AMD 銳龍 AI Max+ 395:性能與能效的雙重飛躍

今年 1 月,在 CES 2025 上,AMD 發(fā)布了代號為 “Strix Halo” 的銳龍 AI Max 系列處理器,該系列處理器可支持本地化運行 700 億參數(shù)版本的 DeepSeek 大語言模型,為各類生成式 AI 應用提供了強大助力。

銳龍 AI Max 系列采用了先進的 Zen 5 CPU 和 RDNA 3.5 GPU 架構(gòu),并運用了芯粒(chiplets)封裝技術(shù)。每個 Zen 5 CPU 核心位于獨立的 CCD 上,最高可配置兩個 CCD,提供 16 個 Zen 5 核心。核顯最高擁有 40 個 RDNA 3.5 計算單元,還采用了 LPDDR5x 內(nèi)存標準,內(nèi)存帶寬高達 256GB/s,并集成了 50 TOPS “XDNA 2” NPU。這些配置為 Windows 11 AI+PC 帶來了卓越的 AI 性能。

在 AI 性能方面,銳龍 AI Max+ 395 憑借 50 TOPS 的 XDNA 2 架構(gòu) NPU,在 LM Studio 中的 AI 性能比 NVIDIA GeForce RTX 4090 高出 2.2 倍,同時功耗降低了 87%。此外,銳龍 AI Max 系列支持高達 128GB 的統(tǒng)一內(nèi)存,其中最高可將 96GB 用于圖形處理,這使得搭載該處理器的系統(tǒng)能夠?qū)崿F(xiàn)高效的多任務處理,并支持運行 700 億參數(shù)的超大規(guī)模 AI 模型,使其成為全球首款能運行 700 億參數(shù)模型的 AI PC 處理器。

ROG 幻 X 2025 將首發(fā)搭載 AMD 銳龍 AI Max+ 395 處理器。這款筆記本配備 128GB 256bit LPDDR5X 8000MHz 統(tǒng)一內(nèi)存,支持最大 96GB 動態(tài)顯存分配,結(jié)合 CPU、GPU 和 NPU 總計 126 TOPS 的算力,可輕松實現(xiàn) AI 大模型的本地部署,并流暢運行各類端側(cè) AI 應用。

Apple M3 Ultra:Mac Studio 的性能擔當

蘋果公司近期推出的新款 Mac Studio,憑借其強大的性能,在 AI PC 領域占據(jù)了一席之地。新款 Mac Studio 提供 M4 Max 和 M3 Ultra 兩種芯片版本供用戶選擇,M4 Max 型號起售價 16499 元,M3 Ultra 型號起售價 32999 元。M3 Ultra 版本最低配備 96GB 統(tǒng)一內(nèi)存,最高可選配 512GB,還支持最高達 16TB 的固態(tài)硬盤選配。

Mac Studio 的頂配版本可直接在本地運行 deepseek R1 671B 滿血版大模型。蘋果 M3 Ultra 芯片由兩塊芯片組合而成,擁有雙倍的中央處理器、圖形處理器、神經(jīng)網(wǎng)絡引擎和內(nèi)存帶寬,性能十分強勁。無論是處理大規(guī)模數(shù)據(jù)集,還是同時進行動畫制作和 3D 場景渲染等復雜任務,都能輕松應對。其最高達 512GB 的統(tǒng)一內(nèi)存,為運行大語言模型提供了充足的空間。

統(tǒng)一內(nèi)存架構(gòu)與 AI PC 的未來

AI PC 要支持百億級大模型,不僅需要高性能的 CPU、GPU 和 NPU,還需要大容量的存儲。一些廠商已經(jīng)開始推廣統(tǒng)一內(nèi)存架構(gòu),蘋果 M 系列芯片便是較早采用這一架構(gòu)的代表。例如,iMac 搭載的 M4 芯片,配備最多 10 核中央處理器,支持最多 32GB 統(tǒng)一內(nèi)存,內(nèi)存帶寬提升至 120Gb/s。

英特爾下一代 AI PC 旗艦產(chǎn)品 Lunar Lake 處理器也將采用類似設計,將內(nèi)存封裝在芯片之中。這種設計不僅能顯著提升數(shù)據(jù)傳輸速度和系統(tǒng)響應時間,降低功耗,還能簡化主板布局。

能夠運行 70B 大模型的 AI PC,能為用戶帶來更智能、更豐富的 AI 體驗。盡管目前相關(guān)硬件成本較高,但隨著技術(shù)的發(fā)展和成本的降低,高性價比、支持大參數(shù)量模型的 AI PC 有望成為市場主流。