數據中心 GPU 在未來幾年仍將保持重要地位 - 如今仍有 K80 在運行生產工作負載 - 而隨著 NVIDIA 強調每個新系列 GPU 的優勢，用于推銷這些顯卡的術語也會隨著時間而改變。
那么，有哪些可靠的指標可用于比較不同架構和層級的 GPU，以決定哪一種是運行工作負載最具成本效益的方式？我們將考慮核心數量、FLOPS、VRAM 和 TDP。本指南可幫助您根據實際需求對顯卡進行公平比較。
一、核心數量
您分析的顯卡可能有幾種不同類型的核心：
CUDA 核心：最通用的核心，適用于各種計算任務。
張量核：針對某些機器學習計算進行了優化。
光線追蹤 (RT) 核心：對于游戲而言比大多數 ML 更為重要，這些核心專門用于模擬光的行為。
原始核心數量是一個很好的信號，但并不是全部。不同的顯卡有不同類型的核心——有些有更多張量核心，有些有更多 CUDA 核心——而新架構的顯卡也可能有某些類型核心的新一代。正確的比較需要一個更標準化的指標：FLOPS。
二、FLOPS
FLOPS 代表每秒浮點運算次數，是 GPU 性能的關鍵衡量標準。
不過，還有一個復雜的因素。GPU 性能的測量精度各不相同。精度是指計算中每個數字的大小，從 8 位整數到 64 位雙精度浮點值。
數字格式和相應的位的使用
更高精度的數字格式的計算需要更多的處理能力。但這正是 Tensor 核心發揮作用的地方。Tensor 核心可以進行混合精度計算，它們在大多數計算中使用較低的精度，然后以更高的精度驗證結果。比較相同精度上相同核心類型的 FLOPS，以便在 GPU 之間進行適當的同類比較。
例如，在最高精度（FP64）下，NVIDIA 的頂級 A100 GPU 在標準 CUDA 核心上達到 9.7 teraFLOPS，但其 Tensor 核心在相同精度下將該性能提高了一倍，達到 19.7 teraFLOPS。
精度越低，FLOPS 數量越高。例如，以下是 A10 和 A100 GPU 在不同精度下的計算能力比較。
不同精度下 A10 和 A100 的每秒操作數比較
三、VRAM
VRAM（視頻隨機存取存儲器）是顯卡的板載內存。VRAM 之于 GPU 相當于 RAM 之于 CPU。它存儲模型權重等數據，以便在模型推理等計算過程中快速訪問。
模型服務最重要的因素是 GPU 擁有的 VRAM 數量。為了快速調用，模型權重必須存儲在 VRAM 中，因此 VRAM 容量限制了模型大小。
并非所有 VRAM 都等效。還有三個因素需要考慮：
總線大小衡量一次可傳輸到 VRAM 和從 VRAM 傳輸的數據量?？偩€越大，模型權重加載速度越快。
時鐘速度衡量 VRAM 處理數據的速度，時鐘速度越高，內存讀寫速度越快。
GDDR和HBM是兩種不同類型的 VRAM。HBM（高帶寬內存）通常提供更高的帶寬和更低的功耗，但制造成本比 GDDR（圖形雙倍數據速率）內存更高。最近的 100 層卡（如 A100 和 H100）使用 HBM。
更糟糕的是，并非所有同級別的 GPU 都具有相同數量的 VRAM。例如，A100 有 40GB 和 80GB 版本。因此，在配置 GPU 之前，請確保它具有足夠數量的 VRAM 來運行您的模型。
四、TDP
TDP 代表熱設計功耗，指的是 GPU 在運行時設計的最大功耗（瓦特數）。高端顯卡的 TDP 通常比低端顯卡高，但這并不是完美的對應關系。
數據中心根據多種因素來為 GPU 計算時間定價，但顯卡的 TDP 是其中之一。電力需要花錢，而且還會產生熱量，而消除熱量則需要花費更多錢。因此，TDP 較高的顯卡的運營成本也較高，這將影響您作為最終用戶為計算時間支付的價格。
總結：選擇你的 GPU
過去十年，數據中心 GPU 的發布已經達到二十多種，為了避免眾多GPU 之間的選擇，您可以直接找捷易科技進行定制化購買服務。
