何時使用 CPU、GPU 或 TPU 來運行您的機器學習模型？

          CPU 是通用處理器，而GPU 和TPU 是加速機器學習的優化加速器。使用哪個來運行機器學習工作負載似乎很簡單。但是，您可能需要仔細觀察并考慮您正在運行哪種類型的機器學習模型，以確定哪種硬件最適合您的工作負載。以下是一些快速指南，可幫助您確定哪些處理器最適合您的應用：  

CPU：

需要最高靈活性的原型

訓練不需要很長時間的簡單模型

用小有效批量訓練小模型

主要使用 C++ 編寫，基于自定義TensorFlow 操作  

具有有限 I/O 或有限系統網絡帶寬的模型

GPU：  

模型太難改變或不存在的來源

具有 GPU 必須支持的大量自定義TensorFlow 操作的模型

Cloud TPU 上不可用的模型

具有更大有效批量的中等或更大尺寸模型

TPU：  

主要使用矩陣計算來訓練模型

在主訓練循環中沒有自定義 TensorFlow 操作的訓練模型  

需要數周或數月才能完成的訓練模型

訓練具有非常大的有效批量大小的大型模型