A principios de la década de 2010, las redes neuronales ya estaban mejorando significativamente el reconocimiento de voz e imágenes. Pero ejecutarlos a escala de Google en procesadores convencionales era demasiado caro.
Jeff Dean hizo una estimación simple: si cientos de millones de personas hablaran con Google durante al menos tres minutos al día, la empresa podría necesitar alrededor del doble de centros de datos para procesar solicitudes.
Y esto es sólo para una función.
Quedó claro: las redes neuronales no necesitan otro procesador universal, sino hardware especializado.
La mayoría de sus cálculos implicaban repetir operaciones matriciales relativamente simples. Al mismo tiempo, los modelos funcionaron normalmente con precisión reducida. Esto significa que fue posible eliminar la versatilidad innecesaria de la CPU y construir un chip específicamente para el aprendizaje automático.
Así apareció el primero.
TPU
- una placa ASIC especializada para la inferencia de redes neuronales.
CPU: maneja casi cualquier tarea
TPU: calcula las operaciones de la red neuronal lo más rápido posible
TPU v1 contenía un bloque de matriz de
65.536 acumuladores multiplicadores de ocho bits
y se rindió hasta
92 TOPS
. Según las pruebas de Google, era entre 15 y 30 veces más rápido que sus CPU y GPU contemporáneas, y en términos de rendimiento por vatio era entre 30 y 80 veces más rápido que ellos.
Los chips comenzaron a instalarse en los centros de datos de Google allá por 2015. Posteriormente aceleraron la Búsqueda, el Traductor, las Fotos, el reconocimiento de voz e incluso AlphaGo.
TPU no nació del deseo de hacer que las redes neuronales sean un poco más rápidas.
Google simplemente se dio cuenta de que sin un nuevo tipo de procesador, escalar la IA sería económicamente imposible.
Entrevista completa: