El chip CS-2 Wafer Scale de Cerebra supera a todas las GPU a pasos agigantados y rompe el récord del modelo de IA más grande entrenado en un solo dispositivo

Mejores ofertas para Gamers en amazon

Desafia tus limites, ingresá y conocé las mejores ofertas del mundo del gaming

Ir a Amazon

Cerebras acaba de proclamar un auge para la empresa, la iniciativa de aprendizaje de modelos de procesamiento de lenguaje natural (NLP) más grande del mundo en un solo dispositivo, desarrollo y fabricación, desarrollo y producción del chip de aceleración más grande del mundo, el motor a escala de obleas CS-2.

Cerebras accede a veinte mil millones de parámetros en cargas de trabajo de un solo chip

El modelo de inteligencia artificial entrenado por Cerebras se ha elevado a una cifra única y notable de veinte mil millones de parámetros. Cerebras hizo esto sin tener que escalar la carga de trabajo en muchos aceleradores. El triunfo de Cerebras es fundamental para el aprendizaje automático, ya que la infraestructura y la complejidad de los requisitos de software se reducen en comparación con los modelos anteriores.

Think Silicon presenta la primera GPU 3D RISC-V de bajo consumo en Embedded World 2022

Wafer Scale Engine-2 está grabado en una sola oblea de 7 nm, equivalente a cientos de chips de gama alta en el mercado, e incluye 2,6 billones de transistores de 7 nm. Además de la oblea y los transistores, Wafer Scale Engine-2 integra 850.000 núcleos y 40 GB de caché integrada con un consumo de energía de 15 kW. Tom’s Hardware señala que «un solo sistema CS-2 es similar a una supercomputadora por derecho propio».

El beneficio para Cerebras de usar un modelo NLP de 20 000 millones de parámetros en un solo chip permite a la empresa reducir los gastos generales asociados con los costos de capacitación para miles de GPU, hardware y requisitos de escalabilidad. A su vez, la empresa puede eliminar todas las dificultades técnicas de particionar diferentes modelos en el chip. La compañía dice que es «uno de los aspectos más dolorosos de las cargas de trabajo de PNL, […] llevará meses completarlo».

Es un problema personalizado que es inusual no solo para cada red neuronal cubierta, las características específicas de la GPU y la red general que combina todos los componentes, que los investigadores deben abordar antes de la primera parte de la capacitación. El entrenamiento también es solitario y no se puede utilizar en varios sistemas.

En PNL, los modelos más grandes resultan ser más precisos. Pero tradicionalmente, solo unas pocas empresas seleccionadas tenían los recursos y las habilidades para realizar el arduo trabajo de desglosar estos grandes modelos e implementarlos en cientos o miles de unidades de procesamiento de gráficos. Como resultado, pocas empresas podían entrenar grandes modelos de PNL, era demasiado costoso, requería mucho tiempo e inaccesible para el resto de la industria. Hoy estamos orgullosos de democratizar el acceso a GPT-3XL 1.3B, GPT-J 6B, GPT-3 13B y GPT-NeoX 20B, lo que permite que todo el ecosistema de IA configure modelos grandes en minutos y los entrene en un solo CS-2. .

Andrew Feldman, director ejecutivo y cofundador de Cerebras Systems

Actualmente, hemos visto sistemas que funcionan excepcionalmente bien con el uso de menos parámetros. Uno de esos sistemas es Chinchilla, que supera continuamente los 70 mil millones de configuraciones GPT-3 y Gopher. Sin embargo, el resultado de Cerebras es excepcionalmente significativo ya que los investigadores descubrirán que podrán calcular y crear modelos elaborados de forma incremental en el nuevo Wafer Scale Engine-2 donde otros no pueden.

EVGA finaliza el sistema de colas de la tarjeta gráfica GeForce RTX 30 a medida que el mercado de GPU se normaliza

La tecnología detrás de la gran cantidad de parámetros utilizables utiliza la tecnología Weight Streaming de la compañía, que permite a los investigadores «desacoplar las huellas computacionales y de memoria, lo que permite escalar la memoria a la cantidad necesaria para almacenar la creciente cantidad de parámetros en las cargas de trabajo de inteligencia artificial». . A su vez, el tiempo que lleva configurar el aprendizaje se reducirá de meses a minutos con solo unos pocos comandos estándar, lo que permite cambiar sin problemas entre GPT-J y GPT-Neo.

La capacidad de Cerebras para llevar grandes modelos de lenguaje a las masas con un acceso fácil y asequible marca el comienzo de una nueva era emocionante en la IA. Ofrece a las organizaciones que no pueden gastar decenas de millones una vía de acceso fácil y asequible a la PNL de las grandes ligas. Será interesante ver las nuevas aplicaciones y descubrimientos que los clientes de CS-2 harán al entrenar modelos de clase GPT-3 y GPT-J en grandes conjuntos de datos.

Dan Olds, Director de Investigación, Intersect360 Research

Fuentes de información: Hardware de Tom,

¿Qué te pareció este artículo?
Los precios de las tarjetas gráficas usadas caen hasta un 50% a medida que más criptomineros venden sus GPU
Los precios de las tarjetas gráficas usadas caen hasta un 50% a medida que más criptomineros venden sus GPU

En carta: A medida que los precios de las criptomonedas continúan cayendo y Bitcoin vuelve a caer por debajo de Leer más

Los Chromebook serán los más afectados por la desaceleración de las ventas mundiales de PC
Los Chromebook serán los más afectados por la desaceleración de las ventas mundiales de PC

El panorama: La industria de las PC ha visto beneficios significativos del cambio repentino al trabajo y estudio remotos en Leer más

Xbox Game Pass, GeForce Now, Stadia y otros ahora se pueden jugar a través de Samsung TV Gaming Hub
Xbox Game Pass, GeForce Now, Stadia y otros ahora se pueden jugar a través de Samsung TV Gaming Hub

Hace tiempo que sabemos que Samsung se asoció con Microsoft en un nuevo centro de juegos para sus televisores inteligentes Leer más

Samsung comienza a producir chips con proceso de 3 nm, el exceso de DRAM se prepara en Corea del Sur
Samsung comienza a producir chips con proceso de 3 nm, el exceso de DRAM se prepara en Corea del Sur

El panorama: TSMC sigue siendo el líder indiscutible en la fabricación de chips por contrato, pero Samsung acaba de vencerlo Leer más

Los ingresos de AMD Ryzen PC caerán un 26 % en 2022 debido al éxito de las CPU Intel de 12.ª generación, informa Market Analyst
Los ingresos de AMD Ryzen PC caerán un 26 % en 2022 debido al éxito de las CPU Intel de 12.ª generación, informa Market Analyst

Según el analista de Morgan Stanley, se espera que los ingresos del procesador Ryzen Desktop de AMD disminuyan un 26 Leer más


Seguinos en Google News y mantente informado sobre toda la actualidad y tendencias.

¿Qué te pareció este artículo?