Google DeepMind, el prestigioso laboratorio de investigación en inteligencia artificial de Google, ha revelado una investigación revolucionaria que promete transformar el entrenamiento de modelos de IA.
Esta nueva tecnología, denominada JEST (selección conjunta de ejemplos), no solo acelera el proceso de entrenamiento, sino que también mejora la eficiencia energética de manera significativa, logrando un rendimiento 13 veces mayor y una eficiencia 10 veces superior en comparación con métodos anteriores. Esta innovación llega en un momento crucial, ya que el debate sobre el impacto ambiental de los centros de datos dedicados a la IA se intensifica.
El enfoque JEST de DeepMind difiere notablemente de las técnicas tradicionales de entrenamiento. Mientras que los métodos convencionales se enfocan en puntos de datos individuales, JEST se basa en lotes completos. El proceso comienza con la creación de un modelo de IA más pequeño que evalúa la calidad de los datos provenientes de fuentes altamente confiables.
Estos lotes de datos se clasifican por calidad y se comparan con un conjunto más amplio de menor calidad. A partir de estas comparaciones, el modelo pequeño de JEST identifica los lotes más adecuados para el entrenamiento, y luego un modelo más grande se entrena basado en estos hallazgos.
El artículo de investigación, disponible aquí, proporciona una descripción detallada de los procesos utilizados y las perspectivas futuras de esta tecnología.
Los investigadores de DeepMind destacan que la capacidad de dirigir el proceso de selección de datos hacia conjuntos de datos más pequeños y bien curados es fundamental para el éxito de JEST. De hecho, los resultados muestran que este enfoque supera a los modelos más avanzados, logrando hasta 13 veces menos iteraciones y 10 veces menos consumo computacional.
No obstante, el éxito de JEST depende en gran medida de la calidad de los datos de entrenamiento. La técnica de bootstrapping que utiliza puede fallar sin un conjunto de datos cuidadosamente curado por expertos.
Esto hace que la implementación de JEST sea más desafiante para aficionados o desarrolladores de IA menos experimentados, ya que se requieren habilidades avanzadas para seleccionar los datos de entrenamiento iniciales de alta calidad.
La llegada de esta tecnología es oportuna, ya que tanto la industria tecnológica como los gobiernos globales comienzan a abordar las enormes demandas energéticas de la inteligencia artificial.
En 2023, las cargas de trabajo de IA consumieron alrededor de 4.3 GW, casi igualando el consumo anual de energía de Chipre. Este consumo está en aumento, con estimaciones que sugieren que la IA podría ocupar un cuarto de la red eléctrica de Estados Unidos para 2030.
Queda por ver si los principales actores del sector adoptarán los métodos JEST. Con el entrenamiento de modelos como GPT-4 costando alrededor de $100 millones y modelos futuros potencialmente alcanzando cifras astronómicas, es probable que las empresas busquen formas de reducir costos. Los optimistas creen que JEST se utilizará para mantener las tasas actuales de productividad de entrenamiento con un menor consumo energético, beneficiando tanto a las empresas como al medio ambiente.
Sin embargo, otros piensan que la industria continuará maximizando el consumo de energía para lograr una producción de entrenamiento ultra rápida. ¿Será el ahorro de costos o la escala de producción lo que prevalezca? Solo el tiempo lo dirá.
Via Toms Hardware
