Existe un consenso general de que Apple ha llegado tarde al mundo de la inteligencia artificial generativa, y hay razones de sobra para creerlo. Los problemas con Siri y las deficiencias de Apple Intelligence en general, más la adopción de Gemini como salvación de la futura versión del asistente virtual (y otras funciones), son pruebas más que contundentes. Aunque eso no significa que los de la manzana no hayan logrado desarrollos y avances importantes en el campo de la IA. De hecho, un reciente descubrimiento expuso que la compañía ocultó deliberadamente las verdaderas cualidades de una característica presente en la mayoría de sus productos de hardware. Nos referimos al Neural Engine, que está presente a lo largo y ancho del catálogo de Apple en dispositivos como los iPhone, iPad, Mac o el Apple Watch.
El Neural Engine de Apple es, en términos sencillos, un acelerador de inteligencia artificial. Es la forma en que los de Cupertino identifican lo que el resto de los fabricantes suele llamar unidad de procesamiento neuronal o NPU, por sus siglas en inglés. Desde hace algunos años, se ha vuelto común que cada nueva generación de dispositivos de la marca incorpore un Neural Engine en sus chips de las líneas A o M. En los ordenadores, tablets y móviles de la manzana, es de 16 núcleos. Mientras que en su línea de relojes inteligentes tiene 4 cores. Sin embargo, la enorme mayoría de las personas no le presta demasiada atención, y esto es, en parte, porque la compañía así lo quiere.
Si bien Apple suele mencionar las mejoras que recibe su Neural Engine al pasar de una generación de chips a la otra, no lo hace con la misma profundidad que sí dedica a otros aspectos del hardware, como las optimizaciones de rendimiento de los núcleos de la CPU o la GPU. Y la cosa apunta a que no es porque considere que su acelerador de IA no merezca atención, sino porque prefiere evitar que haya fisgones sobre este. Pero ello no ha impedido que un experto lo hackee y revele sus secretos más importantes.
Un punto clave del Neural Engine es que Apple no brinda acceso irrestricto a los desarrolladores. La API disponible para terceros está limitada y la compañía solamente admite el uso del acelerador para tareas de inferencia, no de entrenamiento. Tampoco se ofrece documentación detallada, ni nada por el estilo. Sin embargo, un investigador ha logrado ver más allá de la cerca para descubrir qué es lo que ocultan los de Cupertino en la versión de 16 núcleos del chip M4, y las revelaciones son muy interesantes.
Los secretos del Neural Engine de Apple, revelados
El responsable de ofrecer este vistazo a las capacidades reales del Neural Engine fue Manjeet Singh, quien, valiéndose de Claude como asistente, pudo superar las barreras de CoreML, un framework que Apple usa para limitar el acceso a este componente. En este artículo van a encontrar un desglose técnico más profundo sobre los hallazgos del experto, pero en estas líneas trataremos de mantener el tema lo más fácil de digerir que se pueda.
Lo que Singh descubrió respecto del Neural Engine fue lo siguiente:
- El hardware no solo sirve para inferencia, sino que realmente se puede usar para el entrenamiento completo de redes neuronales artificiales. Esto incluye un proceso conocido como retropropagación.
- El Neural Engine de Apple no es un multiplicador de matrices, sino un motor de convolución. Sin entrar en un terreno técnico y denso, Singh explica que el componente funciona diferente de la gran mayoría del hardware para IA. De modo que el código escrito para un multiplicador de matrices no logra el rendimiento que podría si estuviese pensado para un motor de convolución.
- Los núcleos del Neural Engine funcionan como una cadena. Esto permite obtener un mejor rendimiento cuando se envían operaciones en lote, y no de forma individual.
- El Neural Engine no es capaz de procesar 38 billones de operaciones por segundo (TOPS, por sus siglas en inglés), como Apple indica. No obstante, se menciona que es una treta que usan básicamente todos los fabricantes de hardware para IA.
- El componente tiene 32 MB de RAM estática, de modo que si las operaciones requieren más memoria se pierde rendimiento de inmediato.
- La eficiencia energética del Neural Engine de Apple no tiene par: 6,6 teraflops por vatio. Un punto clave aquí es que, de acuerdo con la información disponible, el acelerador corta toda la energía a los núcleos que no se usan. De modo que los que permanecen inactivos no consumen nada, en la expresión más literal posible.
Esto es, en líneas generales, lo que se descubrió al hackear el Neural Engine disponible en muchos de los dispositivos de Apple más recientes. Ahora bien, esto no necesariamente implica que un Mac mini o MacBook Pro reemplacen a los servidores de IA para entrenar nuevos modelos de frontera. Ni tampoco que los chips de Apple Silicon sean la perdición de NVIDIA o AMD, los principales desarrolladores de aceleradores avanzados para inteligencia artificial. Pero comprender cómo funciona o de qué es capaz este componente sí puede ser crucial para el futuro de la industria.
Las cualidades del Neural Engine de Apple podrían facilitar el entrenamiento de modelos pequeños, sin requerir de más hardware especializado. Y las aplicaciones de terceros que lo utilicen podrían optimizar su funcionamiento para sacar verdadero provecho de sus características. No obstante, es una realidad que esto requeriría de una apertura por parte de la compañía, que nadie puede garantizar que suceda. Pero que se haya accedido a algo que los de la manzana se esforzaron por mantener oculto puede ser el primer paso para un cambio.
