Hace unos días, Popular Mechanics entrevistó a Craig Federighi, vicepresidente senior de ingeniería de software de Apple, para hablar sobre cómo surgió Scribble, la nueva función para el Apple Pencil y el iPad en iPadOS 14.
Aunque iPadOS 14 no llegue con tantas novedades como ocurrió el año pasado, si trae funciones nuevas y mejoradas funciones para Apple Pencil como Scribble (presentadas en la WWDC 2020) que transforman por completo la forma de escribir a mano, y ARKit 4 viene con una innovadora API de profundidad que permitirá a los desarrolladores incluir funcionalidades mucho más potentes en sus apps.
Scribble: la función que permite convertir la escritura a mano en texto en iPadOS 14
En una breve entrevista para Popular Mechanics, Craig Federighi aprovechó para contar cómo habían desarrollado la función Scribble para iPadOS 14. Si bien Alexa y Siri dependen de una conexión a centros de datos lejanos para manejar su procesamiento, el iPad debe poder hacer todo ese trabajo en el dispositivo para mantenerse al día con la escritura a mano (y el dibujo; el aprendizaje automático también ayuda a que la aplicación Notes se enderece un garabato imperfecto de un polígono, por ejemplo). Eso requiere mucho más esfuerzo del que cree.
Cuando se trata de entender los trazos (escritos a mano), recopilamos datos. Encontramos personas en todo el mundo y les pedimos que escriban cosas. Les damos un Pencil, y les hacemos escribir rápido, les hacemos escribir lento, escriben en una inclinación. Todas las variaciones». Esa metodología es distinta del enfoque comparativamente simple de escanear y analizar la escritura existente. Federighi dice que para la tecnología de Apple, los ejemplos estáticos no eran suficientes. Necesitaban ver los trazos que formaban cada letra. «Si entiendes los trazos y cómo bajaron, eso se puede utilizar para eliminar la ambigüedad de lo que se estaba escribiendo»
Es aquí cuando entra en juego el procesador Ax y su capacidad de realizar millones de operaciones por segundo incluido el aprendizaje automático gracias a los núcleos de Neural Engine:
El iPad también puede predecir qué trazo, carácter o palabra escribirás a continuación. . La enorme cantidad de cálculos estadísticos necesarios para hacer esto se realiza en el propio iPad, en lugar de en un centro de datos. «Tiene que estar sucediendo en tiempo real, ahora mismo, en el dispositivo que está sosteniendo», dice Federighi. «Lo que significa que la potencia computacional del dispositivo tiene que ser tal que pueda realizar ese nivel de procesamiento localmente».