El equipo de Machine Learning de Apple revela un nuevo proyecto ML muy interesante dentro de Hugging Face: Sharp.
Cómo funciona el ML SHARP
A través de Hugging Face, Apple ofrece a los desarrolladores la posiblidad de probar esas investigaciones abiertas para permitir que la comunidad ofrezca experiencias increíbles que mejoren la vida de millones de personas cada día
El modelo SHARP ofrece un enfoque para la síntesis de vistas fotorrealistas a partir de una sola imagen. Si usas una sola fotografía, SHARP regresiona los parámetros de una representación gaussiana 3D de la escena representada. Esto se realiza en menos de un segundo en una GPU estándar mediante un único paso de avance a través de una red neuronal. La representación gaussiana 3D generada por SHARP puede renderizarse en tiempo real, generando imágenes fotorrealistas de alta resolución para vistas cercanas.
La representación es métrica, con escala absoluta, compatible con movimientos métricos de cámara. Los resultados experimentales demuestran que SHARP ofrece una generalización robusta de disparo cero en conjuntos de datos. Establece un nuevo estándar en múltiples conjuntos de datos, reduciendo LPIPS entre un 25 % y un 34 % y DISTS entre un 21 % y un 43 % en comparación con el mejor modelo anterior, a la vez que reduce el tiempo de síntesis en tres órdenes de magnitud.
Dentro de Hugging Face, podemos ver algunos ejemplos disponibles realizando de una sola imagen una Predicción de escena gaussiana en 3D. En Github también tenemos más ejemplos para probar.
Un desarrollador, ha publicado un ejemplo para Apple Vision Pro:
Dentro del portal Arxiv, podemos ver el paper del proyecto. Detrás de este ML de Apple, que ya está liberado públicamente, están Lars Mescheder , Wei Dong , Shiwei Li , Xuyang Bai , Marcel Santos , Peiyun Hu , Bruno Lecouat , Mingmin Zhen , Amaël Delaunoy , Tian Fang , Yanghai Tsin , Stephan R. Richter y Vladlen Koltun.
