Apple reduce sus tiempos de renderizado de IA a la mitad con la nueva solución Stable Diffusion

Agrandar / Dos ejemplos de gráficos generados por Stable Diffusion de Apple Apple El miércoles, Apple lanzó optimizaciones que permiten que el generador de imágenes Stable Diffusion AI se ejecute en Apple Silicon con Core ML, el marco de modelo de aprendizaje automático patentado de Apple. Las optimizaciones permitirán a los desarrolladores de aplicaciones utilizar el hardware de Apple Neural Engine para ejecutar Stable Diffusion aproximadamente el doble de rápido que los métodos anteriores basados ​​en Mac. Stable Diffusion (SD), lanzado en agosto, es un modelo de síntesis de imágenes de IA de código abierto que utiliza la entrada de texto para generar imágenes novedosas. Por ejemplo, si escribe «astronauta en una cometa» en SD, por lo general crea una imagen de exactamente eso. Al lanzar las nuevas optimizaciones SD, disponibles como scripts de conversión en GitHub, Apple pretende desbloquear todo el potencial de la síntesis de imágenes en sus dispositivos, como se indica en la página de anuncios de Apple Research. «Con el creciente número de aplicaciones de difusión estables, es importante asegurarse de que los desarrolladores puedan aprovechar esta tecnología de manera efectiva para crear aplicaciones que los creadores puedan usar en cualquier lugar». en un dispositivo Mac o Apple. “La privacidad del usuario final está protegida porque cualquier dato que el usuario proporciona como entrada al modelo permanece en el dispositivo del usuario”, dice Apple. “Segundo, después de la descarga inicial, los usuarios no necesitan una conexión a Internet para usar el modelo. Finalmente, implementar este modelo localmente permite a los desarrolladores reducir o eliminar los costos relacionados con el servidor”. Actualmente, Stable Diffusion genera imágenes más rápido en las GPU Nvidia de gama alta cuando se ejecuta localmente en una PC con Windows o Linux. Por ejemplo, generar una imagen de 512×512 en 50 pasos en una RTX 3060 lleva unos 8,7 segundos en nuestra máquina. En comparación, el método tradicional de ejecutar Stable Diffusion en un Apple Silicon Mac es mucho más lento, tardando alrededor de 69,8 segundos en nuestras pruebas en un M1 Mac Mini para producir una imagen de 512 × 512 en 50 pasos con Diffusion Bee. De acuerdo con los puntos de referencia de Apple en GitHub, las nuevas optimizaciones Core ML SD de Apple pueden producir una imagen de 512 × 512 de 50 pasos en un chip M1 en 35 segundos. Un M2 hace el trabajo en 23 segundos y el chip de silicio más poderoso de Apple, el M1 Ultra, puede lograr el mismo resultado en solo nueve segundos. Esta es una mejora espectacular, que reduce casi a la mitad el tiempo de generación en el caso del M1. El lanzamiento de GitHub de Apple es un paquete de Python que convierte modelos de difusión estables de PyTorch a Core ML e incluye un paquete Swift para la implementación de modelos. Las optimizaciones funcionan para Stable Diffusion 1.4, 1.5 y el recién lanzado 2.0. Por ahora, la experiencia de configurar Stable Diffusion con Core ML localmente en una Mac está dirigida a desarrolladores y requiere algunos conocimientos básicos de línea de comandos, pero Hugging Face ha publicado una guía detallada sobre cómo ajustar los ajustes de Core ML de Apple para aquellos que quieran para experimentar. Para aquellos menos expertos en tecnología, la aplicación antes mencionada llamada Diffusion Bee facilita la ejecución de Stable Diffusion en Apple Silicon, pero aún no integra los nuevos ajustes de Apple. También puede ejecutar Stable Diffusion en un iPhone o iPad usando la aplicación Draw Things.