Google Los científicos investigadores han publicado su artículo sobre JuegoNGenun motor de juego basado en IA que genera contenido original. Condenar Jugabilidad en una red neuronal. Utilizando Stable Diffusion, los científicos Dani Valevski, Yaniv Leviathan, Moab Arar y Shlomi Fruchter diseñaron GameNGen para procesar sus fotogramas anteriores y la entrada actual del jugador para generar nuevos fotogramas en el mundo con una fidelidad visual y una cohesión sorprendentes.
Generar un motor de juego completo con lógica consistente mediante IA es un logro único. GameNGen Condenar Se puede jugar como un videojuego real, con giros y ametrallamientos, disparos de armas y daño preciso de enemigos y peligros ambientales. Se construye un nivel real a tu alrededor en tiempo real mientras lo exploras. Incluso lleva un recuento bastante preciso de la munición de tu pistola. Según el estudio, el juego se ejecuta a 20 FPS y es difícil distinguirlo en clips cortos de los reales. Condenar Jugabilidad.
Para obtener todos los datos de entrenamiento necesarios para que GameNGento modele con precisión su propio Condenar niveles, el equipo de Google entrenó a su agente de IA para jugar Condenar en todas las dificultades y simular una variedad de niveles de habilidad del jugador. Se recompensaban acciones como recolectar potenciadores y completar niveles. Al mismo tiempo, se castigaba el daño o la muerte del jugador, creando agentes que podían jugar Condenar y proporcionar cientos de horas de datos de entrenamiento visual para que el modelo GameNGen pueda hacer referencia y recrear.
Una innovación importante del estudio es cómo los científicos mantuvieron la cohesión entre los fotogramas mientras utilizaban Stable Diffusion durante largos períodos. Stable Diffusion es un modelo de IA generativo ubicuo que genera imágenes a partir de indicaciones de texto o imágenes y se ha utilizado para proyectos animados desde su lanzamiento en 2022.
Las dos debilidades más importantes de Stable Diffusion para la animación son su falta de cohesión de un cuadro a otro y su eventual regresión en la fidelidad visual con el tiempo. Como se ve en el cortometraje Anime Rock Paper Scissors de Corridor, Stable Diffusion puede crear imágenes fijas convincentes, pero sufre efectos de parpadeo a medida que el modelo produce cuadros consecutivos (observe cómo las sombras parecen saltar por todas las caras de los actores de un cuadro a otro).
El parpadeo se puede solucionar alimentando a Stable Diffusion con su salida y entrenándolo con la imagen que creó para garantizar que los fotogramas coincidan entre sí. Sin embargo, después de varios cientos de fotogramas, la generación de imágenes se vuelve cada vez menos precisa, similar al efecto de fotocopiar una fotocopia muchas veces.
Google Research resolvió este problema entrenando nuevos marcos con una secuencia más extensa de entradas de usuario y marcos que los precedieron (en lugar de una sola imagen de aviso) y corrompiendo estos marcos de contexto utilizando ruido gaussiano. Ahora, una red neuronal separada pero conectada corrige sus marcos de contexto, lo que garantiza una imagen que se autocorrige constantemente y altos niveles de estabilidad visual que se mantienen durante largos períodos.
Los ejemplos de GameNGen vistos hasta ahora son, sin duda, menos que perfectos. Aparecen manchas y desenfoques en la pantalla en momentos aleatorios. Los enemigos muertos se convierten en montículos borrosos después de la muerte. Doomguy en el HUD está constantemente moviendo sus cejas hacia arriba y hacia abajo como si fuera The Rock en Monday Night Raw. Y, por supuesto, los niveles generados son inconsistentes en el mejor de los casos; el video de YouTube incrustado más arriba termina en un pozo de veneno donde Doomguy de repente deja de recibir daño al 4% y cambia completamente su diseño después de girar 360 grados dentro de él.
Si bien el resultado no es un videojuego que se pueda ganar, GameNGen produce un simulacro impresionante del Condenar Nos encanta. En algún punto entre las demostraciones tecnológicas y los experimentos mentales sobre el futuro de la IA, GameNGen de Google se convertirá en una parte crucial del desarrollo de juegos de IA en el futuro si el campo continúa. Junto con la investigación de Caltech sobre Usando Minecraft para enseñar modelos de IA La generación consistente de mapas y los motores de videojuegos desarrollados con inteligencia artificial podrían llegar a una computadora cerca de usted antes de lo que pensamos.
