Actualización 5:02 PM PT: la versión beta del desarrollador que contiene Deep Fusion no se enviará hoy después de todo. Sin fecha anunciada; solo "viniendo".
Apple está lanzando un vistazo temprano a su nueva característica Deep Fusion en iOS hoy con una actualización de software para usuarios beta. Deep Fusion es una técnica que combina múltiples exposiciones juntas en el nivel de píxel para brindar a los usuarios un nivel de detalle más alto que el que se puede obtener con imágenes HDR estándar, especialmente en imágenes con texturas muy complicadas como la piel, la ropa o el follaje.
La versión beta para desarrolladores de hoy es compatible con el iPhone 11, donde Deep Fusion mejorará las fotos tomadas con la cámara panorámica y el iPhone 11 Pro y Pro Max, donde se activará con el teleobjetivo y el gran angular, pero no con las lentes ultra gran angular.
Según Apple, Deep Fusion requiere el A13 y no estará disponible en ningún iPhone antiguo.
Como mencioné extensamente en mi revisión del iPhone 11 Pro, la 'cámara' de Apple en el iPhone es realmente una colección de lentes y sensores que es procesada agresivamente por un software dedicado de aprendizaje automático ejecutado en hardware especializado. Efectivamente, una cámara de aprendizaje automático.
Deep Fusion es una técnica fascinante que extiende la filosofía de Apple sobre la fotografía como un proceso computacional hasta su próxima frontera lógica. A partir del iPhone 7, Apple ha estado combinando la salida de los lentes anchos y teleobjetivos para proporcionar el mejor resultado. Este proceso ocurrió sin que el usuario lo supiera.
Deep Fusion continúa en esta vena. Surtirá efecto automáticamente en las imágenes que se toman en situaciones específicas.
En tomas con lentes anchas, comenzará a estar activo justo por encima del piso de aproximadamente 10 lux donde se activa el Modo nocturno. La parte superior del rango de escenas donde está activo es variable dependiendo de la fuente de luz. En el teleobjetivo, estará activo en todas las situaciones, excepto en las más brillantes, en las que Smart HDR se hará cargo, proporcionando un mejor resultado debido a la abundancia de reflejos.
Apple proporcionó un par de imágenes de muestra que muestran Deep Fusion en acción que he incrustado aquí. Todavía no han proporcionado ningún ejemplo que no sea DF, pero los veremos tan pronto como salga la versión beta y la gente lo instale.
Deep Fusion funciona de esta manera:
La cámara dispara un cuadro 'corto', a un valor EV negativo. Básicamente, una imagen un poco más oscura de la que desea, y saca la nitidez de este marco. Luego dispara 3 fotos EV0 regulares y un marco EV + 'largo', registra la alineación y las combina.
Esto produce dos fotos de 12MP - 24MP de datos - que se combinan en una foto de resultado de 12MP. La combinación de los dos se realiza utilizando 4 redes neuronales separadas que tienen en cuenta las características de ruido de los sensores de cámara de Apple, así como el tema de la imagen.
Esta combinación se realiza píxel por píxel. Se extrae un píxel a la vez para obtener la mejor combinación para la imagen general. Los modelos de aprendizaje automático observan el contexto de la imagen para determinar dónde pertenecen en el espectro de frecuencia de la imagen. Cielo y otras áreas de baja frecuencia ampliamente similares, tonos de piel en la zona de frecuencia media y artículos de alta frecuencia como ropa, foilage, etc.
Luego, el sistema extrae la estructura y la tonalidad de una imagen u otra en función de las proporciones.
El resultado general, dice Apple, da como resultado mejores transiciones de la piel, mejores detalles de la ropa y mejor nitidez en los bordes de los sujetos en movimiento.
Actualmente no hay forma de desactivar el proceso de Deep Fusion, pero debido a que la función de 'recorte excesivo' de las nuevas cámaras utiliza Ultra Wide, un pequeño 'truco' para ver la diferencia entre las imágenes es activar eso, lo que desactivará Deep Fusion ya que no usa la lente Ultra Wide.
El proceso de Deep Fusion requiere alrededor de 1 segundo para el procesamiento. Si dispara rápidamente y luego toca una vista previa de la imagen, la imagen puede tardar aproximadamente medio segundo en actualizarse a la nueva versión. La mayoría de las personas no notarán el proceso en absoluto.
En cuanto a cómo funciona IRL? Lo probaremos y le responderemos cuando Deep Fusion esté disponible.
No hay comentarios:
Publicar un comentario