Apple Depth Pro cria profundidade 3D em fotos 2D

A Apple disponibilizou um modelo AI Depth Pro que pode gerar informação de profundidade 3D a partir de fotos convencionais, de forma quase instantânea.

A Apple apresentou um novo modelo AI chamado Depth Pro, que promete melhorar drasticamente a percepção de profundidade em fotos. Esta sistema, que gera mapas de profundidade 3D a partir de imagens 2D, tem aplicações que vão dos sectores da realidade aumentada (AR) aos veículos autónomos, permitindo inferir informação espacial mais rápida e precisa. Ao contrário dos métodos tradicionais que dependem de múltiplas imagens ou metadados da câmara, o Depth Pro produz mapas detalhados de profundidade, com 2.25 MP em apenas 0.3 segundos, utilizando apenas processamento local no GPU.

Uma das principais características do Depth Pro ("Depth Pro: Sharp Monocular Metric Depth in Less Than a Second" - PDF) é a sua capacidade de captar a profundidade absoluta, uma função conhecida como "profundidade métrica." Isto permite fornecer medições do mundo real, essenciais para aplicações de AR, onde os objectos virtuais precisam de ser colocados com precisão nos espaços físicos. Além disso, o Depth Pro é extremamente versátil graças à sua capacidade de "zero-shot learning," o que significa que não requer treino extensivo em conjuntos de imagens específicas para fazer previsões precisas.

A rapidez e precisão do Depth Pro são possíveis graças a um modelo Transformer de visão que processa tanto o contexto geral como os detalhes de uma imagem simultaneamente. Isto resulta em mapas de profundidade de alta resolução e nitidez, capazes de captar detalhes intrincados como cabelos e vegetação. Os investigadores da Apple afirmam que o Depth Pro supera outros modelos na precisão das margens dos objectos, tornando-o ideal para aplicações como reconstrução 3D e ambientes virtuais.

A Apple disponibilizou o Depth Pro como código aberto, com o código do modelo e os pesos pré-treinados acessíveis no GitHub. Tem também uma demonstração disponível na plataforma Hugging Face.