2020/04/28

Como o iPhone SE 2020 vê a profundidade com uma só câmara


Depois de originalmente ter sido algo reservado apenas aos iPhones com duas câmaras, o modo de fotografias com efeito retrato, com fundo desfocado está também disponível no novo iPhone SE 2020 que tem apenas uma câmara. E os criadores da app Hallide explicam como é que isso se tornou possível.

O Phone SE é capaz de fazer a estimativa da profundidade dos elementos numa foto captada com uma só câmara, recorrendo à ajuda da Inteligência Artificial e machine learning. É um processo idêntico ao que nos permite olhar para uma foto e também perceber que elementos estarão mais próximos e quais estarão mais distantes, e que embora não seja perfeito, funciona bastante bem - até para elementos que a Apple diz não funcionar.

Embora na app oficial do iPhone o efeito retrato apenas possa ser aplicado quando é detectado um rosto na imagem, a app Hallide desbloqueia o seu funcionamento para tudo o resto.




Neste caso, uma foto a um cão tem resultados excelentes, com o mapa de profundidades dos pixeis a segmentar perfeitamente o cão e a atribuir maior afastamento às suas patas e cauda. E não esquecer que isto está a ser feito usando apenas a foto de uma única câmara.

Aliás, isso pode ser comprovado de forma curiosa, tirando uma foto a uma foto, com um iPhone XR com duas câmaras e estimativa de profundidade binocular, e com o iPhone SE 2020 com a sua única câmara.




Apontando-se dois iPhones para o ecrã e tirando a foto à imagem do cão, o mapa de profundidades gerado pelo iPhone XE (à esquerda) fica um pouco baralhado mas atribuiu a mesma informação de distância a toda a imagem, revelando que se trata de uma imagem "plana". Já no caso do iPhone SE 2020 (à direita), mesmo tendo sido uma foto de uma imagem plana num monitor, ele ainda assim inferiu um gradiente de distâncias progressivas ao cenário, e até segmentando correctamente a orelha mais afastada do cão.

Claro que estes resultados impressionantes nem sempre são tão bons como estes, mas o facto de funcionar bem nestes casos já é bastante positivo (nem seria de esperar que o sistema funcionasse com cães). Quem imaginaria que se chegaria a este ponto, em que apenas com uma única câmara, se conseguiria ter acesso a informação de profundidade com este grau de fidelidade?

3 comentários:

  1. Mas... isto n é o que já há muito está a ser feito com Android phones como os primeiros Pixeis ou Samsungs S8?

    ResponderEliminar
  2. Na verdade os melhores resultados não têm haver com condições físicas mas sim com algoritmo...
    A prova disso está ao longo destes anos tendo o Android essas funções em telemóveis com uma câmara ou em apps que o fazem usando apenas um sensor tal como é a Gcam.

    A Apple não oferece desfocagem seletiva ou bokeh artificial em todos os modelos porque não quer.

    ResponderEliminar

[pub]