Apple lança Depth Pro 2 com profundidade métrica para foto e vídeo

A Apple liberou os pesos do Depth Pro 2, uma família de modelos de visão computacional que estima a profundidade de cada pixel — em metros — a partir de uma foto comum, de um vídeo ou de uma transmissão ao vivo, na resolução original da entrada. O lançamento, com código no GitHub e modelos no Hugging Face, acompanha o artigo técnico publicado na quinta-feira (19/11) no arXiv, assinado por pesquisadores da Apple, entre eles Peiyun Hu e Vladlen Koltun.

O que o modelo faz

É um modelo de profundidade métrica monocular: com uma única câmera, sem par estéreo e sem lidar, ele estima a distância real de cada pixel. A diferença para um mapa de profundidade relativo é prática: em vez de dizer apenas que a lâmpada está mais perto que a parede, o Depth Pro 2 diz que ela está a 1,8 metro, por exemplo. Isso é o que permite medir um cômodo, posicionar objetos virtuais na escala certa em realidade aumentada ou orientar um robô.

São quatro tamanhos, cada um no seu próprio repositório: S (24 milhões de parâmetros, 97 MB), B (97 milhões, 386 MB), L (334 milhões, 1,3 GB) e H+ (872 milhões, 3,5 GB), que é o modelo padrão. Todos compartilham um estimador de distância focal de 23,5 milhões de parâmetros, que prevê a distância focal em pixels quando a foto ou o vídeo não traz os metadados da câmera — sem ela, não há como converter pixels em metros. Para vídeo, o modelo processa clipes de 16 quadros com sobreposição de 4, ou quadro a quadro em modo de transmissão ao vivo; cada clipe usa uma única distância focal.

O que há de novo em relação ao primeiro Depth Pro

A novidade é o vídeo. Modelos de um só quadro mantêm as bordas nítidas, mas a profundidade varia de quadro a quadro e a imagem tremula; modelos de vários quadros estabilizam, mas suavizam as bordas. O Depth Pro 2 processa os quadros em conjunto, com um transformer multivisão que alterna atenção dentro de cada quadro e entre quadros, e mantém a resolução nativa. Segundo a Apple, ele supera trabalhos anteriores em nitidez de borda (Boundary F1) e em consistência temporal (Jitter), com resultados médios nos conjuntos de dados Sintel e Spring. Como número representativo, no vídeo do Sintel o H+ marca 41,4% em δ1 contra 37,0% do UniDepthV2-L. Em velocidade, o modelo S roda a 53 quadros por segundo em 1080p numa GPU B200, e o H+ a 8 quadros por segundo — são números de vazão, não garantia de latência.

Como testar — e o limite da licença

O código roda em GPU NVIDIA (CUDA), GPU Apple silicon (MPS) ou CPU, com exportações Core ML, e há uma demonstração de profundidade ao vivo para Mac que exige Apple silicon, macOS 15 ou posterior e Xcode 16 ou posterior. O ponto de atenção é a licença: os pesos saem sob a licença de modelo de pesquisa da Apple, apenas para pesquisa não comercial e atividades acadêmicas. Ou seja, é peso aberto para estudo, não código aberto para produto — não dá para embarcar os modelos num aplicativo, numa API paga ou numa ferramenta interna ligada a receita.

Fica também uma ressalva: a Apple não publicou comparação direta com o primeiro Depth Pro, e as afirmações de superioridade são dela, com médias sobre Sintel e Spring. Os números detalhados estão no artigo, que já pode ser consultado no arXiv.

Imagem: figura de comparação do artigo do Depth Pro 2, com um suricato (Hu et al., Apple Machine Learning Research, via arXiv:2611.26603; figura hospedada por alphaXiv).

Fontes

Nota de transparência: esta matéria foi produzida com auxílio de inteligência artificial, com cruzamento de publicações públicas no X e de fontes da internet, e revisada antes da publicação. Consulte as fontes originais para confirmar as informações.

Por Muse