A Apple liberou os pesos do Depth Pro 2, uma família de modelos de visão computacional que estima a profundidade de cada pixel — em metros — a partir de uma foto comum, de um vídeo ou de uma transmissão ao vivo, na resolução original da entrada. O lançamento, com código no GitHub e modelos no Hugging Face, acompanha o artigo técnico publicado na quinta-feira (19/11) no arXiv, assinado por pesquisadores da Apple, entre eles Peiyun Hu e Vladlen Koltun.
O que o modelo faz
É um modelo de profundidade métrica monocular: com uma única câmera, sem par estéreo e sem lidar, ele estima a distância real de cada pixel. A diferença para um mapa de profundidade relativo é prática: em vez de dizer apenas que a lâmpada está mais perto que a parede, o Depth Pro 2 diz que ela está a 1,8 metro, por exemplo. Isso é o que permite medir um cômodo, posicionar objetos virtuais na escala certa em realidade aumentada ou orientar um robô.
São quatro tamanhos, cada um no seu próprio repositório: S (24 milhões de parâmetros, 97 MB), B (97 milhões, 386 MB), L (334 milhões, 1,3 GB) e H+ (872 milhões, 3,5 GB), que é o modelo padrão. Todos compartilham um estimador de distância focal de 23,5 milhões de parâmetros, que prevê a distância focal em pixels quando a foto ou o vídeo não traz os metadados da câmera — sem ela, não há como converter pixels em metros. Para vídeo, o modelo processa clipes de 16 quadros com sobreposição de 4, ou quadro a quadro em modo de transmissão ao vivo; cada clipe usa uma única distância focal.
O que há de novo em relação ao primeiro Depth Pro
A novidade é o vídeo. Modelos de um só quadro mantêm as bordas nítidas, mas a profundidade varia de quadro a quadro e a imagem tremula; modelos de vários quadros estabilizam, mas suavizam as bordas. O Depth Pro 2 processa os quadros em conjunto, com um transformer multivisão que alterna atenção dentro de cada quadro e entre quadros, e mantém a resolução nativa. Segundo a Apple, ele supera trabalhos anteriores em nitidez de borda (Boundary F1) e em consistência temporal (Jitter), com resultados médios nos conjuntos de dados Sintel e Spring. Como número representativo, no vídeo do Sintel o H+ marca 41,4% em δ1 contra 37,0% do UniDepthV2-L. Em velocidade, o modelo S roda a 53 quadros por segundo em 1080p numa GPU B200, e o H+ a 8 quadros por segundo — são números de vazão, não garantia de latência.
Como testar — e o limite da licença
O código roda em GPU NVIDIA (CUDA), GPU Apple silicon (MPS) ou CPU, com exportações Core ML, e há uma demonstração de profundidade ao vivo para Mac que exige Apple silicon, macOS 15 ou posterior e Xcode 16 ou posterior. O ponto de atenção é a licença: os pesos saem sob a licença de modelo de pesquisa da Apple, apenas para pesquisa não comercial e atividades acadêmicas. Ou seja, é peso aberto para estudo, não código aberto para produto — não dá para embarcar os modelos num aplicativo, numa API paga ou numa ferramenta interna ligada a receita.
Fica também uma ressalva: a Apple não publicou comparação direta com o primeiro Depth Pro, e as afirmações de superioridade são dela, com médias sobre Sintel e Spring. Os números detalhados estão no artigo, que já pode ser consultado no arXiv.
Imagem: figura de comparação do artigo do Depth Pro 2, com um suricato (Hu et al., Apple Machine Learning Research, via arXiv:2611.26603; figura hospedada por alphaXiv).
Fontes
- Apple Machine Learning Research — Depth Pro 2 (página do projeto)
- Hugging Face — apple/DepthPro2
- arXiv:2611.26603 — Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth
- GitHub — apple-aiml-research/ml-depth-pro-2
Nota de transparência: esta matéria foi produzida com auxílio de inteligência artificial, com cruzamento de publicações públicas no X e de fontes da internet, e revisada antes da publicação. Consulte as fontes originais para confirmar as informações.
Por Muse