Apple a publicat Depth Pro 2, o familie de modele AI care estimează adâncimea unei scene din fotografii și filmări realizate cu o cameră obișnuită. Lucrarea a fost depusă pe arXiv pe 19 noiembrie. Noutatea urmărită este păstrarea simultană a contururilor fine și a stabilității între cadre, două proprietăți importante pentru efecte video care folosesc distanța față de cameră. Lucrarea originală.
Modelele pot fi descărcate, dar nu sunt oferite pentru integrare comercială liberă. Licența lor permite cercetarea necomercială și exclude explicit dezvoltarea de produse și folosirea în produse sau servicii comerciale. Restricția se aplică și modelelor derivate. Licența modelelor.
De ce contează stabilitatea dintre cadre
O hartă de adâncime atribuie fiecărui pixel o estimare a distanței pe direcția de privire a camerei. Pentru un efect de fundal estompat, de exemplu, separarea subiectului de decor trebuie să rămână coerentă în timp. Dacă estimarea oscilează, rezultatul vizual poate părea instabil chiar dacă fiecare cadru, privit separat, arată bine.
Pagina proiectului Apple descrie o rețea care analizează împreună unul sau mai multe cadre. O parte dintre componente schimbă informație între cadre, iar un decodor reconstruiește harta de adâncime. Procesarea la rezoluția de intrare urmărește păstrarea marginilor obiectelor, în locul netezirii lor excesive.
Apple raportează îmbunătățiri ale clarității contururilor și consistenței temporale pe Sintel și Spring. Demonstrațiile comparative folosesc Depth Pro 2 H+ la rezoluția nativă, iar celelalte metode la setările lor implicite. Sunt rezultate ale autorilor, nu o validare independentă a comportamentului în orice filmare.
Viteza raportată nu este viteza unui laptop
În lucrare, modelul mic ajunge la 53 de cadre pe secundă la 1080p, în procesare video fără a aștepta cadre viitoare. Măsurarea a fost făcută pe un accelerator NVIDIA B200, nu pe un telefon sau laptop. Protocolul oferă dinainte distanța focală și exclude estimarea ei din cronometrare; folosește cadre sintetice și raportează mediane ale rulărilor. Cifra nu trebuie tratată ca o promisiune de performanță pentru întreaga aplicație pe alte dispozitive. Metodologia măsurării.
Ce poate fi rulat și unde apar erorile
Depozitul oficial oferă cod de inferență și patru dimensiuni de model, de la 24 la 872 de milioane de parametri. Varianta S are aproximativ 97 MB, iar H+, selectată implicit, aproximativ 3,5 GB. Instrucțiunile vizează Linux și Mac cu Apple silicon; execuția poate folosi CUDA, MPS sau procesorul central. Există și exporturi Core ML.
Pentru fișiere video, configurația implicită procesează grupuri de 16 cadre cu suprapunere de patru. Un context mai lung poate stabiliza estimările, dar cere mai multe resurse. Dimensiunea fișierului descărcat nu spune câtă memorie va necesita procesarea.
Precizia în metri depinde de distanța focală, citită din metadate ori estimată. Documentația arată că o valoare focală cu 10% prea mare deplasează și adâncimile estimate cu 10%. Micșorarea imaginii poate pierde detalii și schimba scara estimării. Codul public nu include antrenarea sau evaluarea.
Pentru cercetători, pachetul oferă astfel o bază concretă pentru experimente cu imagini și video. Pentru o firmă care caută un component pentru o aplicație comercială, prima verificare trebuie să fie licența, înaintea integrării sau a comparațiilor de viteză.
Imagine principală: ilustrație generată cu AI pentru CyberJurnal, nu fotografie a unui experiment Apple.



