AdamSLAM est un projet, qui concerne la construction d’un modèle 3D d’une scène réelle à partir de photos prises de la scène en question.
3D Gaussian Splatting (3DGS) est une percée majeure dans ce domaine. Cet algorithme utilise les photos prises de la scène, ainsi que les paramètres de caméra (focal de la caméra, et sa position à chaque prise de photo). L’identification des paramètres par Structure-from-motion (SfM) s’appelle la calibration.
La qualité de la calibration des caméras est d’une importance majeure pour évaluer les progrès dans la synthèse de nouvelles vues, une erreur d’1 pixel sur la calibration ayant un impact significatif sur la qualité de reconstruction. Etant donné qu’il n’y a pas de vérité terrain pour les scènes réelles, la qualité de la calibration est évaluée par la qualité de la synthèse de nouvelles vues. Ce projet propose d’utiliser la génération de nouvelles vues à partir d’un modèle 3DGS pour affiner la calibration par rétropropagation de la perte de couleur. L’affinage de la calibration à lui seul apporte une amélioration moyenne de 0,4 dB PSNR sur le jeu de données utilisé comme référence par 3DGS. Ce processus d’affinage peut être jugé trop long en fonction de la criticité du temps d’entraînement, mais pour la calibration de scènes de référence, telles que Mip-nerf 360, l’enjeu de la qualité des nouvelles vues est primordial.
Le projet se base sur un fork et est disponible sur GitHub.