Fréquence cible
60 FPS
Minimum visé pour une expérience immersive stable
Reconstruction 3D / Réalité virtuelle / Infographie2026Projet de recherche
Reconstruction immersive par Gaussian Splatting
Un pipeline modulaire qui transforme des images réelles en environnements 3D optimisés pour la VR grâce au Gaussian Splatting.
3DGSCOLMAPLichtFeld StudioUnityOpenXRVR
Résultats
Indicateurs clés
Budget testé
~250K splats
Atteint avec une distribution spatiale homogène
Recommandation Meta
<150K splats
Base recommandée pour les casques VR autonomes
Échelle de rendu
0.7-0.8
Compromis utilisé entre qualité et performance
Aperçu technique
En bref
Objectif
Pipeline de capture immersive
Rôle
Recherche 3DGS et intégration XR
Durée
Projet Master GIG, 2026
Technologies
COLMAP, LichtFeld Studio, Unity, OpenXR
Données
Jeux de référence et captures réelles
Livrable
Scènes VR/MR interactives optimisées
Statut
Projet de recherche
Étude de cas
Vue d'ensemble
Problème
Les scènes 3DGS de haute qualité peuvent contenir trop de primitives, ne disposent pas de surfaces explicites pour les collisions et restent sensibles aux captures incomplètes, aux objets mobiles et aux matériaux réfléchissants.
Objectif
Créer un processus image-vers-XR reproductible, fidèle visuellement et compatible avec les limites de mémoire et de fréquence d'images des casques autonomes.
Méthode
Capturer des images nettes et complètes, reconstruire les caméras avec COLMAP, entraîner et nettoyer la scène dans LichtFeld Studio, puis l'intégrer dans Unity avec OpenXR et un maillage simplifié pour les collisions.
Résultat
Le pipeline permet une visualisation immersive stable à 60 FPS lorsque le nombre et la densité des splats sont maîtrisés. Les essais ont atteint environ 250 000 splats.
Base technique
Technologies utilisées
Reconstruction
COLMAPStructure-from-Motion3DGS
Optimisation
LichtFeld StudioPostShotLumaAI
Environnement XR
UnityOpenXRURPgsplatUnity
Géométrie
CloudCompareBlenderSplat2Mesh
Évolution
Chronologie du projet
2026
Évaluation des outils et données
Comparaison de COLMAP, LichtFeld Studio, PostShot et LumaAI.
2026
Pipeline image-vers-3DGS
Mise en place de la reconstruction, de l'entraînement et du nettoyage.
2026
Déploiement XR
Intégration dans Unity et évaluation du rendu et des interactions en VR.
Comparaison
Avant / Après
Before
After
Processus
Étapes du projet
01
Acquisition des images
Capturer des images HD nettes d'une scène statique sous de nombreux angles.
Entrée
02
Reconstruction des caméras
Utiliser COLMAP pour estimer les poses et créer le nuage de points initial.
SfM
03
Entraînement 3DGS
Générer la scène dans LichtFeld Studio et régler sa qualité et son nombre de splats.
Entraînement
04
Nettoyage et optimisation
Recadrer la scène, supprimer le bruit et ajuster la densité pour la VR.
Optimisation
05
Intégration Unity XR
Configurer OpenXR, le rendu single-pass, le FFR et le post-traitement.
Temps réel
06
Interaction et déploiement
Aligner un maillage de collision invisible puis déployer l'expérience en VR.
Sortie
01
Acquisition des images
Capturer des images HD nettes d'une scène statique sous de nombreux angles.
Entrée
02
Reconstruction des caméras
Utiliser COLMAP pour estimer les poses et créer le nuage de points initial.
SfM
03
Entraînement 3DGS
Générer la scène dans LichtFeld Studio et régler sa qualité et son nombre de splats.
Entraînement
04
Nettoyage et optimisation
Recadrer la scène, supprimer le bruit et ajuster la densité pour la VR.
Optimisation
05
Intégration Unity XR
Configurer OpenXR, le rendu single-pass, le FFR et le post-traitement.
Temps réel
06
Interaction et déploiement
Aligner un maillage de collision invisible puis déployer l'expérience en VR.
Sortie
Éléments du projet
Galerie média
image
Pièce reconstruite en VR
Vue d'ensemble de l'environnement Gaussian Splatting optimisé en fonctionnement dans l'application VR.
image
Navigation et contrôleurs VR
Vue en exécution avec les contrôleurs suivis et les rayons d'interaction dans la scène reconstruite.
image
Test d'interaction en temps réel
Test pratique pour valider la navigation, le pointage et les collisions dans Unity VR.
image
Détail de la reconstruction
Vue rapprochée montrant la conservation du mobilier, des murs et des détails architecturaux dans la reconstruction immersive.
Détails d'implémentation
Notes techniques
- La qualité des images d'entrée est déterminante : elles doivent être nettes, sans sujets mobiles et couvrir tous les points de vue.
- La configuration Unity testée utilise SH Order 0, Opacity Scale 0,7, Splat Scale 1 et un tri toutes les quatre images.
- Le rendu stéréo single-pass est essentiel pour éviter de calculer séparément l'image de chaque œil.
- Les surfaces réfléchissantes, les scènes dynamiques et les densités irrégulières restent les principales sources d'artefacts.
- Un maillage simplifié aligné sert uniquement aux collisions, tandis que les splats assurent le rendu visuel.
- Les réglages Global Volume permettent d'ajuster les couleurs sans modifier les données gaussiennes.
Documentation
Références
paper
3D Gaussian Splatting
Article fondateur du rendu temps réel par champs de radiance.
documentation
COLMAP
Logiciel de Structure-from-Motion utilisé pour estimer les caméras et reconstruire le nuage de points initial.
github
LichtFeld Studio
Application open source utilisée pour entraîner, optimiser, recadrer et nettoyer les scènes gaussiennes.
github
UnityGaussianSplatting
Implémentation Unity utilisée pour afficher et traiter les ressources 3D Gaussian Splatting.
Références
Ressources
Continuer à explorer
