Skip to content

Instantly share code, notes, and snippets.

Show Gist options
  • Select an option

  • Save axbycc-mark/3a6d00e8bf8cce5bc5466d886947bc78 to your computer and use it in GitHub Desktop.

Select an option

Save axbycc-mark/3a6d00e8bf8cce5bc5466d886947bc78 to your computer and use it in GitHub Desktop.
Realtime Gaussian Splatting Flow
time (30 FPS) (30FPS) (90FPS) │ (90FPS)
RGBD1 RGBD2 RGBD3 RGBD4 │ Neural Net │ Gsplat │ VR / Screen Camera
│ ────────────────────────────┼─────────────────────────────────────┼─────────────────────────┼───────────────────
│ │ │ │
│ Frame Frame │ │ │
│ │ Frame │ │ . │ │ .
│ │ │ │ │ . │ . │ .
│ │ │ │ │ . │ . │ .
│ │ │ │ Frame │ . │ . │ .
│ │ │ │ │ │ . │ . │ .
│ │ │ │ │ │ │ . │ .
│ └───────x──────x──────x───┼──►┌──────────────────────┐ │ . │ .
│ │ │ Generate Splats Begin│ │ . │ .
│ │ │ │ │ . │ .
│ │ │ │ │ . │ .
▼ Frame │ │ │ │ │ .
│ Frame │ │ │ │ │
Frame │ │ │ │ │ │ │
│ │ │ │ │ │ Splats0 │ │
│ │ Frame │ │ │ Generate Splats End ├──────────┼─────►┌───────────────┐◄─┼─Head/Camera Movement
│ │ │ │ │ └──────────────────────┘ │ │ gsplat Splats0│ │
│ │ │ │ │ │ └───────────────┘ │
│ │ │ │ │ │ ┌───────────────┐◄─┼─Head/Camera Movement
└──────x──────x──────x───┼──►┌──────────────────────┐ │ │ gsplat Splats0│ │
│ │ Generate Splats Begin│ │ └───────────────┘ │
│ │ │ │ ┌───────────────┐◄─┼─Head/Camera Movement
│ │ │ │ │ gsplat Splats0│ │
│ │ │ │ └───────────────┘ │
│ │ │ │ ┌───────────────┐◄─┼─Head/Camera Movement
. │ │ │ │ │ gsplat Splats0│ │
. │ │ │ Splats1 │ └───────────────┘ │
. │ │ Generate Splats End ├──────────┼─────►┌───────────────┐◄─┼─Head/Camera Movement
. │ └──────────────────────┘ │ │ gsplRt Splats1│ │
. │ │ └───────────────┘ │
. │ . │ ┌───────────────┐◄─┼─Head/Camera Movement
. │ . │ │ gsplat Splats1│ │
. │ . │ └───────────────┘ │
. │ . │ ┌───────────────┐◄─┼─Head/Camera Movement
. │ . │ │ gsplat Splats1│ │
. │ . │ └───────────────┘ │
. │ . │ ┌───────────────┐◄─┼─Head/Camera Movement
. │ . │ │ gsplat Splats1│ │
. │ . │ └───────────────┘ │
. │ . │ │ .
. │ . │ . │ .
. │ . │ . │ .
│ . │ . │ .
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment