[Internship Research Track 1] 3D/4D Generative World Model

[Mission]

Multi-camera video, vehicle state, ego action 및 scene condition을 바탕으로 실제 주행 환경을 3차원, 4차원으로 이해하고, 미래 장면을 예측 및 생성할 수 있는 Driving World Model을 연구합니다.

단순히 현실적인 주행 영상을 생성하는 것을 넘어 다음과 같은 모델로 발전시키는 것을 목표로 합니다.

• 3D geometry와 dynamic object motion을 일관되게 유지하는 Multi-view World Model
• Ego action과 surrounding-agent behavior에 따라 미래가 달라지는 Action-conditioned Model
• 실제 주행 장면을 원하는 조건으로 변경할 수 있는 Controllable·Counterfactual Simulator
• Driving Policy와 상호작용하며 미래 sensor observation을 생성하는 Closed-loop World Model
• Perception·Planning·Safety Evaluation에 활용 가능한 산업 수준의 Generative Simulation Model

[주요 연구 및 업무]

프로젝트에 따라 다음 연구 중 하나 이상을 수행합니다.

• Multi-camera driving video를 위한 Video Tokenizer, VAE, Latent Representation 및 World Model Architecture 연구
• Video Diffusion, Autoregressive Transformer, Flow Matching 등 Generative Architecture 설계 및 학습
• Camera image, vehicle dynamics, ego trajectory, CAN·IMU·GNSS, text prompt, road structure 및 agent state를 활용한 Conditional Generation 연구
• Multi-camera 간 spatial consistency와 장시간 temporal consistency를 유지하는 3D-aware Video Generation 연구
• Depth, optical flow, epipolar geometry, camera calibration 및 ego-motion을 활용한 Geometry-constrained Learning
• Novel-view Synthesis, Neural Rendering, NeRF 또는 Gaussian Splatting 기반 scene reconstruction 연구
• Dynamic agent, occlusion, disocclusion, reflection, illumination change 및 adverse weather에 대한 강건성 연구
• 실제 주행 장면의 ego trajectory, agent behavior, weather, road configuration 등을 변경하는 Counterfactual Scenario Generation
• 생성된 sensor observation을 Driving Model에 다시 입력하는 Closed-loop Simulation 연구
• Camera를 중심으로 필요 시 LiDAR·Radar 등 복수 sensor modality를 일관되게 생성하는 Multimodal World Model 연구
• Visual fidelity뿐 아니라 geometry, behavior 및 downstream planning 성능을 함께 평가하는 Evaluation Protocol 개발

#GenerativeWorldModel #VideoDiffusion #AutoregressiveVideoModel #FlowMatching #VideoTokenizer #VAE #NeRF #GaussianSplatting #Novel-viewSynthesis #Multi-viewGeometry #NeuralRendering #Closed-loopSimulation #CounterfactualGeneration

🧪 이런 연구 경험이 있으시면 좋아요!

• Video Generation, Diffusion, Flow Matching 또는 Autoregressive Model 연구 경험
• NeRF, Gaussian Splatting, Novel-view Synthesis 또는 Neural Rendering 경험
• Camera geometry, depth, optical flow, ego-motion 및 3D reconstruction 경험
• Multi-camera 또는 long-sequence video training 경험