[Internship Research Track 2] 4D Occupancy & Scene Flow Network

[Mission]

Multi-camera temporal video로부터 차량 주변의 3D 공간을 직접 추론하고, 현재의 공간 점유 상태뿐 아니라 물체와 공간이 미래에 어떻게 변화할지 예측하는 Occupancy & Flow Network를 연구합니다.

Object Detection처럼 사전에 정의된 물체 Category만 인식하는데 그치지 않고, 차량 주변의 모든 공간을 occupied, free, unknown 및 semantic state로 표현함으로써 미등록 물체, 불규칙한 장애물, 도로 구조와 동적 객체를 통합적으로 이해하는 것이 목표입니다.

[주요 연구 및 업무]

프로젝트에 따라 다음 연구 중 하나 이상을 수행합니다.

• Multi-camera temporal image를 이용한 3D·4D Semantic Occupancy Prediction Model 설계
• BEV, voxel, tri-plane, sparse voxel 또는 implicit neural field 기반 3D Scene Representation 연구
• Static structure와 dynamic object를 통합적으로 표현하는 Occupancy Architecture 개발
• Temporal feature fusion과 ego-motion compensation을 활용한 장시간 4D Scene Understanding
• 현재 Occupancy로부터 미래 Occupancy, Scene Flow, Velocity Field 및 Motion Uncertainty를 예측하는 모델 연구
• Object-centric Representation과 Occupancy-centric Representation을 결합하는 Hybrid Architecture 연구
• Camera, LiDAR multi-sweep, 3D box, depth, ego-motion 및 map information을 활용한 Occupancy Ground Truth 생성
• Self-supervised, weakly supervised, pseudo-labeling 및 teacher-student learning을 이용한 Label Cost 절감 연구
• Occlusion 영역, blind spot 및 unobserved space에 대한 uncertainty-aware prediction 연구
• Long-range·small-object·VRU·irregular obstacle에 대한 Occupancy 품질 개선
• Occupancy와 Flow 결과를 Planning Cost Map, Collision Checking 및 Free-space Reasoning에 연결하는 Interface 연구
• mIoU, F-score, precision·recall, flow EPE, temporal warping consistency, calibration error 및 planning impact 기반 평가
• 실제 차량 적용을 고려한 network compression, knowledge distillation, mixed precision 및 runtime optimization

#3D/4DOccupancy #SemanticOccupancy #SceneFlow #FutureOccupancyPrediction #BEVRepresentation #SparseVoxel #ImplicitNeuralField #TemporalFusion #Multi-cameraPerception # UncertaintyEstimation #Planning-aware #Perception

🧪 이런 연구 경험이 있으시면 좋아요!

• BEV Perception, 3D Detection, Semantic Segmentation 또는 Occupancy Prediction 경험
• Scene Flow, Motion Prediction, Future Prediction 또는 Tracking 경험
• LiDAR·Camera Fusion 및 3D annotation·pseudo-label generation 경험
• Autonomous Driving Dataset을 활용한 연구 경험