[Internship Research Track 3] Driving VLM/VLA & End-to-End Autonomous Driving

[Mission]

Multi-camera video와 language, route, vehicle state 및 driving action을 통합하여 주변 상황을 이해하고, 판단 근거와 주행 의도를 설명하며, 최종적으로 안전한 trajectory 또는 control action을 생성하는 Driving VLM/VLA 및 End-to-End Driving Model을 연구합니다.

모델이 단순히 "무엇이 보이는가"를 설명하는 수준을 넘어 다음 질문에 답하고 행동할 수 있도록 만드는 것이 목표입니다.

🤖❓🔍

• 현재 주행 상황에서 가장 중요한 위험 요소는 무엇인가?
• 왜 감속·정지·양보·차선 변경이 필요한가?
• 주변 차량과 보행자의 의도는 무엇인가?
• 어떤 trajectory가 안전하고 효율적이며 승차감이 좋은가?
• 모델의 판단은 이미지의 어떤 영역과 관찰에 근거하는가?

[주요 연구 및 업무]

프로젝트에 따라 다음 연구 중 하나 이상을 수행합니다.

• Front·side·rear camera를 포함한 surround-view video 기반 Driving VLM Architecture 연구
• Video, language, vehicle state, navigation route, BEV feature 및 action을 통합하는 Multimodal Representation Learning
• Driving Scene Understanding, Visual Question Answering 및 2D·3D Visual Grounding 연구
• Traffic participant의 intent, interaction 및 causal relation을 이해하는 Driving Reasoning Model 개발
• Yield, stop, follow, merge, lane change 등의 high-level Meta-action Prediction
• Future ego trajectory, waypoint, path 또는 control token을 생성하는 VLA·End-to-End Driving Model 연구
• Driving reasoning, scene description, hazard, intent, action rationale 및 trajectory를 포함한 학습 데이터 설계
• Large VLM의 knowledge를 vehicle-deployable model로 전달하는 Teacher-Student 및 Knowledge Distillation 연구
• Supervised Fine-tuning, Imitation Learning, Reinforcement Learning 및 preference-based post-training 연구
• Modular Perception·Planning System과 Learned Driving Policy를 결합하는 Hybrid Architecture 연구
• 모델의 hallucination, grounding error, unsafe reasoning 및 action inconsistency를 검출하는 Safety Evaluation
• Open-loop metric과 closed-loop driving performance 간 상관관계 분석
• Simulation, replay 및 실제 주행 로그를 활용한 model failure analysis와 data flywheel 구축
• Embedded environment에서의 latency, memory 및 compute constraint를 고려한 Model Optimization

#Vision-LanguageModel #Vision-language-ActionModel #VideoVLM #EmbodiedAI #PhysicalAI #End-to-EndDriving #DrivingReasoning # VisualGrounding #TrajectoryPrediction #ImitationLearning #ReinforcementLearning #KnowledgeDistillation #Closed-loopEvaluation

🧪 이런 연구 경험이 있으시면 좋아요!

• LLM, VLM, Video VLM 또는 Multimodal Foundation Model 연구 경험
• Visual Grounding, Video Question Answering 또는 Multimodal Reasoning 경험
• Imitation Learning, Reinforcement Learning, Planning 또는 Control 경험
• Trajectory Generation, Action Prediction 또는 Embodied AI 연구 경험