About the Team & Mission

LLM Engineer (Optimization)는 대규모 언어 모델(LLM)의 추론 성능(Inference Performance)을 극대화하여 실제 서비스 환경에 최적화된 AI 시스템을 개발합니다.

서버(GPU Cluster)부터 Edge 및 On-device 환경까지 다양한 하드웨어에서 최고의 성능과 효율을 달성할 수 있도록 Inference Engine, Runtime, Compiler 및 Model Optimization 기술을 연구·개발합니다. 최신 LLM Serving 기술과 GPU/Accelerator 최적화를 활용하여 고성능·저지연·저비용 AI 서비스를 구현하는 핵심 역할을 수행합니다.

Responsibilities

LLM Inference Optimization
- 대규모 언어 모델(LLM)의 추론 성능(Latency, Throughput, Memory Efficiency)을 최적화합니다.
- 다양한 모델 구조 및 추론 환경에 맞는 최적화 기법을 연구하고 적용합니다.
- Long Context, Multi-turn Conversation 등 실제 서비스 환경에서의 성능을 개선합니다.
Inference Engine 및 Runtime 개발
- GPU 및 Accelerator 기반 LLM Inference Engine을 개발하고 최적화합니다.
- vLLM, TensorRT-LLM, SGLang, llama.cpp, ONNX Runtime, MLX 등 최신 Inference Framework를 활용하거나 개선합니다.
- Speculative Decoding, Prefill-Decode Disaggregation 등 최신 Serving 기술을 적용합니다.
Model Compression 및 Compiler Optimization
- Quantization(MXFP8, NVFP4, AWQ, GPTQ 등) Pruning, Distillation 등 모델 경량화 기법을 연구하고 적용합니다.
- CUDA, Triton, TensorRT, TVM, MLIR 등 Compiler 및 Kernel Optimization을 활용하여 추론 성능을 향상합니다.
- GPU Memory 및 Kernel 효율을 분석하고 최적화합니다.
Edge AI 및 On-device Optimization
- Mobile, Embedded, Edge Device 환경에서 LLM을 효율적으로 실행하기 위한 최적화 기술을 개발합니다.
- CPU, GPU, NPU 등 다양한 하드웨어 아키텍처에 맞는 최적화 전략을 수립합니다.
- 제한된 리소스 환경에서도 높은 성능과 낮은 전력 소비를 달성할 수 있도록 최적화합니다.
Performance Analysis 및 Benchmark
- 다양한 하드웨어 및 Inference Backend의 성능을 분석하고 Benchmark를 수행합니다.
- NVIDIA Nsight Systems, Nsight Compute, py-spy 등의 Profiling Tool을 활용하여 GPU 및 Runtime 병목을 분석하고 지속적으로 추론 성능을 개선합니다.
- 주어진 Prompt 및 서비스 요구사항에 맞춰 모델 품질, 추론 성능(Latency/Throughput), 비용 간의 Trade-off를 최적화하고, 이에 적합한 Serving Architecture를 설계합니다.

Qualifications

ILLM, Machine Learning Infrastructure 또는 Inference Optimization 관련 경력 3년 이상
LLM Inference Engine 또는 AI Runtime 개발 경험
GPU Architecture, CUDA Programming 또는 병렬 컴퓨팅에 대한 이해
Quantization, Model Compression, Compiler Optimization 등 모델 최적화 기술에 대한 이해
PyTorch, ONNX, TensorRT 등 딥러닝 프레임워크 활용 경험
Python 및 C/C++ 중 하나 이상의 언어에 능숙하며, 소프트웨어 엔지니어링 역량을 보유하신 분
성능 분석 및 문제 해결 능력과 협업 역량을 갖추신 분

Preferred Qualifications

vLLM, TensorRT-LLM, SGLang, llama.cpp, MLX, ONNX Runtime 등 LLM Serving Framework 활용 또는 개발 경험
CUDA, Triton Kernel 또는 Custom Operator 개발 경험
Speculative Decoding, Prefill-Decode Disaggregation, KV Cache Compression, Expert Parallelism(MoE) 등 최신 LLM Inference Optimization 및 Serving 기술 경험
NVIDIA GPU(H100, B200 등), AMD GPU 또는 다양한 AI Accelerator 최적화 경험
Edge AI 및 On-device LLM 최적화 경험(Orin, Thor, Qualcomm, Apple Silicon 등)
Kubernetes 기반 AI Serving 또는 대규모 GPU Cluster 운영 경험
LLM Fine-tuning 및 Distributed Training에 대한 이해
AI Systems, ML Systems 또는 LLM Infrastructure 관련 오픈소스 기여 경험
AI/ML Systems 분야의 우수 학회(NeurIPS, ICML, ICLR, MLSys, OSDI, NSDI, ASPLOS 등) 논문 발표 또는 이에 준하는 연구 경험

Interview Process

서류 전형
코딩·과제 테스트
1차 면접 (화상, 1시간 내외)
2차 면접 (대면 혹은 화상, 3시간 내외)
처우 협의·입사

Additional Information

전형 절차는 일정 및 진행 상황에 따라 일부 변경될 수 있으며, 각 전형 결과는 등록하신 이메일로 개별 안내드립니다.
지원서 제출 시 주민등록번호, 가족관계, 혼인 여부, 연봉, 사진, 신체조건, 출신 지역 등 채용절차법상 요구 금지된 정보는 제외 부탁드립니다.
지원서 접수 중 오류가 발생하거나 기타 문의 사항이 있을 경우, recruit@42dot.ai로 문의해 주시기 바랍니다.
국가보훈대상자 및 취업보호 대상자는 관계법령에 따라 우대합니다.
장애인 고용 촉진 및 직업재활법에 따라 장애인 등록증 소지자를 우대합니다.
42dot은 의뢰하지 않은 서치펌의 이력서를 받지 않으며, 요청하지 않은 이력서에 대해 수수료를 지불하지 않습니다.
지원서 내용 중 허위 사실이 발견될 경우, 입사가 취소될 수 있습니다.
인터뷰 프로세스 종료 후 지원자의 동의하에 평판조회가 진행될 수 있습니다.
3개월의 수습기간이 적용될 수 있습니다.