[AI Frontier Div.] AI Inference Platform & Operations Lead (10년 이상)

주요 업무

• 추론 플랫폼의 기술 방향과 서빙 엔진·오케스트레이션 선택, 요청 라우팅·오토스케일링·멀티 테넌트 운영 정책 등 로드맵과 운영 표준 수립
• 팀 채용·육성, AI Research·사내 IT 조직·사업 Squad 사이의 단일 접점으로 R&D 요구사항 정의와 연구 결과 검증·배포 루프 구축
• 모델 온보딩 — 성능·품질 회귀 테스트, 릴리즈 자동화, 카나리·롤백, API gateway 인증·쿼터·rate limit, 토큰 단위 관측성
• 워크로드별 SLO·error budget 설정과 온콜·장애 대응·포스트모템 운영 체계, GPU 스케줄링·쿼터·capacity planning과 단위 원가 관리
• continuous batching, prefix caching, KV cache offloading, Prefill-Decode 분리 등 서빙 기법 적용·튜닝과 에이전트·실시간 음성(STT–LLM–TTS) 워크로드 효율화

자격 요건

• 대규모 트래픽 서비스의 인프라·SRE·플랫폼 엔지니어링 10년 이상, critical-path 프로덕션 시스템 담당 팀 리딩 경험
• 서빙 엔진·오케스트레이션·스토리지 계층을 직접 비교·선택하고 성능·비용·운영 복잡도 트레이드오프를 설명할 수 있는 분
• 레이턴시·가용성·처리량·비용 지표를 정의하고 정량적 개선 성과를 낸 경험, SLO와 원가를 사업 조직·경영진과 협의하고 문서화하는 역량
• Kubernetes 등 대규모 분산 시스템의 배포·스케줄링·오토스케일링·관측성·온콜 체계 설계·운영, GPU 환경 프로덕션에 LLM·ML 서빙 또는 고연산·저지연 시스템 운영 경험
• capacity planning·쿼터·자원 격리 정책 운영 경험, Python 또는 Go 프로덕션 코드 작성과 대규모 오픈소스 코드 수정 경험

기술 · 도구 — 10개 전부

우대 사항

• vLLM, SGLang, TensorRT-LLM, Triton 등 LLM 서빙 엔진과 NVIDIA Dynamo, llm-d, KServe, Ray Serve 등 분산 추론 오케스트레이션 운영 경험
• 서빙 기능·양자화·speculative decoding을 회귀 테스트·카나리·롤백과 함께 프로덕션에 적용한 경험, 멀티노드 GPU(NVLink, InfiniBand/RoCE)와 GPU Operator·DCGM·MIG 운영 경험
• STT–LLM–TTS 실시간 음성 대화 또는 멀티모달 스트리밍 서빙, WebSocket·SSE 저지연 파이프라인 최적화, 에이전트 워크로드·LLM 게이트웨이 운영 경험
• 신설 팀·플랫폼 조직 구축, 외부 고객 대상 API(SLA·쿼터·과금) 운영, FinOps 등 GPU 비용 가시화 체계 구축 경험
• 대규모 오픈소스 포크·업스트림 동기화 또는 B2B 멀티테넌트 릴리즈 전략 운영, NPU 등 비-NVIDIA 가속기 서빙 경험

근무 조건

근무지

서울

경력

경력

마감

상시 채용 · 마감일 없음

처음 확인

2026-11-03