자체 데이터 제품 Data Alchemy Studio의 수집·변환·적재·카탈로그 기능을 오픈소스 연동으로 구현할 데이터 엔지니어 (경력 무관)
주요 업무
- SeaTunnel 기반 배치 수집과 DB·파일 커넥터 구현
- Spark로 변환 로직과 개인정보 마스킹 처리 구현, Apache Iceberg 적재 및 Polaris 카탈로그 등록 구현
- Airflow 일정 기반 파이프라인 실행 및 Kubernetes 환경 실행 자원 분리
- OpenLineage 데이터 흐름 기록, Great Expectations 품질 규칙 적용
- 화면에서 정의한 파이프라인을 실행 코드·설정 파일로 바꾸는 기능 및 실행 모니터링·역할 기반 권한(Keycloak, OPA) 연동 구현
자격 요건
- Python과 SQL로 데이터 파이프라인을 직접 구현하고 운영한 경험
- Airflow로 배치 워크플로를 설계하고 장애 대응까지 해 본 경험
- Spark로 대용량 변환 작업을 작성하고 성능 문제를 다뤄 본 경험
- Docker와 Kubernetes 환경에 데이터 서비스를 배포해 본 경험
- 원천 시스템 데이터 커넥터를 만들거나 고쳐 본 경험
우대 사항
- 제조업 MES, ERP, SCM 데이터 연결 기능 개발 경험
- 원천 스키마 변경에도 파이프라인이 중단되지 않도록 대응해 본 경험
- Apache Iceberg 등 테이블 포맷으로 스키마 진화, 파티셔닝, 컴팩션을 다뤄 본 경험
- DataHub, OpenMetadata 등 데이터 카탈로그나 OpenLineage 연동, Great Expectations 등 데이터 품질 규칙 운영 경험
- 폐쇄망이나 온프레미스 환경에 오픈소스를 설치하고 운영해 본 경험
근무 조건
- 근무지
- 제공정보 없음
- 경력
- 무관
- 마감
- 상시 채용 · 마감일 없음
- 처음 확인
- 2026-11-13
이 요약은 회사 공고를 읽고 추린 것입니다. 지원 전에 회사 공고에서 원문을 확인하세요.
이 공고 점검 이력
11.13처음 확인
11.13 01:59확인 · 살아 있음