- 대용량 웹데이터 크롤링 환경 개발

- 수집시스템 모니터링-최적화-정기점검

- 대용량 데이터 관리 (RDBMS 등)

- 크롤링용 서버 및 DBMS 관리

- 대학교졸업(4년)이상, 컴퓨터공학 등 관련학과 전공자

- C/C++기반 개발 실무 경력 2년 이상 보유자

- Python기반 개발 실무 경력 2년 이상 보유자

- Linux 환경 개발 실무 경력 2년 이상

- 대용량 웹 데이터 수집(크롤링) 시스템 개발 경험

- 대용량 웹 크롤링 시스템 설계 및 아키텍처 이해 능력

- 비동기 처리, 멀티쓰레딩 기반 데이터 수집 최적화 역량

- HTTP/HTTPS 프로토콜 및 웹 동작 구조(HTML, DOM, Ajax 등)에 대한 이해

- 크롤링 차단 대응(봇 탐지, CAPTCHA, Rate Limit 등) 및 우회 전략 경험

- 수집 데이터 정합성 검증 및 품질 관리 능력

- 장애 대응 및 트러블슈팅 능력

- Linux 기반 서버 환경 운영 및 성능 튜닝 경험

- RDBMS 및 대용량 데이터 처리/쿼리 최적화 역량

- 2년 이상 웹 데이터 수집/가공 및 대용량 크롤링 시스템 운영 경험

- 크롤링 차단 대응(봇 탐지, CAPTCHA, IP 차단 등) 및 우회 전략 설계 경험

- 대규모 트래픽 환경에서 Scale-up/Scale-out 아키텍처 설계 및 운영 경험

- 멀티쓰레딩, 비동기 처리, 분산 처리 시스템 개발 경험

- 크롤링 시스템 모니터링 및 장애 대응 자동화 구축 경험 (알림, 로그 수집 등)

- Linux 서버 운영 경험

• 서류 → 코딩테스트 → 실무진 면접 → 임원 면접 → 처우 협의 및 최종 합격