프로젝트 배경
1. 무중단 대량 수집
수천 개 데이터도 안정적으로 수집
페이지별 세션 재시작으로 봇 감지 회피
체크포인트로 언제든 재개 가능
2. 데이터 무결성 보장
지번 주소와 도로명 주소 모두 수집
전화번호 10회 재시도로 누락 최소화
실시간 검증으로 유효한 데이터만 저장
3. 사용자 친화적 인터페이스
GUI 기반으로 누구나 쉽게 사용
일시정지/재개 기능
진행 상황 실시간 모니터링
4. 유연한 데이터 관리
Excel 파일로 즉시 활용 가능
체크포인트별 백업 파일 제공
수집 중 언제든 수동 저장 가능
수천 개 데이터도 안정적으로 수집
페이지별 세션 재시작으로 봇 감지 회피
체크포인트로 언제든 재개 가능
2. 데이터 무결성 보장
지번 주소와 도로명 주소 모두 수집
전화번호 10회 재시도로 누락 최소화
실시간 검증으로 유효한 데이터만 저장
3. 사용자 친화적 인터페이스
GUI 기반으로 누구나 쉽게 사용
일시정지/재개 기능
진행 상황 실시간 모니터링
4. 유연한 데이터 관리
Excel 파일로 즉시 활용 가능
체크포인트별 백업 파일 제공
수집 중 언제든 수동 저장 가능
프로젝트 성과
직접 검색하여 엑셀로 정리하던 비효율적 업무환경에서 자동화를 통한 효율적 업무 환경 구축
몇시간씩 직접 검색하여 정리하던 업무 환경에서 벗어나 이젠 프로그램을 통해 훨씬 빠르게 정보들을 수집, 정리할 수 있게 되었으며, 프로그램을 실행하는 도중 다른 업무도 함께 볼 수 있어 효율적 업무 환경을 구축함
핵심 기능
1. 페이지 단위 세션 관리
한 페이지(최대 70개)를 완료할 때마다 브라우저를 재시작
네이버 봇 감지를 효과적으로 회피
안정적인 대량 데이터 수집 가능
네이버 봇 감지를 효과적으로 회피
안정적인 대량 데이터 수집 가능
2. 체크포인트 시스템
100개마다 자동 체크포인트 저장
수동 체크포인트 저장 기능
중단된 작업을 이어서 진행 가능
JSON과 Excel 형식으로 이중 백업
수동 체크포인트 저장 기능
중단된 작업을 이어서 진행 가능
JSON과 Excel 형식으로 이중 백업
3. 강화된 스크롤 기능
터보 스크롤로 70개 항목 모두 확실히 로드
점진적 스크롤 전략으로 동적 로딩 대응
중간 영역 재확인으로 누락 방지
점진적 스크롤 전략으로 동적 로딩 대응
중간 영역 재확인으로 누락 방지
진행 단계
기획 및 요구사항 정리
2025.07.
현재 갖고 있는 문제점을 파악해 효율적으로 업무를 자동화 할 수 있도록 방향성 확립
프로그램 제작 방향성 확립
2025.07.
어떤 기능과 디테일이 있었으면 하는지 충분한 대화를 통해 방향성 확립
본격적 개발 및 테스트
2025.07.
Python 을 이용한 직접적 개발 및 테스트
여러 환경에서의 프로그램 테스트 및 런칭
2025.07.
여러 사용자의 환경에서도 예외가 발생할 수 있음을 인지하여 여러 환경에서 프로그램 테스트
프로젝트 상세
1) 포트폴리오 소개 : 지도 검색 결과를 자동으로 수집하는 강력하고 안정적인 크롤링 프로그램입니다. 프로그램 내 GUI에서 원하시는 검색어를 입력하시면, 이에 대한 정보들을 스크래핑 해 줍니다.
2) 작업 범위 : 개발에 참여한 범위 및 지원환경
MAC OS 환경에서 Pyhton을 이용한 Selenium과 BeautifulSoup을 이용하였습니다
3) 주요 업무 : 해당 서비스의 주요 기능 및 주요 페이지
클릭해야 나오는 JS기반 웹페이지에서 정보들을 수집해 원하는 출력물로 가공하여 분석하기 쉽도록 도와줍니다
4) 주안점 : 개발 시 중점이 되었던 사항
법적으로 문제가 있는 프로그램인가에 대한 고찰
2) 작업 범위 : 개발에 참여한 범위 및 지원환경
MAC OS 환경에서 Pyhton을 이용한 Selenium과 BeautifulSoup을 이용하였습니다
3) 주요 업무 : 해당 서비스의 주요 기능 및 주요 페이지
클릭해야 나오는 JS기반 웹페이지에서 정보들을 수집해 원하는 출력물로 가공하여 분석하기 쉽도록 도와줍니다
4) 주안점 : 개발 시 중점이 되었던 사항
법적으로 문제가 있는 프로그램인가에 대한 고찰

플레이스에서 검색어를 입력받아 정보들을 가져오는 사진입니다.