0. 크롤링을 위한 사이트 분석 Selenium을 사용하기 위한 작업과 Slack bot 설정을 모두 마쳤으니 이제는 크롤링을 할 대상을 파악할 단계입니다. IP정보를 크롤링 해올 C-TAS 홈페이지는 로그인이 필요하기 때문에 먼저 로그인 페이지에 대한 분석을 먼저 시작합니다. 개발자 도구에서 확인해보니 "idPWWrap"이라는 div에서 userId와 userPassword에 각각 아이디와 패스워드를 입력받고 있습니다. request 요청에서도 주의깊게 살펴볼 부분은 없어보이기 때문에 간단한 파이썬 코드를 작성해 로그인 테스트를 해봅니다. 1. 로그인 테스트 다음과 같은 파이썬 코드를 실행하면 안타깝게도 유효하지 않은 접근으로 차단이 되는 것을 확인할 수 있습니다. import requests from..
0. Slack Bot slack-sdk를 활용해 위협 IP를 슬랙 메세지로 발송하기 위해서는 파이썬의 요청을 수행하기 위한 전용 bot이 필요합니다. 이를 위해 Slack API 홈페이지에서 bot을 생성하고 적절한 권한을 부여해야 합니다. 1. Slack Bot 생성 Slack API 홈페이지에서 "Create an app"을 클릭하고, 곧바로 뜨는 팝업창에서 "From scratch"를 클릭합니다. 뒤이어 나오는 화면에서 bot의 이름과 bot을 사용할 슬랙 워크스페이스를 지정하고 "Create App"을 클릭합니다. 참고로 bot의 이름은 언제든 수정할 수 있습니다. 이후 "Bots"을 클릭합니다. 2. Bot 권한 부여 bot 생성 후 "OAuth & Permissions" 메뉴의 "Scopes..
0. Selenium Selenium은 파싱 또는 크롤링을 막기 위한 수단이 적용된 사이트에서 간단하게 스크래핑 할 수 있도록 도와주는 도구 입니다. 사용자가 정의한 행위를 WebDriver API를 사용자 대신 수행하는 일종의 웹 브라우저라고 이해하면 좋을 것 같습니다. 1. Chrome 브라우저 버전 확인 Selenium이 사용 할 브라우저의 드라이버를 다운받아야 하는데요. 이를 위해 현재 내 PC에 설치된 Chrome의 버전을 확인하고 이에 맞는 드라이버를 설치해야 합니다. 이를 위해 Chrome을 실행한 후 오른쪽 상단 점 3개 → 도움말 → Chrome 정보에서 아래와 같은 형식의 빌드 버전을 확인합니다. 111.0.* 112.0.* 113.0.* 2. Chrome 드라이버 다운로드 해당 버전에..
