Continuous Growth

Python 으로 iFrame 크롤링하기 2017.05.22 대상 사이트 : http://www.krj.co.kr 문제 상황 PDF 자동 다운로드 스크립트 작성을 위해 로그인을 해야하는 상황. 사이트가 iFrame으로 작성되어 ID / PW 를 작성하는 Elements가 인식되지않음. 해결책 대상 사이트의 페이지 소스를 보면 위의 HTML 처럼, iFrame구조로 되어있다. 중간을 보면 name="krjtop" 과 name="krjmain" 이 있는데, 이를 이용해보자. 문제 상황은 로그인을 하기 위함이므로, name="krjmain" 으로 진입한다. # Selenium으로 iFrame 접근 from selenium import webdriver driver = webdriver.Firefox() # F..

mode Selenium을 이용하지 않고 requests와 bs4로 '네이버 실시간 검색어' 목록을 크롤링 해보자. import requestsfrom bs4 import BeautifulSoup response = requests.get('http://naver.com') # 네이버 dom = BeautifulSoup(response.text, 'html.parser') # 파싱해서 DOM객체 rank_table_element = dom.select_one("#realrank") # 실시간 검색어 테이블 엘리먼트 획득 rank_elements = rank_table_element.select('li a') # row를 획득 for i in rank_elements: # # rank_element 하나는..