Python으로 네이버 실시간 검색어 크롤링

Selenium을 이용하지 않고 requests와 bs4로 '네이버 실시간 검색어' 목록을 크롤링 해보자.

import requests
from bs4 import BeautifulSoup
 
response = requests.get('http://naver.com')        # 네이버 
dom = BeautifulSoup(response.text, 'html.parser')  # 파싱해서 DOM객체 
rank_table_element = dom.select_one("#realrank")   # 실시간 검색어 테이블 엘리먼트 획득 
rank_elements = rank_table_element.select('li a')  # row를 획득 
 
for i in rank_elements:
    # 
    # rank_element 하나는 bs4.element.tag객체,  attrs는 
    # 태그의 attribute(속성)을 dictionary 형태로 가져온다. 
    # 
    print(i.attrs['title'])