Continuous Growth

웹사이트 크롤링하다 인코딩 매번 달라서 짜증나서 만든 encoding_dictionary 참고 사이트: https://docs.python.org/2.4/lib/standard-encodings.html ● 사용법 아래 dictionary 선언을 복사해서 적당히 변수명붙여주세요. requests 패키지를 사용했을때, 서버로부터 response 받은것을 response.encoding 을 입력하면 string으로 해당 response의 인코딩 정보가 나옵니다. 이것을 dictionary 키값으로 보내 결과를 받으면 됩니다. 저같은경우, pandas로 테이블 만들때나, beautifulsoup 객체 변환해줄때 텍스트 인코딩에 넣어버립니다. $ response.text().encode(encoding_map[..

wand_image [Python] wand 패키지 설치 후 import시, TypeError 해결법 문제 상황 OCR 코드작성을 위해 ImageMagick를 [다운로드] (※전 ImageMagick-6.9.8-8-Q8-x64-dll.exe를 다운받았습니다.) 설치 시, [링크] 를 참고해주세요. 추가 설치 및 환경변수 설정 완료. OS: Windows 10 PYTHON_VER : 2.7.13 __from wand.image import Image__ #.... TypeError: LoadLibrary() argument 1 must be string, not unicode 위와 같은 에러 발생 시 해결책 해결책 참고한 링크 : [https://stackoverflow.com/questions/42660..

Python 으로 iFrame 크롤링하기 2017.05.22 대상 사이트 : http://www.krj.co.kr 문제 상황 PDF 자동 다운로드 스크립트 작성을 위해 로그인을 해야하는 상황. 사이트가 iFrame으로 작성되어 ID / PW 를 작성하는 Elements가 인식되지않음. 해결책 대상 사이트의 페이지 소스를 보면 위의 HTML 처럼, iFrame구조로 되어있다. 중간을 보면 name="krjtop" 과 name="krjmain" 이 있는데, 이를 이용해보자. 문제 상황은 로그인을 하기 위함이므로, name="krjmain" 으로 진입한다. # Selenium으로 iFrame 접근 from selenium import webdriver driver = webdriver.Firefox() # F..

mode Selenium을 이용하지 않고 requests와 bs4로 '네이버 실시간 검색어' 목록을 크롤링 해보자. import requestsfrom bs4 import BeautifulSoup response = requests.get('http://naver.com') # 네이버 dom = BeautifulSoup(response.text, 'html.parser') # 파싱해서 DOM객체 rank_table_element = dom.select_one("#realrank") # 실시간 검색어 테이블 엘리먼트 획득 rank_elements = rank_table_element.select('li a') # row를 획득 for i in rank_elements: # # rank_element 하나는..

Python에서 사용한 모듈 버전과 OS버전 기입하기 모듈버젼 출력하기 import pip version_info = [ pkg.key + ':' + pkg.version for pkg in pip.get_installed_distributions() if pkg.key in ['matplotlib', 'scipy', 'numpy'] ] print(version_info)