Continuous Growth

01_hello_parallel [Python] subprocess를 사용한 병렬 프로그래밍 - (1) 목표 한 task의 프로세스를 복수로 실행해야하는 상황에서 병렬로 실행하여 실행시간을 단축해보자. 설정 subprocess를 사용해 병렬로 프로세스를 처리하는 원리를 익히기 위해 아주 간단한 프로세스를 구현 argument로 숫자를 받아 n번째 프로세스인지 표시하고 5초 대기 후, hello n subprocess를 출력하는 프로세스 구현 목표 프로세스 적당한 파일에 이 코드를 작성해주세요. '''target_process.py'''import sysimport time if __name__ == "__main__": print('{} process...'.format(sys.argv[1])) # n번..

웹사이트 크롤링하다 인코딩 매번 달라서 짜증나서 만든 encoding_dictionary 참고 사이트: https://docs.python.org/2.4/lib/standard-encodings.html ● 사용법 아래 dictionary 선언을 복사해서 적당히 변수명붙여주세요. requests 패키지를 사용했을때, 서버로부터 response 받은것을 response.encoding 을 입력하면 string으로 해당 response의 인코딩 정보가 나옵니다. 이것을 dictionary 키값으로 보내 결과를 받으면 됩니다. 저같은경우, pandas로 테이블 만들때나, beautifulsoup 객체 변환해줄때 텍스트 인코딩에 넣어버립니다. $ response.text().encode(encoding_map[..

00_angular_start Angular2 시작하기 필요사항 요약 Node.js 윈도우 설치하러가기 맥 $ brew install node NPM : Node.js 설치하면 있음 typescript : $ npm install -g typescript angualr_cli : $ npm i @angular/cli -g 확인하기 Nodejs $ node 입력 시, 화면출력 NPM $ npm 입력 시, 화면출력 typescript $ tsc --version 입력 시, 버전출력 angular_cli $ ng --version 입력 시, 버전출력 본격적 시작!! 프로젝트 생성하기 $ ng new "APP_NAME" 생성되는 설정파일 및 폴더 설명 파일 및 폴더설명 e2e 폴더End-to-End, protr..

wand_image [Python] wand 패키지 설치 후 import시, TypeError 해결법 문제 상황 OCR 코드작성을 위해 ImageMagick를 [다운로드] (※전 ImageMagick-6.9.8-8-Q8-x64-dll.exe를 다운받았습니다.) 설치 시, [링크] 를 참고해주세요. 추가 설치 및 환경변수 설정 완료. OS: Windows 10 PYTHON_VER : 2.7.13 __from wand.image import Image__ #.... TypeError: LoadLibrary() argument 1 must be string, not unicode 위와 같은 에러 발생 시 해결책 해결책 참고한 링크 : [https://stackoverflow.com/questions/42660..

Python 으로 iFrame 크롤링하기 2017.05.22 대상 사이트 : http://www.krj.co.kr 문제 상황 PDF 자동 다운로드 스크립트 작성을 위해 로그인을 해야하는 상황. 사이트가 iFrame으로 작성되어 ID / PW 를 작성하는 Elements가 인식되지않음. 해결책 대상 사이트의 페이지 소스를 보면 위의 HTML 처럼, iFrame구조로 되어있다. 중간을 보면 name="krjtop" 과 name="krjmain" 이 있는데, 이를 이용해보자. 문제 상황은 로그인을 하기 위함이므로, name="krjmain" 으로 진입한다. # Selenium으로 iFrame 접근 from selenium import webdriver driver = webdriver.Firefox() # F..

## 가상환경 진입하기 SSH 클라이언트 설치 - putty (http://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html) - TeraTerm (https://ttssh2.osdn.jp/) - Poderosa (https://sourceforge.net/projects/poderosa/) $ vagrant ssh 입력을 통해 얻은 정보를 입력 host name : 127.0.0.1port : 2222connection type : SSH 계정정보 : id/pw: vagrant ## Node.js 설치 NVM 설치하기 $ curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.25.3/install.s..

## 가상 머신을 생성하기 위해 필요한 준비물 1. VirtualBox (https://www.virtualbox.org/wiki/Downloads) 윈도우: VirtualBox x.x.x for Windows hosts Mac OS X : VirtualBox x.x.x for OS X hosts 2. Vagrant (https://www.vagrantup.com/downloads.html) ## 가상머신 추가하기 1. 프로젝트를 위한 폴더를 하나 만듭시다. ex) D:\PRACTICE\centos 2. $ vagrant init 입력 3. Vagrantfile 이란 파일이 생성된 것을 볼수있다. 텍스트 편집기로 이 파일을 열고 4. config.vm.box = "base" 로 되어있는 부분을 주석처리하..

mode Selenium을 이용하지 않고 requests와 bs4로 '네이버 실시간 검색어' 목록을 크롤링 해보자. import requestsfrom bs4 import BeautifulSoup response = requests.get('http://naver.com') # 네이버 dom = BeautifulSoup(response.text, 'html.parser') # 파싱해서 DOM객체 rank_table_element = dom.select_one("#realrank") # 실시간 검색어 테이블 엘리먼트 획득 rank_elements = rank_table_element.select('li a') # row를 획득 for i in rank_elements: # # rank_element 하나는..

펜 트리뱅크(Penn Treebank) 데이터셋을 다운받읍시다. (http://bit.ly/2aifngX) $ wget http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz $ tar xvf simple-examples.tgz

Python에서 사용한 모듈 버전과 OS버전 기입하기 모듈버젼 출력하기 import pip version_info = [ pkg.key + ':' + pkg.version for pkg in pip.get_installed_distributions() if pkg.key in ['matplotlib', 'scipy', 'numpy'] ] print(version_info)