Continuous Growth

제목: 파이썬과 대스크를 활용한 고성능 데이터 분석 본 리뷰는 한빛미디어 주최의 나는 리뷰어다 이벤트의 진행 지원을 받아 작성합니다. 추천 독자: Python 객체, Numpy, Pandas, sklearn 라이브러리 등 을 통해 데이터 파이프라인을 구축했으나, 보다 대용량의 데이터셋을 운용하기위한 분산 시스템을 비교적 빠르게 구성하고싶은 독자분들. 제가 책에서 유추한 본 서적의 목표는 다음과 같습니다. "Dask 라는 라이브러리를 중심으로 분산 환경의 데이터 파이프라인을 구축하자." 본문에는 Dask 라이브러리를 중심으로 놓고 데이터 전처리, 시각화, ML모델링, 클러스터 운영과 확장에 대해서 용례를 설명합니다. 데이터 수집과 보관에 관해선 크게 언급하지않습니다만, 파일 데이터에서 읽어오는 방식을 기반..

처음 시작하는 딥러닝 본 리뷰는 한빛미디어 주최의 나는 리뷰어다 이벤트의 진행 지원을 받아 작성합니다. 저는 한빛미디어의 "믿바닥부터 시작하는 딥러닝" 1, 2 와 인사이트 출판사의 "밑바닥부터 시작하는 데이터 과학" 책의 도움을 많이 받고 있습니다. 현재, ML, AI 개발분야는 Tensorflow, Pytorch 등 프레임워크의 도움을 받아 알고리즘과 모델링에 집중할 수 있는 환경입니다. 하지만 알고리즘의 원리를 모르고 프레임워크들이 제공하는 특혜 중 하나인 자동미분 기능과 같이 프레임워크의 도움만 받으면 언제나 프레임워크가 제공하는 기능 안에서만 가능한 부분을 만들 뿐이라고 생각하고 있습니다. 그래서 알고리즘을 이루는, 프레임워크를 구성하는 핵심 원리를 항상 이해하려고 노력합니다. 이는 수식을 이해..

sudo: unabale to resolve host "xxx" : Connection timed out 메시지가 뜰 때, 체크해야할 부분은 /etc/hostname/etc/hosts 에서 /etc/hostname 안의 이름과 /etc/hosts에서 127.0.1.1 의 이름이 같아야합니다 예를 들면, ml2 라고 /etc/hostname 안에 써놓고/etc/hosts 안에 127.0.1.1 이 없거나 다른 이름이면 저 에러가 났었습니다. 동일 이름으로 바꾸면 에러가 사라졌습니다.

https://docs.docker.com/install/linux/docker-ce/ubuntu/#install-from-a-package 필요 패키지 libseccomp2 >= 2.3.0containerd docker-ce-clidocker-ce deb 파일 다운 링크containerd , docker-ce-cli , docker-ce https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/amd64/ libseccomp2 2.2.3 에서 2.3.1로 업그레이드 https://ubuntu.pkgs.org/16.04/ubuntu-updates-main-amd64/libseccomp2_2.3.1-2.1ubuntu2~16.04.1_amd64.d..

playing-openai-gym-in-jupyter-notebook OpenAI GYM을 Jupyter notebook환경에서 실행하기 & headless playing updated: 2018.02.19 문제 OpenAI GYM을 실행하려면 *.py스크립트로 만들어 실행해야하는 불편함이 있었습니다. Jupyter notebook에서 실행 후, env가 종료되지않던 문제가 있었습니다. 해결법 이곳을 참고했습니다. http://mckinziebrandon.me/TensorflowNotebooks/2016/12/21/openai.html # The typical imports import gym import numpy as np import matplotlib.pyplot as plt %matplotlib..

OpenAI's GYM environment installation guide for Reinforcement Learning updated: 2018.02.19 환경 OS: Windows10 64-bit Anaconda3 virtualenv virtual environment version: Python3.6.4 문제상황 강화학습 알고리즘 학습 및 테스트를 위한 OpenAI의 GYM환경을 설치하기위해 https://github.com/rybskej/atari-py 주소에서 설치하던 중, 아나콘다 가상환경에서 다음과 같은 에러가 떳습니다. -- The C compiler identification is unknown CMake Error at CMakeLists.txt:3 (PROJECT): The CM..

현업에서 딥러닝 이전의 머신러닝 알고리즘을 다루다보니 AI업계에서 딥러닝의 발전속도가 매우 빨라 이를 발맞추지 못하는것같은 자신이 불안했었습니다. 텐서플로우를 비롯해 여러 프레임워크들도 지원을 잘 해주고있는 현 상황에서 이 책은 아주 반가운 책이었습니다. 텐서플로우를 기반으로 보다 쉽게 모델구현이 가능하고 인기를 몰고있는 케라스 프레임워크를 실제 관심있었던 컴퓨터 비전 분야의 주요 해결과제인 이미지 클래스 분류, 물제검출을 맛볼 수 있고 거기에 강화학습까지 체험해볼 수 있는 내용을 담고있다니 흥미롭기 그지 없었습니다. 이 책을 덮으며, 몇가지 장단점을 공유해볼까 합니다. 장점 1. 주요한 이론을 핵심적으로 짚어줍니다. 최근 머신러닝 계는 발전속도는 빠르나 기반지식의 수준이 높아 진입장벽이 높다고 생각이 ..

01_hello_parallel [Python] subprocess를 사용한 병렬 프로그래밍 - (1) 목표 한 task의 프로세스를 복수로 실행해야하는 상황에서 병렬로 실행하여 실행시간을 단축해보자. 설정 subprocess를 사용해 병렬로 프로세스를 처리하는 원리를 익히기 위해 아주 간단한 프로세스를 구현 argument로 숫자를 받아 n번째 프로세스인지 표시하고 5초 대기 후, hello n subprocess를 출력하는 프로세스 구현 목표 프로세스 적당한 파일에 이 코드를 작성해주세요. '''target_process.py'''import sysimport time if __name__ == "__main__": print('{} process...'.format(sys.argv[1])) # n번..

0625_book_angular 앵귤러 첫걸음 공민서 2017.06.25 앵귤러 첫걸음 리뷰 어렵지만 한번 더 읽고싶은 책 선택 동기 요즘 앵귤러,리액트,뷰.. 하던데... 웹 개발을 무지 잘 하지는 못해도 구현 당시에 CSS작업이 정말 힘들었던 기억이 있습니다. 그런데 최근 SNS에서 Angular.JS, React, Vue.js 를 많이 얘기합니다. "도대체 얘네들이 뭐지?" 음...뭔가 어렵고 잘 모르겠지만 이해할 수 있는 선에서 프론트엔드 작업을 편하게 해주는 프레임워크들이구나.. 알고싶다! 난 0부터 하나하나 자세히 짚어주는 흐름이 있는게 좋아! 기술 서적을 선택할 때, 제 상황에 따라 선호하는 내용구성이 있습니다. 아무것도 모를때 여러 프로젝트에 적용할 수 있는 기능을 가진 작은 목표를 설정하..

첫실행 crontab -e -u root내부 설정SHELL=/bin/bashPATH= __$PATH를 복붙했습니다.__HOME=/root/shell script 파일#!/bin/sh /root/.pyenv/versions/__PYTHON_VER__/envs/___ENV_NAME__/bin/python __execute.py__ * virtualenv 환경 내부에 있는 python 실행파일을 찾아야합니다. 그렇지않으면 local의 python이 실행되어 python2에 깔려있는 패키지 목록을 갖고있기때문에, ImportError가 날 가능성이 높습니다.pyenv라 해서 activate를 시켜도 무용지물이므로, 가상환경 내 python 파일을 찾아 직접 실행하는 것이 좋습니다.