Hiwony blog

데이터 가공 패키지가 제공하는 데이터는 load_dataset('데이터이름') 을 이용하면 데이터프레임이나 패키지에서 제공하는 별도의 클래스 타입으로 데이터가 다운로드 된다. 인터넷이 안되면 데이터를 사용할 수 없습니다. 대기업이나 금융기관은 인터넷은 되지만 데이터는 함부로 다운로드 받거나 설치할 수 없도록 설정된 경우가 있다. 이런 경우에도 데이터는 다운로드가 안된다. 1. 셀의 데이터 수정 replace 이용 첫번째 매개변수로 원본 데이터를 대입하고 두번째 매개변수로 수정할 데이터를 설정 dict로 원본데이터와 수정할 데이터를 설정 replace(1,2) replace({1:2}) 원본데이터에 정규식을 사용ㅎㄹ 수 있는데 이 경우에는 regex=True를 추가 텍스트마이닝을 하고자 하는..

시도별 전출입 인구에 대한 탐색적 시각화 데이터 다운로드 : http://kosis.kr/search/search.do 시각화 데이터의 형태를 파악하거나 보고서를 만들 목적으로 그래프나 지도 등을 출력하는 작업 matplotlib(기본 시각화), pandas, seaborn(시각적인 효과가 조금 더 뛰어남), folium(지도, 단계구분도) 등을 주로 이용 1. 꺽은선 그래프 - plot 날짜나 시간에 따른 변화량 또는 2개의 컬럼을 가지고 데이터의 분포를 알아볼 때 많이 이용 실습 link import platform from matplotlib import font_manager, rc import matplotlib.pyplot as plt import pandas as pd # 데이터 읽기 pop..

pandas 실습 link 자료구조 Series 와 Datafame numpy의 ndarray는 행이나 열을 구분하는 것이 정수로 된 인덱스인데 pandas의 자료구조들은 index를 직접 설정가능 1.Series 1) 생성 Series(data, index=None, dtype=None, copy=False) data는 __iter__ 가 구현된 객체 index는 데이터 별 이름을 부여하는 것인데 생략하면 0부터 시작하는 숫자 dtype은 각 요소들이 자료형인데 생략하면 유추해서 설정 copy는 복제 여부 data에 dict를 대입하면 key가 index가 되고 value가 데이터로 설정됩니다. values 속성을 호출하면 데이터만 추출해서 numpyt의 ndarray로 리턴합니다. index 속성을 ..

데이터 분석이나 머신 러닝에서 사용하는 패키지 자료구조 패키지 : numpy.pandas - 데이터를 만들고 수집하고 가공하는 패키지 시각화 패키지 : matplotlib, seaborn, pandas, folium(지도, 단계구분도) 통계 : scipy 머신러닝 : sklearn 머신러닝, 딥러닝 : tensorflow, keras, pytorch numpy의 ndarray 가지고 하는 일들은 대부분 list로도 대체 가능 Python의 iterator 객체 __iter__ 구현 iterator : 순서대로 데이터 접근이 가능한 데이터의 모임 __str__ : 객체를 문자열로 변환 ndarray 정보 확인 print 함수를 이용해서 변수의 이름을 출력하면 데이터 전부를 출력 데이터의 자료형은 dtype..

웹에서 데이터 가져오기 1. 기본 패키지 이용 urllib 와 urllib2 패키지를 이용해서 가져올 수 있음 1) request 모듈 urlopen 이라는 메소드에 url을 문자열로 대입하면 response 타입의 객체가 리턴 response의 getheaders()를 호출하면 서버의 정보를 읽을 수 있고 status 속성을 이용하면 서버의 상태 정보를 읽을 수 있음 read()를 호출해서 내용을 읽을 수 있음 읽어온 텍스트가 깨지는 경우에는 response객체.info().get_content_charset()을 이용해서 인코딩 정보를 리턴받고 read().decode(인코딩 정보)를 호출하면 원본 텍스트를 읽을 수 있습니다. 실습 : http://www.daum.net 의 html을 전부 가져오기 ..

자료형 1. Data의 분류 방법 1) 수정가능 여부 변경가능(mutable) - 변수 변경 불가능(immutable) - 상숭 Literal : 사용자가 직접 입력한 데이터 정수 : 10 실수 : 10.3 bool : True, False 복소수 : 정수 +(-) 정수j 문자열 : '문자열', "문자열", '''문자열''', """문자열""" list : [데이터, 데이터 , ...] tuple : (데이터, 데이터, ...) set : {데이터, 데이터, ...} dict : {key:데이터, key:데이터, ...} 데이터 없음 : None 변수의 생성 및 수정과 삭제 이름 = literal , 연산식, 함수 등 영역 내에서 이름이 처음 등장..

클래스 1.용어 1) class : 동일한 목적을 달성하기 위해 모인 변수와 함수의 집합 * 사용자 정의 자료형 : 사용자가 만드는 자료형 2) object : 프로그래밍에서 사용되는 모든 것 3) class object : 클래스와 동일한 의미 4) instance : class를 기반으로 만들어진 객체 2.파이썬에서 클래스 정의 class 클래스이름 : 코드 작성 3.method 생성 method : class 안에 만들어진 함수 1) member method : 만들기는 클래스에 만들지만 실제 사용은 instance 가 하는 메소드 python에서는 member method를 만들 때 매개변수가 반드시 1개 이상 있어야 한다. 이 매개변수는 instance 자신의 참조가 대입됩니다. 이름은 관습적으..

Function(함수) 1-1 자주 사용하는 코드를 독립적인 모듈로 만들어 둔 것. 별도의 메모리 영역을 할당 받아서 실행 1.종류 1) Maker Function : 처음부터 제공되는 함수 2) User Define Function : 사용자가 만든 함수 3) 3rd party Function : 제조사가 주지 않고, 내가 만들지 않은 함수. 패키지를 다운로드 받아서 설치해야만 사용이 가능 2.함수를 표현 이름(매개변수) -> 리턴 타입 이름(매개변수) : 이 경우는 이 함수가 데이터를 리턴하지 않는 경우의 가능성이 높음 아래 설명문에서 리턴을 한다고 작성하는 경우도 있다. 3.용어 매개변수는 함수를 호출 할 때 넘겨주어야 하는 데이터 리턴은 함수를 수행하고 난 후 남겨주는 데이터 리턴이 있으면 출력을..

파이썬의 제어문 제어문은 하나의 블록 코드 : 내부코드 내부코드 블록과 상관없는 코드 1.분기문(갈림길) if 표현식 : 표현식의 내용이 True 일 때 수행할 내용 elif 표현식 : 앞의 표현식이 False이고 자신의 표현식이 True 일 때 수행할 내용 elif 중복 작성 가능 else : 앞의 모든 표현식이 거짓일 때 수행할 내용 표현식은 데이터가 만들어지면 전부 표현식입니다. True, False 가 아니더라도 파이썬에서는 bool로 간주하는 경우가 있는데 숫자데이터는 0 이 아니면 True 이고 0은 False로 간주 숫자 외의 데이터는 데이터가 존재하면 True, 데이터가 없다면(none) False 변수 = none 없는 변수 이름을 사용하면 error - Undefined 이다. elif..

개요 : Shell Script를 작성하여 python 파일을 실행시켜주고, python에서 나오는 결과를 log로 남겨보자 쉘 스크립트란 쉘에서 사용할 수 있는 명령어들의 조합을 모아서 만든 배치(batch) 파일이다. 리눅스에서는 여러 명령어들을 파이프(pipe), 리다이렉션(redirection), 필터(filter) 등으로 연결하여 원하는 결과를 얻어 낼 수 있다. 이런 방식으로 묶인 명령어 조합이 반복적으로 사용된다면 이를 쉘 스크립트로, 즉 단일 명령으로 만들어 쉽게 사용할 수 있다. 스크립트라고 하는 것은 인터프리터(interpreter)에 의해 해석/실행되는 프로그램을 말한다. 어떤 종류의 인터프리터를 사용하는 가에 따라서 어떤 스크립트인가에 대한 이름이 정해진다. 쉘 스크립트, 펄(Per..