Hiwony blog

python 커뮤니티에서 도움 요청이 왔었습니다. 저도 사실 많이 알고 있는건 아니지만 아는 한도 내에서 말씀드렸습니다. API 에서 받은 데이터를 DB로 보내주는 코드였는데 pymysql.err.InterfaceError: (0, '') 이런 문제가 발생 했죠.. 도움을 요청하신분이 MySQL을 사용하시는데 Python과 DB 연결 원리가 잘 이해가 안 되신다고 하더라고요 아래의 내용은 교과서 적인 내용인데 참고하시구요 PyMySql 모듈을 import 한다 pymysql.connect() 메서드를 사용하여 MySQL에 Connect 한다. 호스트명, 로그인, 암호, 접속할 DB 등을 파라미터로 지정한다. DB 접속이 성공하면, Connection 객체로부터 cursor() 메서드를 호출하여 Curso..

구현한 자동화 파일은 파일 형식의 log를 남기게 됩니다. 파일 형식의 log는 지정한 PATH로 들어가야만 볼 수 있기에 SQL 문법 공부할겸, DB 서버 놀고 있는 겸 해서 겸사겸사 DB로 log를 보내는 튜닝 작업을 했습니다. import pymysql db = pymysql.connect( user = 'id', passwd = 'pw', host = 'host', db = 'dbname', port = 'port', charset = 'utf8' ) 먼저 DB에 연결하기 위한 db 정보를 취합 합니다. db 접속 ID, PW, host주소, db이름, port 정보를 입력하시고요 cusor = db.cursor(pymysql.cursors.DictCursor) DB와 연결할 파이프라인 커서를 생..

body = driver.find_element_by_css_selector('body') # body 태그 선택하고 # 총 10번의 페이지 다운 for i in range(10): body.send_keys(Keys.PAGE_DOWN) # 페이지 다운 time.sleep(1) # 1초 딜레이

[selenium 함수] 함수 설명 webdriver.Chrome("c:/" ) chromedriver path 지정 하고 사용 implicitly_wait(3) 웹 페이지 로드를 위해 3초 대기 get(url) url에 접근 page_source 현재 렌더링 된 페이지의 Elements를 모두 가져오기 find_element_by_name('...') 페이지의 단일 element 중 name으로 접근 find_element_by_id('HTML_id') id로 접근 find_element_by_xpath('xpath') xpath로 접근 find_element_by_css_selector('...') css selector로 접근 find_element_by_class_name('...') class ..

f = open('abc.txt', 'r') line = f.readlines() line = list(map(lambda s: s.strip(), line)) * strip 메서드 : 문자열의 앞/뒤에서 특정 문자를 삭제하는 메서드입니다. - text.strip(삭제할 문자)와 같이 사용하는데요, 삭제할 문자를 따로 지정하지 않으면 모든 종류의 blank 문자를 삭제합니다. - 여기서 blank 문자는 스페이스, 탭, 뉴라인(개행 문자) 등이 있습니다. - 물론 여기에서는 개행 문자를 삭제하기 위해 사용했지요. * 람다 함수 (익명 함수) - inline으로 간단히 함수를 사용할 때 쓰는 방법이 람다 합수입니다. - 함수를 인자로 받는 다른 함수를 쓸 때 사용하면 코드가 훨씬 간단해지는데요, 일반 함수..

jupyter notebook을 설치를 했고, 가상환경까지 만들었는데 kernel에 가상환경이 계속 안보여서 이게 뭐지 하다가 conda install nb_conda_kernels 이거 설치하니까 가상환경 설치했던 anaconda 포함 kernel이 다나온다 이제 이거 안되면 python -m ipykernel install --user --name 'env이름' --display-name '주피터커널이름'

Python Crawling으로 연예인 이름 crawling을 하자 m.search.daum.net의 #연예인명단 이라는 해시태그 페이지를 이용하여 Crawling 했습니다. from bs4 import BeautifulSoup as bs from tqdm import tqdm import urllib.request import time, sys, codecs, os, random, csv def celebrities_names(start,end): randomsl = random.uniform(1,3) hdr = {'User-Agent': 'Mozilla/5.0'} url = "https://m.search.daum.net/kakao?w=smok&DA=AQJ&q=%EC%97%B0%EC%98%88%EC%..

네이버에서 이미지를 크롤링 해봅시다. 아래 코드 참고하시구요 어느 사이트든 html 구조만 잘 분석하셔도 크롤링은 충분히 가능합니다. 크롤링을 할때는 항상 주의해주시구요 Python Naver image crawling from selenium import webdriver from selenium.webdriver.common.keys import Keys import time, random, os from urllib.request import urlretrieve from tqdm import tqdm def get_images(keyword) : # 1~3 초 사이의 랜덤난수 randomsl = random.uniform(1,3) print('Loading') # 스크롤 다운을 해야 되서 chro..