분류 전체보기

    파이썬 MariaDB_07월 27일

    - MariaDB설치시 HeidiSQL 툴이 배경화면에 깔림, 구리지만 실행해봄 - 쿼리문 실행 결과 - 구린 HeidiSQL 툴 대신에 하나의 툴로 MariaDB, MongoDB등 여러가지 DB를 실행할 수 있는 DataGrip을 무료체험판으로 다운로드해보았다. https://www.jetbrains.com/ko-kr/datagrip/download/download-thanks.html DataGrip을 다운로드해 주셔서 감사합니다 www.jetbrains.com - 설치시 다음과 같이 체크 - MariaDB쓸 것이기 때문에 MariaDB선택 - 아이디, 비번 입력하고 디비명 입력하고 TestConnection 눌러 Driver file다운로드 받고 다시 TestConnection눌러 ping 확인한 ..

    파이썬 OpenAPI_07월 24일

    1. Melon 100 Chart 스크래핑 100곡 노래의 title, id 추출 Song의 Detial 페이지로 100번 요청해서 상세정보 추출 Pandas의 DataFrame에 저장 DB에 Song Table로 저장 - 100곡 노래의 title, id 추출 * 멜론의 경우 user_agent가 필요!! - 멜론에서 그렇게 걸어놈 ㅇㅅㅇ - 로봇이 아님을 증명하기 위해 사용 import requests from bs4 import BeautifulSoup import re url = 'https://www.melon.com/chart/index.htm' request_header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWe..

    파이썬 OpenAPI_07월 23일

    Pandas 1. iloc[] 사용(원하는 index줘서 선택) ** data/data_draw_korea.csv사용 data = pd.read_csv('data/data_draw_korea.csv') - iloc[] : column index, row index 줌 # iloc[]사용 data.iloc[0:3,0:3] - iloc 또한 2개 간격으로 출력 가능~!! data.iloc[0:20:2,0:3] - unique() : 중복제거 : 광역시도 중복제거하기 # 광역시도 이름 확인(중복된 이름 빼고) print(data['광역시도'].unique()) - unique() : 중복제거 : 행정구역 중복제거하기 print(data['행정구역'].unique()) - sample(원하는 갯수) : 원하는 ..

    파이썬 OpenAPI_07월 22일

    1. 웹 설명 1. html(Hyper Text Markup Language) 2. DOM(Document Object Model) - dom tree - traversing, traverse(순회) - manipulation(조작) : tree변경 3. 특정 문자열 가져오기 - 방법1 : 정규표현식 - 방법2 : HTML Parser라이브러리 (ex)BeautifulSoup4, lxml ​ 2. 웹툰 회차별 이미지 다운로드 - 제목, 회차, url을 입력받는 함수 정의 #title(제목), 회차, url 을 입력 받아서 저장하는 함수 정의 import os import requests from bs4 import BeautifulSoup def write_image(title,seq, url): #ur..

    파이썬 OpenAPI_07월 21일

    참고 문서 https://realpython.com/python-requests/ Python’s Requests Library (Guide) – Real Python In this tutorial on Python's "requests" library, you'll see some of the most useful features that requests has to offer as well as how to customize and optimize those features. You'll learn how to use requests efficiently and stop requests to external serv realpython.com - 웹툰 이미지 크롤링 1. 네이버 웹툰 이미지 다운로드 ..

    파이썬 OpenAPI_07월 20일

    1. Anaconda 설치 : python 기본 toolkit + 외부 라이브러리 : 관리자 권한으로 실행 : path 우선순위 변경 2. Editor : Jupiter Notebook 사용 CLI(Command Line Interface) 방식 : python idle >>> : ipython 을 기반으로 해서 Browser 상에 사용하는 에디터 : chrome브라우저가 기본 브라우저로 설정되어 있어야 함 파일 - Pickle - Built - in module - 파일 자체가 텍스트가 아닌 바이너리 파일로 저장됨(mode = wb) - dump함수 - 피클에 있는 저장함수 - load함수 - 저장된 파일을 불러오는 함수 - 언제사용? object를 파일로 저장했다 불러올 경우 [pickle_dump...