반응형 Python14 [Python] Pandas를 이용하여 DATA전처리 (지하철DATA) - 데이터 전처리란? 데이터를 분석 및 처리에 앞서 알맞은 형태로 만드는 것이다. - 데이터 전처리 사용 Data 분석, Data 마이닝, 머신/답 러닝 프로젝트에 적용됨 - 데이터 분석 단계 1. 문제 정의 2. 데이터 수집 3. 데이터 전처리 4. 데이터 모델링 5. 시각화 및 탐색 여기서는 데이터 전처리까지만 하도록 한다. 1. 문제 정의 1. 2016에서 승차가 가장 많은 역 Top 5 2. 서울역에서 가장 이동인구가 많은 시간대(승차,하차) 2. 데이터 수집 혹은 아래와 같은 사이트에서 공공데이터 수집 가능합니다. 사이트명 사이트 주소 공공데이터 포털 https://www.data.go.kr/ KT 통신 빅데이터 플랫폼 https://bdp.kt.co.kr/ 서울 열린 데이터 광장 https:/.. 2022. 11. 3. [Web Scraping] 여러개 이미지 저장하기 최근에 웹 스크랩핑을 하고 있는데 정말 어렵더라구요! 저번에는 웹 스크랩핑을 이용하여 하나의 이미지를 다운 받았는데 이번에는 여러개의 이미지를 다운받으려고 합니다. 하나의 이미지 다운받는 방법이 궁금하시면 아래 사이트 참고해주세요. https://seul96.tistory.com/m/378 [Web Scraping] os 모듈과 chunk로 하나의 이미지 저장하기 최근에 웹 스크랩핑을 하고 있는데 정말 어렵더라구요! 오늘은 웹 스크랩핑을 이용하여 먼저 하나의 이미지를 받은 후에 여러개의 이미지를 받으려고 합니다. 책은 데이터 분석을 위한 파이썬 seul96.tistory.com 데이터 분석을 위한 파이썬 철저 입문책을 참고했습니다 :) # 웹 스크랩핑을 이용하여 여러 이미지 내려받기 사이트는 무료 이미지.. 2022. 10. 19. [Web Scraping] os 모듈과 chunk로 하나의 이미지 저장하기 최근에 웹 스크랩핑을 하고 있는데 정말 어렵더라구요! 오늘은 웹 스크랩핑을 이용하여 먼저 하나의 이미지를 받은 후에 여러개의 이미지를 받으려고 합니다. 책은 데이터 분석을 위한 파이썬 철저입문을 참고했습니다 :) # 하나의 이미지 받기(파이썬 로고) 파이썬 로고 가져오기 마우스 오른쪽 → 이미지 주소 복사 결과 : https://www.python.org/static/img/python-logo@2x.png # requests 라이브러리를 이용해 이미지 파일을 위한 응답 객체 가져오기 -> 200 정상 import requests as req url_pyt = "https://www.python.org/static/img/python-logo@2x.png" img_pyt = req.get(url_pyt).. 2022. 10. 18. [Web Scraping] 네이버웹툰 - 인기 웹툰 및 제목, 링크, 평점 가져오기 데이터 분석을 위한 파이썬 철저 입문책과 국비지원수업 내용을 참고했다. 오늘 구현할 내용은 아래와 같다. # Workshop 네이버 웹툰 https://comic.naver.com/webtoon/weekday 대학원 탈출일지 웹툰 주소 : https://comic.naver.com/webtoon/detail?titleId=790713&no=64&weekday=tue 1. 요일별 전체 웹툰 제목 모두 가져오기 2. 인기 급상승 웹툰 10개 가져오기 3. 만화 "독립 일기"의 제목, 링크, 평점 가져오기 워크 샵을 시작하기 앞서 웹 스크래핑과 웹 크롤링 차이에 대해서 알아보려고 한다. | 웹 클롤링 vs 웹 스크레핑 웹 크롤링은 웹 스크레핑과 같은 의미로 쓰이기도 하지만, 웹 크롤링은 보통 전체의 내용을 긁.. 2022. 10. 10. 이전 1 2 3 4 다음 반응형
