목차> 더보기 목차 웹 스크래핑을 위한 라이브러리 import import requests from bs4 import BeautifulSoup import pandas as pd from datetime import datetime import time import re 01 '원소주' 뉴스기사 스크래핑 시작 원소주를 검색하고 뉴스탭을 보면 query라는 파라미터에 '원소주'를 전달인자로 받는걸 볼 수 있습니다. requests.get(url).content로 응답을 받고, 이를 BeautifulSoup객체로 변환합니다. ※ 주소를 복사할 때 그냥 복사해서 붙여넣기 하면 url을 파악하기 힘들게 깨질 수 있습니다. 따라서 다음과 같이 복사합니다. url 제일 앞에 커서가 오도록 클릭 -> 스페이스 한칸..

본인이 쓴 크롤링에 관한 게시물 : [CODELION 강의] [심화] 같이 푸는 PYTHON - 크롤링 [Toy_Project] Python 웹크롤링 - EPL순위 가져오기 여러 페이지에 대해서 정보를 가져오기 위해서는 url을 이해하고 값을 조정하여 페이지에 접근해야 됩니다. 따라서 크롤링 전에 url에 대한 분석이 필요합니다. url에 대한 설명은 brunch 블로그(https://brunch.co.kr/@beusable/237)를 참고했습니다. 00 BeautifulSoup BeautifulSoup는 request를 통해 얻어온 데이터를 BeautifulSoup객체로 파싱하여 원하는 데이터를 쉽게 추출하도록 도와주는 모듈입니다. import from bs4 import BeautifulSoup fr..

CODELION [심화]같이 푸는 Python 강의중에서 크롤링 강의를 듣고 응용해보기 위해서 네이버 스포츠 해외축구에서 EPL순위를 크롤링하는 프로그램을 만들어 봤습니다. 네이버 스포츠 스포츠의 시작과 끝! sports.news.naver.com 목차> 더보기 목차 01 BeautifulSoup를 활용한 크롤링 시도 우선 배운대로 requests와 BeautifulSoup를 사용하려고 했습니다. 맨체스터 시티 FC라는 이름을 가져오기 위해 F12를 눌러 크롬개발자도구로 해당 부분의 태그를 찾았습니다. (참고 : 크롬개발자도구 활용법) 태그는 span, 클래스는 name을 전달인자로 하여 findAll('span','name')함수를 사용하였습니다. import requests from bs4 impor..