크롤링이란? 그리고 requests

크롤링 

💡 웹 사이트의 내용에 접근하여 원하는 정보를 추출하는 행위

크롤링을 하기 위해서는?

HTML CSS Python

언제 쓰이는 걸까?

1. 업무 자동화
2. 부수입 창출

활용예시

로우차트 - 로우차트 - 쿠팡 가격 변동 추적

 

롤 전적 검색은 OP.GG - 게임 전적, 챔피언 공략, 카운터 정보, 랭킹 등

 

코로나맵

 

 

---

Requests 활용법

requests = 크롤링 도구1

 

Import

import requests as req

 

특정 페이지 정보를 요청하는 함수

res = req.get("<https://www.naver.com/>")

 

<Response [200]> ← 응답코드 [200] 성공

 

response[응답코드]

200 = 통신성공

40? = 요청의 문제

50? = 서버의 문제 ← 접근이 불가능한 사이트

 

text 받아오는법

res.text

---

우회방법

사이트가 크롤링을 막아뒀다면?

req.get("<https://www.melon.com/>")

문제

응답코드가 406이 나온 이유 = 멜론 서버에서 브라우저가 아님을 감지

해결책

브라우저인것처럼 속이자.

 

방법

1. 개발자도구 열기

2. Network

3. 해당 main url 

4.  Headers  

5. 맨 밑에 User-Agent 확인 후 복사

6. 딕셔너리 형태로 변경

 

head = {'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'}

 

7. headers 안에 우리가 만든 head 변수를 넣어준다.

req.get("<https://www.melon.com/>", headers = head)

주의사항

headers 그대로 써줘야한다.

만약에 이 작업까지 했는데 안 된다면 정말로 안 되는것.

 

 

---

BeautifulSoup

1. html이 아닌 text로 출력을 해줘서 HTML로 바꿔주는 라이브러리 (Text -> HTML) 

2. req로 넘겨받은 텍스트 데이터를 컴퓨터가 이해할 수 있는 html 형태로 변환

 

사용법

1. 설치

pip install beautifulsoup4

2. from import

from bs4 import BeautifulSoup as bs

3. (”넘겨받은 텍스트”, “파싱방법”) 🧠 암기

bs(res.text, "lxml")

 

⭐ 핵심은 반드시 req로 받아온 데이터는 bs 변형이 필요하다.

 

4. soup로 특정 contents 가져오기

soup = bs(res.text, "lxml")

title = soup.select("#_topItems1 > tr > th > a")

title[1].text

 

5. 배열에 넣어두기

title_list = []
for i in title:
    title_list.append(i.text)
    print(i.text)