[Web Scraping] Requests

Requests 이용하는 법

• Requests를 설치한 후 import 해준다. requests.get()을 이용해 페이지를 불러올 수 있다.

import requests
res = requests.get("http://google.com")

• res.status_code 를 통해 정상적으로 불러올 수 있을지 없을지를 판단한다.
  값이 200이 나온다면 정상으로 처리한다.

if res.stauts_code == requests.codes.ok:
     print("정상")
else:
     print("문제. [에러코드 ", res.status_code, "]")

• 또 다른 방법으로는 res.raise_for_status()를 이용할 수 있다.

res.raise_for_status() # 오류가 생기면 오류를 내고  끝낸다.
print("Web Scraping start")

print(len(res.text))

with open("mygoogle.html", "w", encoding="utf8")as f:
    f.write(res.text)