최초의 로그인 이후 해당 쿠키를 이용해서 다른 페이지에 요청을 보내는게 일반적이다.
하지만 로그인 후 쿠키를 반환 안해주는 사이트도 존재한다.
쿠키 없이 해당 웹페이지의 리소스에 요청을 보내면 인증되지 않아 거절된다.
이 때는 세션을 생성하여 로그인을 시키고 해당 세션 유지기간동안 요청을 보내는 식으로 사용하자.
'웹(web) > 크롤링(web scraping)' 카테고리의 다른 글
| 코로나확진자 웹사이트 최근 업데이트 시간 크롤링(worldometers.info/coronavirus) (0) | 2020.05.03 |
|---|---|
| regex training site (0) | 2019.07.07 |
| crawl_site() with itertools (0) | 2019.07.06 |
| crawl_sitemap() with re.findall() (0) | 2019.07.06 |
| download() with num_tries (0) | 2019.07.06 |
