서버는 User Agent 검사 등의 방법으로 일반사용자(사람)와 봇을 구분하여 차단함
사람인 척! 해서 해결한다!
가장 쉬운 방법은 Header에 User Agent 정보를 만들어서 보내는 것!
★ 유저 에이전트? 브라우저가 웹사이트에 연결을 시작할 때 전달되는 기기 정보로 브라우저의 유형, 운영체제 등의 정보가 담겨있음 ex) Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36 |
유저 에이전트를 담아서 get 요청보내기
- User agent 값에 어떤 문자열을 넣어야 할지 모를 때
본인 정보 확인 : http://www.useragentstring.com/
UserAgentString.com - unknown version
www.useragentstring.com
위의 링크에서 복붙해도 ok!
차단당한 이유가 User Agent 점검에 걸렸기 때문이면 이제 문제가 해결되었다.
웹사이트에 접속하면 어떤 정보들이 넘어갈까?
https://www.whatismybrowser.com/
What browser? My browser? Is my browser out of date?
What browser do I have? Find out my browser, check that my browser is up to date and what my settings are.
www.whatismybrowser.com
웹서버는 우리에 대해서 많은 정보들을 알 수 있다.
'데이터분석' 카테고리의 다른 글
| 텍스트 마이닝(2) - 불용어 제거 (0) | 2022.07.19 |
|---|---|
| 텍스트 마이닝(1) - colab 한글세팅 ~ 형태소 분석 (0) | 2022.07.19 |
| 파이썬 / 학습 방향 & 난이도 (0) | 2022.07.18 |
댓글