개발일지 / 크롤링차단 방지법, 유저 에이전트(User Agent) 지정

서버는 User Agent 검사 등의 방법으로 일반사용자(사람)와 봇을 구분하여 차단함

 

사람인 척! 해서 해결한다!

 

가장 쉬운 방법은 Header에 User Agent 정보를 만들어서 보내는 것!

 

 

★ 유저 에이전트? 브라우저가 웹사이트에 연결을 시작할 때 전달되는 기기 정보로 브라우저의 유형, 운영체제 등의 정보가 담겨있음 ex) Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36

 

---

 

유저 에이전트를 담아서 get 요청보내기

 

- User agent 값에 어떤 문자열을 넣어야 할지 모를 때

 

본인 정보 확인 : http://www.useragentstring.com/

UserAgentString.com - unknown version

위의 링크에서 복붙해도 ok!

 

 

차단당한 이유가 User Agent 점검에 걸렸기 때문이면 이제 문제가 해결되었다.

 

---

웹사이트에 접속하면 어떤 정보들이 넘어갈까?

 

https://www.whatismybrowser.com/

What browser? My browser? Is my browser out of date?

웹서버는 우리에 대해서 많은 정보들을 알 수 있다.