티스토리

Fast-worker Room

검색하기

블로그 홈

Fast-worker Room

diuni.tistory.com/m

어서오세여러분 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

텍스트 마이닝(2) - 불용어 제거 # 6. 불용어 제거 불용어(stopwords)란, 데이터 전체에서 꽤 많이 등장하지만 실제로는 별로 중요하지 않은 단어들 ex) ~가, ~은, ~는과 같은 조사나 접사 등 해당 데이터의 특성으로 자주 등장할 수 밖에 없는 단어들 불용어는 짐작하여 한 번에 정의하는 것이 아니라, 토큰화 결과를 확인하면서 계속해서 추가 stop_words = ['기자', '제공', '무단', '배포', '무단배포', '배포금지', '이번', '위해', '라며', '금지', '뉴스', '통해', '오늘', '지난달', '지난', '대한', '경우', '관련', '뉴시스', '현재', '지난해', '때문', '지금', '또한', '만큼', '최근', '당시', '올해', '대해', '다시', '모두'] df['tokenize.. 공감수 0 댓글수 0 2022. 7. 19.
텍스트 마이닝(1) - colab 한글세팅 ~ 형태소 분석 Colab 에서 진행 # 1. 한글 세팅 코랩에서 한글을 깨지지 않고 보려면 세팅 필수 import matplotlib as mpl import matplotlib.pyplot as plt %config InlineBackend.figure_format = 'retina' !apt -qq -y install fonts-nanum import matplotlib.font_manager as fm fontpath = '/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf' font = fm.FontProperties(fname=fontpath, size=9) plt.rc('font', family='NanumBarunGothic') mpl.font_manager._r.. 공감수 0 댓글수 0 2022. 7. 19.
파이썬 / 학습 방향 & 난이도 기억할 것 vs 기억하지 않아도 되는 것 구분 효율적인 학습을 하자!! 1. 패키지 반드시 기억할 것 ★ pandas를 사용해서 데이터프레임을 다루는 코드 모두 암기 ex) df~로 시작하는 코드들 필수 암기 굳이 암기하지 않아도 되는 패키지나 함수 KoNLPy : 한국어 텍스트 처리에서 문자열을 토큰화 하기 위해서 사용하는 형태소 분석기이다. Counter : 단어들을 카운트 할 때 사용한다. WordCloud : 워드 클라우드 패키지이다. np.hstack, np.concatenate : Numpy 함수 2. 조금 어려운게 맞다 리프트 컴프리헨션은 초급에서 이해하기 어려운 개념인 것이 맞다. 하지만 몇 차례 사용해보면 금방 익숙해진다. 처음에는 이런 것도 있구나 이름과 개념 기억해두기! 어떤 것을 하.. 공감수 0 댓글수 0 2022. 7. 18.
개발일지 / 크롤링차단 방지법, 유저 에이전트(User Agent) 지정 서버는 User Agent 검사 등의 방법으로 일반사용자(사람)와 봇을 구분하여 차단함 사람인 척! 해서 해결한다! 가장 쉬운 방법은 Header에 User Agent 정보를 만들어서 보내는 것! ★ 유저 에이전트? 브라우저가 웹사이트에 연결을 시작할 때 전달되는 기기 정보로 브라우저의 유형, 운영체제 등의 정보가 담겨있음 ex) Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36 유저 에이전트를 담아서 get 요청보내기 - User agent 값에 어떤 문자열을 넣어야 할지 모를 때 본인 정보 확인 : http://www.useragentstring.com.. 공감수 0 댓글수 0 2022. 7. 18.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.