분석 파이프라인, 토큰화, 형태소 분석, TF-IDF로 글을 계산 가능한 값으로 바꿉니다. — 7개 항목
글을 수집해 단어·벡터·군집으로 바꾸는 연속 처리 과정.
문장을 분석 가능한 단위인 토큰의 열로 나누기.
단어를 의미·문법의 작은 단위로 나누고 품사를 붙이기.
단어 순서를 버리고 문서마다 단어 등장 횟수만 세는 표현.
이웃한 N개 토큰을 한 묶음으로 세어 짧은 순서를 보존하기.
한 문서에는 잦고 전체 문서에는 드문 단어에 더 큰 가중치 주기.
단어가 한 집단에서 다른 집단보다 얼마나 치우쳐 나타나는지 비교하기.
