정착소

워드 임베딩(Word Embedding)

워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 것을 말한다. 워드 임베딩은 단어를 밀집 표현으로 변환하는 방법을 말한다. 1. 희소 표현(Sparse Representation) 벡터 또는 행렬(matrix)의 값이 대부분이 0으로 표현되는 방법을 희소 표현(sparse representation)이라고 한다. 즉, 원-핫 벡터는 희소 벡터(sparse vector)이다. 이러한 희소 벡터의 문제점은 단어의 개수가 늘어나면 벡터의 차원이 한없이 커지는 것이다. 심지어 원-핫벡터로 표현할 때는 단어의 인덱스에 해당되는 부분만 1이고 나머지는 0의 값을 가진다. 이러한 벡터 표현은 공간적 낭비를 불러 일으킨다. 원-핫 벡터 뿐아니라, 희소 표현의 일종인 DTM과 같은 경우에도 특정문서에 ..

문서 유사도(Document Similarity)

문서의 유사도를 구하는 일은 자연어 처리의 주요 주제 중 하나이다.사람들이 인식하는 문서의 유사도는 주로 문서들 간에 동일한 단어 또는 비슷한 단어가 얼마나 공통적으로 많이 사용되었는지에 의존한다.기계또한 마찬가지로 기계가 계산하는 문서의 유사도의 성능은 각 문서의 단어들을 어떤 방법으로 수치화 하여 표현했는지(DTM, Word2Vec 등), 문서 간의 단어들의 차이를 어떤 방법(유클리드 거리, 코사인 유사도 등)으로 계산했는지에 달려있다.1. 코사인 유사도코사인 유사도는 두 벡터 간의 코사인 각도를 이용하여 구할 수 있는 두 벡터의 유사도를 의미한다.두 벡터의 방향이 완전히 동일한 경우에는 1의 값을 가지며, 90°의 각을 이루면 0, 180°로 반대의 방향을 가지면 -1의 값을 갖게 된다. 두 벡터 ..

TF-IDF(Term Frequency-Inverse Document Frequency)

이번에는 DTM내에 있는 각 단어에 대한 중요도를 계산할 수 있는 TF-IDF 가중치에 대해 알아본다. TF-IDF를 사용하면, 기존의 DTM을 사용하는 것보다 보다 더 많은 정보를 고려하여 문서들을 비교할 수 있다. 1. TF-IDF (단어 빈도-역 문서 빈도, Term Frequency-Inverse Document Frequency) TF-IDF(Term Frequency-Inverse Document Frequency)는 단어의 빈도와 역 문서 빈도(문서의 빈도에 특정 식을 취함)를 사용하여 DTM 내의 각 단어들마다 중요한 정도를 가중치로 주는 방법이다. TF-IDF는 주로 문서의 유사도를 구하는 작업, 검색 시스템에서 검색 결과의 중요도를 정하는 작업, 문서 내에서 특정 단어의 중요도를 구하는..

문서 단어 행렬(Document-Term Matrix, DTM)

문서 단어 행렬(Document-Term Matrix, DTM)이란, 각 문서에 대한 BoW 표현 방법을 그대로 갖고 와서, 서로 다른 문서들의 BoW들을 결합한 표현 방법이다. 행과 열을 반대로 선택하면 TDM이라고 부르기도 한다. 1. 문서 단어 행렬(Document-Term Matrix, DTM)의 표기법 문서 단어 행렬(Document-Term Matrix, DTM)이란 다수의 문서에서 등장하는 각 단어들의 빈도를 행렬로 표현한 것을 말한다. * 쉽게 말해, 각 문서에 대한 BoW를 하나의 행렬로 만든 것이다. 예를 들어 4개의 문서가 있다고 하자. 문서1 : 먹고 싶은 사과 문서2 : 먹고 싶은 바나나 문서3 : 길고 노란 바나나 바나나 문서4 : 저는 과일이 좋아요 이를 문서 단어 행렬로 표현..

Bag of Words(BoW)

단어의 등장 순서를 고려하지 않는 빈도수 기반의 단어 표현 방법인 Bag of Words에 대해 알아보자 1. Bag of Words란? Bag of Words란 단어들의 순서는 전혀 고려하지 않고, 단어들의 출현 빈도(frequency)에만 집중하는 텍스트 데이터의 수치화 표현 방법이다. BoW를 만드는 과정을 이렇게 두 가지 과정으로 볼 수 있다. 1) 우선, 각 단어에 고유한 정수 인덱스를 부여한다. 2) 각 인덱스의 위치에 단어 토큰의 등장 횟수를 기록한 벡터를 만든다. 한국어 예제를 통해 BoW에 대해서 이해해본다. 문서1: 정부가 발표하는 물가상승률과 소비자가 느끼는 물가상승률은 다르다. 위의 문서1에 대해서 BoW를 만들어본다 아래의 코드는 입력된 문서에 대해서 단어 집합(vocaburary..

카운트 기반의 단어 표현(Count based word Representation)

다양한 단어의 표현 방법 이번 챕터의 제목은 카운트 기반의 단어 표현 방법이지만 먼저 카운트 기반의 단어 표현 방법 외에도 다양한 단어의 표현 방법을 공부해본다. 1. 단어의 표현 방법 단어의 표현 방법은 크게 두가지로 나뉜다. 국소표현(Local Representation) : 해당 단어 그 자체만 보고, 특정값을 맵핑하여 단어를 표현하는 방법 분산표현(Distributed Representation) : 그 단어를 표현하고자 주변을 참고하여 단어를 표현하는 방법 예를 들어 puppy(강아지), cute(귀여운), lovely(사랑스러운)라는 단어가 있을 때 각 단어에 1번, 2번, 3번 등과 같은 숫자를 맵핑(mapping)하여 부여한다면 이는 국소 표현 방법에 해당된다. 반면, 분산 표현 방법은 해..

정규 표현식(Regular Expression)

텍스트 데이터를 전처리하다보면, 정규 표현식은 아주 유용한 도구로서 사용된다. 1. 정규 표현식 문법과 모듈 함수 1-1) 정규 표현식 문법 정규 표현식을 위해 사용되는 문법 중 특수 문자들은 아래와 같다. 정규 표현식 문법에는 역 슬래쉬(\)를 이용하여 자주 쓰이는 문자 규칙들이 있다. 1-2) 정규 표현식 모듈 함수 정규표현식 모듈에서 지원하는 함수는 다음과 같다. 2. 정규 표현식 실습 2-1) .기호 .은 한 개의 임의의 문자를 나타낸다. 예를 들어 정규표현식이 a.c라고 하면, a와 c 사이에는 어떤 1개의 문자라도 올 수 있다. import re r=re.compile("a.c") r.search("kkk") # 아무런 결과도 출력되지 않는다. r.search("abc") 위의 코드는 sear..

어간 추출(Stemming) and 표제어 추출(Lemmatization)

정규화 기법중 코퍼스에 있는 단어의 개수를 줄일 수 있는 기법인 제어 추출(lemmatization)과 어간 추출(stemming)의 개념을 알아본다. 이 두 작업이 갖고 있는 의미는 눈으로 봤을 때는 서로 다른 단어들이지만, 하나의 단어로 일반화 시킬 수 있다면 하나의 단어로 일반화 시켜서 문서 내의 단어 수를 줄이겠다는 것이다. 이 방법들은 단어의 빈도수를 기반으로 문제를 풀고자 하는 BoW(Bag of Words)표현을 사용하는 자연어 처리 문제에 주로 사용된다. 1. 표제어 추출(Lemmatization) 표제어(Lemma)는 한글로는 '표제어' 또는 '기본 사전형 단어' 정도의 의미를 갖는다. 표제어 추출은 단어들로부터 표제어를 찾아가는 과정이다. 즉, 단어들이 다른 형태를 가지더라도, 그 뿌리..