티스토리

정착소

검색하기

블로그 홈

정착소

settlelib.tistory.com/m

ro_ot 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

태양곱창 본점 어제 저녁, 매콤하니 야들한게 급하게 끌려 야채곱창볶음을 주문했습니다. 사이드로 볶음밥을 추가해 완벽한 식사를 완성했어요. 메뉴 및 가격- 야채곱창볶음 (기본맛): 15,000원- 볶음밥: 4,000원 총 19,000원으로 두 명이서 곱창볶음과 볶음밥으로 푸짐하게 식사 하였어요.곱창볶음: 부드러운 곱창의 매력곱창볶음은 기본맛으로 선택했는데, 신라면 보다 조금 더 매콤하고 자극적이지 않아 맛있게 즐길 수 있는 맛이었어요. 특히 곱창이 굉장히 부드러워서 씹는 식감이 정말 좋았습니다. 야채와 곱창의 조화도 훌륭했고, 적당한 양으로 만족스러운 한 접시였어요. 볶음밥: 곱창볶음과의 완벽한 마무리곱창볶음을 어느 정도 먹고 난 뒤, *남은 양념에 볶음밥을 비벼 먹었는데 정말 최고였어요.고슬고슬한 밥알이 양념을 잘 머.. 공감수 0 댓글수 0 2024. 12. 12.
etc 프론트 엔드(FRONT-END) 사용자들이 웹사이트에서 보고 상호작용하는 모든 것들이 프론트엔드 개발 분야에 속함 주로 웹 및 모바일 솔루션의 사용자 인터페이스(UI) 사용자 경험(UX)을 만드는데 초점을 맞춤 백엔드(BACK-END) 데이터를 저장하고 관리하며, 웹사이트의 클라이언트 측(client-side)에서 모든 것이 매끄럽게 작동할 수 있게 해줌. 프론트엔드에 있는 사용자들이 취하는 행동들을 처리 사용자(User)가 블로그 등에서 포스팅을 쓰고 난 후 그 글을 발행하는 일이나 예약일을 맞추는 등의 행동을 하였을 때 백엔드 서버에서는 그 이벤트들에 반응하고, 그에 따른 응답값을 내려줌. 데이터베이스(Database) 웹서비스의 데이터를 저장할 방법으로 오래 보관할 내용은 데이터베이스에 기록함. *.. 공감수 0 댓글수 0 2021. 1. 12.
python 기초 문법 더보기 Lambda(익명 함수) try ~ expect, finally(예외처리) if, elif, else (조건문, conditional statements) 조건문이란? 주어진 조건식의 결과에 따라 다른 명령을 수행하도록 프로그램의 흐름을 제어하는 명령문 if 문 if 조건: 참인경우 실행할 명령 1 참인경우 실행할 명령 2 참인경우 실행할 명령 3 .... 다음 명령 if문의 조건이 참인 경우 명령을 실행합니다. if조건문에서 "조건문"이란 참과 거짓을 판단하는 문장을 말합니다. if 조건문 뒤에는 반드시 콜론( ' : ' ) 이 붙어야 합니다. 들여 쓰기가 끝나면 조건문을 종료합니다. 위의 예제에서 조건이 거짓이면 아무런 일도 하지 않습니다.(조건이 거짓일 때는 'not', '!='이라는 연산자.. 공감수 0 댓글수 0 2020. 10. 6.
자주 사용하는 keyword 지속적으로 업데이트 예정입니다. 아래의 코드는 python에서 이미 예약 돼 있는 키워드들을 확인할 수 있는 코드 입니다. import keyword klist = keyword.kwlist for i in range(len(klist)): print("[{:^10}]".format(klist[i]), end = '') if(i+1) % 5 == 0: print() 자주 사용하는 키워드들을 살펴봅니다. True/False Python에서 진리 값을 나타내고 비교 연산이나 논리적(Boolean) 연산의 결과를 나타냅니다. print(True or False)# True print(True and False)# False print(True==1)# True print(False==0)# True print.. 공감수 0 댓글수 0 2020. 10. 6.
Python 기초 들여쓰기(indent) python은 들여쓰기로 영역 지정. 코드 블럭을 구성하기 위해 if, for, class, def 등을 작성하면서 나오는 ':' 다음 아랫 줄은 반드시 들여 쓰기를 해야 함. 들여쓰기 방법은 한칸, 두칸, 4칸, 탭 등 여러가지 방식이 있으나 블록 내에서 들여쓰기 칸 수가 같아야 함. 위반 시, "IndentationError: unexpected indent"라는 에러를 출력함. 행결합 : 세미콜론( ' ; ' ) 파이썬은 구문이 끝나고 다음 줄로 내려갈 때 세미콜론이 필요 없습니다. 파이썬은 줄이 바뀌면 자동으로 구분이 종료되었음을 인식 합니다. 여러 구문을 이어 쓸 때는 세미콜론을 쓰기도 합니다. ※ 아래 코드를 입력해 보면 주석 처리가 된 부분에서 에러가 발생한다는 것을 .. 공감수 0 댓글수 0 2020. 10. 5.
OOP(객체 지향 프로그래밍) OOP(Object-Oriented Programming) : 객체 지향 프로그래밍 객체 지향 프로그래밍 컴퓨터 프로그램을 명령어의 목록으로 보는 시각에서 벗어나 여러 개의 독립된 단위, 즉 "객체"들의 모임으로 파악하고자 하는 것이다. 각각의 객체는 메시지를 주고받고, 데이터를 처리할 수 있다. 가장 큰 특징은 클래스를 이용해 연관 있는 처리부분(함수)과 데이터 부분(변수)를 하나로 묶어 객체(인스턴스)를 생성해 사용한다는 점이다. 또한, 프로젝트를 독립적인 객체 단위로 분리해서 작업할 수 있기 때문에 유지보수 측면도 뛰어나다. 더보기 객체 지향 프로그래밍과 클래스 기반 프로그래밍의 차이점 객체지향은 네 가지 특징(추상화, 캡슐화, 상속, 다형성)을 골고루 사용해 코딩하는 프로그래밍이다. 클래스 단위 .. 공감수 0 댓글수 0 2020. 10. 5.
Python 변수 변수란? 객체를 가리키는 것이라고 말 할 수 있다. 어떤 값을 저장하는 공간 또는 저장소 변수의 값을 할당하기 위해서는 대입 연산자인 ' = '를 사용한다. 예를 들어, 5,000원을 들고 2,000원 짜리 커피를 마셨다고 가정 한다했을 때 이를 컴퓨터 상에 표현한다면 아래와 같다. my_money, coffee, changes가 변수이며, my_money에는 5,000원이 coffee에는 2,000원이 저장이 돼 있을 것이다. changes 변수가 사용된 줄을 보면 my_money변수와 coffee변수의 연산 즉, 변수끼리의 연산이 가능하다는 것을 알 수 있다. 변수끼리의 연산이 끝난 뒤 그 값을 changes에 저장한다. 만약 위 코드처럼 coffee = 2000이라고 하면 coffee는 직접적으로 .. 공감수 0 댓글수 0 2020. 9. 29.
문자열과 입출력 포맷 여기서는 printf( )와 scanf( )에 대해 자세히 설명한다. 문자열이란? 하나 또는 여러 개의 문자들이 연속되어 있는 것을 말한다. 배열이란? 연속되어 있는 여러 개의 메모리 셀 동일한 데이터형을 가진 여러 데이터 원소들이 메모리에 순서대로 나열되어 있는 연속물 아래 그림에서 각괄호([ ])에 의해 그것을 배열로 인식한다. char name[40]; C는 문자열을 위한 어떤 특별한 데이터형을 제공하지 않는다. - C는 char형 배열에 문자열을 저장한다. - 이때, 각각의 셀은 1바이트다. - 배열의 마지막 위치에 문자는 널 문자(null character)이다. - 저장할 문자들의 수보다 셀의 수가 최소한 하나 더 많아야 한다. sizeof( ) 와 srtlen( )은 %zd 지정자를 사용한다.. 공감수 0 댓글수 0 2020. 9. 27.
데이터와 C C는 다양한 데이터형을 제공한다. 프로그래머가 용도에 따라 적당한 것을 선택하여 사용할 수 있게 하기 위해서 이다. 기본 데이터형은 정수형과 부동소수점형으로 나뉜다. 데이터 변수와 상수 상수 : 사용되기 전에 값이 미리 정해지며, 프로그램이 실행되는 동안 그 값이 변하지 않고 유지된다. 변수 : 프로그램이 실행되는 동안 값이 변하거나 값이 대입되는 데이터 정수 소수부가 없는 수이다. 2진수 형태로 저장된다. 부동소수점 수 정수와 정수 사이에 들어 있는 수들을 포함한다. 어떤 값에 소수점을 붙이면 부동소수점 값이 된다. 정수와 부동소수점의 차이점 정수는 소수부가 없다. 부동소수점 수는 소수부를 가질 수 있다. 부동소수점 수는 정수보다 훨씬 큰 범위의 수를 나타낼 수 있다. 일부 산술 연산에서, 부동소수점 .. 공감수 0 댓글수 0 2020. 9. 20.
python 가상환경(pyenv) 파이썬은 다수의 서브 버전이 존재하고 엄청난 수의 패키지를 만들고 공유하고 있음. 이러한 패키지들 조차 여러 버전을 갖고 있음 개발 언어와 런타임 및 라이브러리가 전역적으로 설치되고 운영되기 때문에 파이썬 런타임 버전과 라이브러리 충돌 문제가 빈번하게 발생함. 위 문제를 해결하기 위해 애플리케이션별로 독립적인 환경을 사용할 수 있도록 환경을 가상화하는 방식을 통해서 해결 가능. pyenv(window에서는 x) 파이썬 버전을 관리하는 툴. 하나의 컴퓨터에 다양한 파이썬 버전을 설치하고 관리. 프로젝트 홈페이지: https://github.com/pyenv/pyenv pyenv-virtualenv virtualenv은 파이썬 환경을 격리하는 툴. pyenv-virtualenv은 virtualenv의 pye.. 공감수 0 댓글수 0 2020. 6. 12.
자주 사용하는 bash 명령어 이전 명령어 1000개 보기 =history | less 현재 디렉터리와 최근 디렉터리 왔다 갔다 하기 =cd - 홈 디렉토리 가기 = cd file1을 복사하여 file2 만들기 = cp file1 file2 날짜 보기 = date 디스크 사용량 보기 = df -h 환경변수 PATH 값 보기 = echo $PATH 로컬 호스트 이름 보기 = hostname 로컬 IP주소와 netmask보기 = ifconfig 롱 포맷 = ls -l 하부 티렉 터리를 반복하여 나열 = ls -R 수정 시간에 따라 파일 목록을 나열 = ls -t 현재 디렉터리의 모든 파일의 접근 권한 보기 (권한의 포맷은 drwxrwxrwx이고, 순서는 owner-group-other, 숫자 값은 read=4, write=2, execu.. 공감수 0 댓글수 0 2020. 6. 12.
GIT에러 Changes not staged for commit... ※ git에 2폴더를 한번에 올리는 중 발생한 오류 - 발생오류 On branch master Changes not staged for commit: modified: 오류난 폴더명(modified content, untracked content) 위와 같이 commit 진행 시 오류 발생. git status로 확인 할 수 있음. 해결방안 : 1. git 폴더 확인 $ find . -name '.git' $ find ./ -name '.git' $ find -name '.git' 위 세가지 명령어는 동일한 결과를 보여줌 $ find ./ -mindepth 2 -name '.git'./client/.git 현재 위치하는 디렉토리의 '.git' 폴더만 사용 -mindepth 2를 사용 하면 자식노드부터 검.. 공감수 0 댓글수 0 2020. 5. 21.
GitHub에 코드 올리기 환경 : Ubuntu 18.04.3 Terminator를 사용하여 GitHub에 코드 올리기 ※ Git 설치 https://git-scm.com/downloads 1. Github에 올릴 코드가 있는 곳으로 이동 $ cd 폴더명 2. Git 저장소 생성(git init) $ git init 3. 파일 상태 확인 (git status) $ git status 4. 파일 add 하기 (git add) - untracked 파일을 tracked 파일로 만들어줍니다. $ git add 파일명 or 폴더명 5. commit하기 (git commit) $ git commit -m 원하는내용 6. Github에 업로드 (git remote) $ git remote add origin 올릴github주소 $ git r.. 공감수 2 댓글수 0 2020. 5. 21.
Vue.js 예제 사이트 vuejsexamples.com/ 공감수 0 댓글수 0 2020. 5. 20.
워드 임베딩(Word Embedding) 워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 것을 말한다. 워드 임베딩은 단어를 밀집 표현으로 변환하는 방법을 말한다. 1. 희소 표현(Sparse Representation) 벡터 또는 행렬(matrix)의 값이 대부분이 0으로 표현되는 방법을 희소 표현(sparse representation)이라고 한다. 즉, 원-핫 벡터는 희소 벡터(sparse vector)이다. 이러한 희소 벡터의 문제점은 단어의 개수가 늘어나면 벡터의 차원이 한없이 커지는 것이다. 심지어 원-핫벡터로 표현할 때는 단어의 인덱스에 해당되는 부분만 1이고 나머지는 0의 값을 가진다. 이러한 벡터 표현은 공간적 낭비를 불러 일으킨다. 원-핫 벡터 뿐아니라, 희소 표현의 일종인 DTM과 같은 경우에도 특정문서에 .. 공감수 0 댓글수 0 2020. 3. 8.
문서 유사도(Document Similarity) 문서의 유사도를 구하는 일은 자연어 처리의 주요 주제 중 하나이다.사람들이 인식하는 문서의 유사도는 주로 문서들 간에 동일한 단어 또는 비슷한 단어가 얼마나 공통적으로 많이 사용되었는지에 의존한다.기계또한 마찬가지로 기계가 계산하는 문서의 유사도의 성능은 각 문서의 단어들을 어떤 방법으로 수치화 하여 표현했는지(DTM, Word2Vec 등), 문서 간의 단어들의 차이를 어떤 방법(유클리드 거리, 코사인 유사도 등)으로 계산했는지에 달려있다.1. 코사인 유사도코사인 유사도는 두 벡터 간의 코사인 각도를 이용하여 구할 수 있는 두 벡터의 유사도를 의미한다.두 벡터의 방향이 완전히 동일한 경우에는 1의 값을 가지며, 90°의 각을 이루면 0, 180°로 반대의 방향을 가지면 -1의 값을 갖게 된다. 두 벡터 .. 공감수 0 댓글수 0 2020. 3. 3.
TF-IDF(Term Frequency-Inverse Document Frequency) 이번에는 DTM내에 있는 각 단어에 대한 중요도를 계산할 수 있는 TF-IDF 가중치에 대해 알아본다. TF-IDF를 사용하면, 기존의 DTM을 사용하는 것보다 보다 더 많은 정보를 고려하여 문서들을 비교할 수 있다. 1. TF-IDF (단어 빈도-역 문서 빈도, Term Frequency-Inverse Document Frequency) TF-IDF(Term Frequency-Inverse Document Frequency)는 단어의 빈도와 역 문서 빈도(문서의 빈도에 특정 식을 취함)를 사용하여 DTM 내의 각 단어들마다 중요한 정도를 가중치로 주는 방법이다. TF-IDF는 주로 문서의 유사도를 구하는 작업, 검색 시스템에서 검색 결과의 중요도를 정하는 작업, 문서 내에서 특정 단어의 중요도를 구하는.. 공감수 0 댓글수 0 2020. 3. 3.
문서 단어 행렬(Document-Term Matrix, DTM) 문서 단어 행렬(Document-Term Matrix, DTM)이란, 각 문서에 대한 BoW 표현 방법을 그대로 갖고 와서, 서로 다른 문서들의 BoW들을 결합한 표현 방법이다. 행과 열을 반대로 선택하면 TDM이라고 부르기도 한다. 1. 문서 단어 행렬(Document-Term Matrix, DTM)의 표기법 문서 단어 행렬(Document-Term Matrix, DTM)이란 다수의 문서에서 등장하는 각 단어들의 빈도를 행렬로 표현한 것을 말한다. * 쉽게 말해, 각 문서에 대한 BoW를 하나의 행렬로 만든 것이다. 예를 들어 4개의 문서가 있다고 하자. 문서1 : 먹고 싶은 사과 문서2 : 먹고 싶은 바나나 문서3 : 길고 노란 바나나 바나나 문서4 : 저는 과일이 좋아요 이를 문서 단어 행렬로 표현.. 공감수 1 댓글수 0 2020. 3. 3.
Bag of Words(BoW) 단어의 등장 순서를 고려하지 않는 빈도수 기반의 단어 표현 방법인 Bag of Words에 대해 알아보자 1. Bag of Words란? Bag of Words란 단어들의 순서는 전혀 고려하지 않고, 단어들의 출현 빈도(frequency)에만 집중하는 텍스트 데이터의 수치화 표현 방법이다. BoW를 만드는 과정을 이렇게 두 가지 과정으로 볼 수 있다. 1) 우선, 각 단어에 고유한 정수 인덱스를 부여한다. 2) 각 인덱스의 위치에 단어 토큰의 등장 횟수를 기록한 벡터를 만든다. 한국어 예제를 통해 BoW에 대해서 이해해본다. 문서1: 정부가 발표하는 물가상승률과 소비자가 느끼는 물가상승률은 다르다. 위의 문서1에 대해서 BoW를 만들어본다 아래의 코드는 입력된 문서에 대해서 단어 집합(vocaburary.. 공감수 0 댓글수 0 2020. 3. 3.
카운트 기반의 단어 표현(Count based word Representation) 다양한 단어의 표현 방법 이번 챕터의 제목은 카운트 기반의 단어 표현 방법이지만 먼저 카운트 기반의 단어 표현 방법 외에도 다양한 단어의 표현 방법을 공부해본다. 1. 단어의 표현 방법 단어의 표현 방법은 크게 두가지로 나뉜다. 국소표현(Local Representation) : 해당 단어 그 자체만 보고, 특정값을 맵핑하여 단어를 표현하는 방법 분산표현(Distributed Representation) : 그 단어를 표현하고자 주변을 참고하여 단어를 표현하는 방법 예를 들어 puppy(강아지), cute(귀여운), lovely(사랑스러운)라는 단어가 있을 때 각 단어에 1번, 2번, 3번 등과 같은 숫자를 맵핑(mapping)하여 부여한다면 이는 국소 표현 방법에 해당된다. 반면, 분산 표현 방법은 해.. 공감수 0 댓글수 0 2020. 3. 2.
정규 표현식(Regular Expression) 텍스트 데이터를 전처리하다보면, 정규 표현식은 아주 유용한 도구로서 사용된다. 1. 정규 표현식 문법과 모듈 함수 1-1) 정규 표현식 문법 정규 표현식을 위해 사용되는 문법 중 특수 문자들은 아래와 같다. 정규 표현식 문법에는 역 슬래쉬(\)를 이용하여 자주 쓰이는 문자 규칙들이 있다. 1-2) 정규 표현식 모듈 함수 정규표현식 모듈에서 지원하는 함수는 다음과 같다. 2. 정규 표현식 실습 2-1) .기호 .은 한 개의 임의의 문자를 나타낸다. 예를 들어 정규표현식이 a.c라고 하면, a와 c 사이에는 어떤 1개의 문자라도 올 수 있다. import re r=re.compile("a.c") r.search("kkk") # 아무런 결과도 출력되지 않는다. r.search("abc") 위의 코드는 sear.. 공감수 0 댓글수 0 2020. 3. 1.
어간 추출(Stemming) and 표제어 추출(Lemmatization) 정규화 기법중 코퍼스에 있는 단어의 개수를 줄일 수 있는 기법인 제어 추출(lemmatization)과 어간 추출(stemming)의 개념을 알아본다. 이 두 작업이 갖고 있는 의미는 눈으로 봤을 때는 서로 다른 단어들이지만, 하나의 단어로 일반화 시킬 수 있다면 하나의 단어로 일반화 시켜서 문서 내의 단어 수를 줄이겠다는 것이다. 이 방법들은 단어의 빈도수를 기반으로 문제를 풀고자 하는 BoW(Bag of Words)표현을 사용하는 자연어 처리 문제에 주로 사용된다. 1. 표제어 추출(Lemmatization) 표제어(Lemma)는 한글로는 '표제어' 또는 '기본 사전형 단어' 정도의 의미를 갖는다. 표제어 추출은 단어들로부터 표제어를 찾아가는 과정이다. 즉, 단어들이 다른 형태를 가지더라도, 그 뿌리.. 공감수 1 댓글수 0 2020. 3. 1.
정제(Cleaning) and 정규화(Normalization) 코퍼스에서 용도에 맞게 토큰을 분류하는 작업을 토큰화(tokenization)라고 하며, 토큰화 작업 전, 후에는 텍스트 데이터를 용도에 맞게 정제(cleaning) 및 정규화(normalization)하는 일을 행 하여야한다. 정제 및 정규화의 목적은 다음과 같다. 정제(cleaning) : 갖고 있는 코퍼스로부터 노이즈 데이터를 제거한다. 정규화(normalization) : 표현 방법이 다른 단어들을 통합시켜서 같은 단어로 만들어준다. 정제 작업은 토큰화 작업 전후에 방해가 되는 부분을 배제 시키기 위해 지속적으로 이루어 지기도 한다. 1. 규칙에 기반한 표기가 다른 단어들의 통합 필요에 따라 정의할 수 있는 정규화 규칙의 예로서 같은 의미를 갖고 있음에도, 표기가 다른 단어들을 하나의 단어로 정규.. 공감수 0 댓글수 0 2020. 3. 1.
토큰화 ※ 자연어란 우리가 일상 생활에서 사용하는 언어를 말한다. ※자연어 처리란 이러한 자연어에 의미를 분석하여 컴퓨터가 처리 할 수 있도록 하는 일을 말한다. * 텍스트 전처리 텍스트 전처리는 용도에 맞게 텍스트를 사전에 처리하는 작업입니다. 데이터가 필요에 맞게 전처리 되지 않은 상태라면, 데이터를 용도에 맞게 토큰화(tokenization) & 정제(cleaning) & 정규화(normalization)하는 일을 해야 합니다. 주어진 말뭉치(corpus)에서 토큰(token)이라 불리는 단위로 나누는 작업을 토큰화라고 부릅니다. 1. 단어 토큰화 토큰의 기준을 단어(word)로 하는 경우, 단어 토큰화라고 합니다. 예를들어, 아래의 입력으로부터 구두점(punctuation)과 같은 문자는 제외시키는 간단.. 공감수 0 댓글수 0 2020. 3. 1.
펄플렉서티(Perplexity) 두 개의 모델 A, B가 있을 때 두 개의 모델을 오타 교정, 기계번역등의 평가에 투입해보면 모델의 성능을 비교할 수 있다. 그리고 두 모델이 해당 업무의 성능을 누가 더 잘했는지를 비교하면 된다. 그러나 성능 비교를 위해 일일히 모델들에 대해서 실제 작업을 시켜보고 정확도를 비교하는 것은 공수가 너무 많이 드는 작업이다. 만약 비교해야 하는 모델이 여러 개면 시간은 비교해야 하는 모델 수 만큼 배로 늘어날 수 있다. 이러한 평가를 외부평가(extrinsic evaluation)라고 하는데, 이러한 평가보다는 어쩌면 조금은 부정확 할 수는 있어도 테스트 데이터에 대해서 빠르게 식으로 계산되는 더 간단한 평가 방법이 있다. 바로 모델 내에서 자신의 성능을 수치화하여 내놓는 내부평가(Intrinsic eva.. 공감수 0 댓글수 0 2020. 2. 27.
한국어에서의 언어 모델(Language Model for Korean Sentences) 영어나 기타 언어에 비해서 한국어는 언어 모델로 다음 단어를 예측하기가 훨씬 까다롭다. 1. 한국어는 어순이 중요하지 않다. 한국어에서는 어순이 중요하지 않다. 이전 단어가 주어졌을때, 다음 단어가 나타날 확률을 구해야하는데 어순이 중요하지 않다는 것은 어떤 단어든 나타나도 된다는 의미이다. 예를 들어보면) ① 나는 운동을 합니다 체육관에서. ② 나는 체육관에서 운동을 합니다. ③ 체육관에서 운동을 합니다. ④ 나는 운동을 체육관에서 합니다. 4개의 문장은 전부 의미가 통하는 것을 볼 수 있다. 위와 같이 순서를 뒤죽박죽으로 바꾸어놔도 한국어는 의미가 전달 되기 때문에 확률에 기반한 언어 모델이 제대로 다음 단어를 예측하기 어렵다. 2. 한국어는 교착어이다. 한국어는 교착어이기 때문에 한국어에서의 언어 .. 공감수 0 댓글수 0 2020. 2. 27.
N-gram 언어 모델(N-gram Language Model) n-gram 언어 모델은 카운트에 기반한 통계적 접근을 사용하고 있다. 이전에 등장한 단어 중 일부 단어만 고려하는 접근 방법을 사용하고 있다. 이때 일부 단어를 몇 개 보느냐를 결정하는데 이것이 n-gram에서의 n이 가지는 의미이다. 1. 코퍼스에서 카운트하지 못하는 경우의 감소 SLM의 한계 훈련 corpus에 확률을 계산하고 싶은 문장이나 단어가 없을 수 있다. 확률을 계산하고 싶은 문장이 길어질수록 갖고 있는 코퍼스에서 그 문장이 존재하지 않을 가능성이 높다. 다음과 같이 참고하는 단어들을 줄이면 카운트 할 수 있는 가능성을 높일 수 있다. 위의 수식처럼 앞 단어 중 임의의 개수만 포함해서 카운트하여 근사할 수 있다. 이렇게 하면 갖고 있는 코퍼스에서 해당 단어의 시퀀스를 카운트할 확률이 높아진.. 공감수 0 댓글수 0 2020. 2. 27.
통계적 언어 모델(Statistical Language Model, SLM) 통계적 언어모델은 전통적인 접근 방법이다. 1. 조건부 확률 조건부 확률은 두 확률 P(A), P(B)에 대해서 아래와 같은 관계를 갖는다. 4개의 확률이 조건부 확률의 관계를 가질 때는 아래와 같이 표현 할 수 있다. 이를 조건부 확률의 연쇄 법칙(chain rule)이라고 한다. 다음은 n개에 대해서 일반화를 해본다. 조건부 확률에 대한 정의를 통해 문장의 확률을 구할 수 있다. 2. 문장에 대한 확률 문장 'An adorable little boy is spreading smiles'의 확률 P(An adorable little boy is spreading smiles)를 식으로 표현해봅시다. 조건부 확률의 일반화 식을 문장의 확률 관점에서 다시 적어보면 문장의 확률은 각 단어들이 이전 단어가 주.. 공감수 0 댓글수 0 2020. 2. 27.
언어 모델(Language Model) 1. 언어 모델(Language Model, LM) - 언어 모델(Language Model)은 언어라는 현상을 모델링 하고자 단어 시퀀스(또는 문장)에 확률을 할당하는 모델이다. - 언어 모델(Language Model,LM)이란 단어 시퀀스(문장)에 확률을 할당하는 모델을 말한다. 언어 모델을 만드는 방법은 크게 2가지 방법으로 구분한다 통계를 이용한 방법 인공 신경망을 이용한 방법 언어 모델링(Language Modeling)은 주어진 단어들로부터 아직 모르는 단어를 예측하는 작업을 말한다. 2. 단어 시퀀스의 확률 할당 * P = 확률 자연어 처리에서 단어 시퀀스에 확률을 할당하는 일이 왜 필요한지 알아보자. a. 기계 번역(Machine Translation): * P(나는 버스를 탔다) > P.. 공감수 2 댓글수 0 2020. 2. 26.
자연어 처리(불용어) 불용어(Stopword) 갖고 있는 데이터에서 유의미한 단어 토큰만을 선별하기 위해 큰 의미가 없는 단어 토큰을 제거해야 한다. 조사, 접미사 같은 단어들은 문장에서는 자주 등장하지만 실제 의미 분석을 하는데는 거의 기여하는 바가 없다. 이러한 단어들을 불용어라 한다. 1. NLTK에서 불용어 확인하기 from nltk.corpus import stopwords stopwords.words('english')[:10] ['i', 'me', 'my', 'myself', 'we', 'our', 'ours', 'ourselves', 'you', 'your'] stopwords.words("english")는 NLTK가 정의한 영어 불용어 리스트를 리턴합니다. 2. NLTK를 통해서 불용어 제거하기 # NLTK.. 공감수 0 댓글수 0 2020. 2. 26.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.