정착소

python 가상환경(pyenv)

파이썬은 다수의 서브 버전이 존재하고 엄청난 수의 패키지를 만들고 공유하고 있음. 이러한 패키지들 조차 여러 버전을 갖고 있음 개발 언어와 런타임 및 라이브러리가 전역적으로 설치되고 운영되기 때문에 파이썬 런타임 버전과 라이브러리 충돌 문제가 빈번하게 발생함. 위 문제를 해결하기 위해 애플리케이션별로 독립적인 환경을 사용할 수 있도록 환경을 가상화하는 방식을 통해서 해결 가능. pyenv(window에서는 x) 파이썬 버전을 관리하는 툴. 하나의 컴퓨터에 다양한 파이썬 버전을 설치하고 관리. 프로젝트 홈페이지: https://github.com/pyenv/pyenv pyenv-virtualenv virtualenv은 파이썬 환경을 격리하는 툴. pyenv-virtualenv은 virtualenv의 pye..

자주 사용하는 bash 명령어

이전 명령어 1000개 보기 =history | less 현재 디렉터리와 최근 디렉터리 왔다 갔다 하기 =cd - 홈 디렉토리 가기 = cd file1을 복사하여 file2 만들기 = cp file1 file2 날짜 보기 = date 디스크 사용량 보기 = df -h 환경변수 PATH 값 보기 = echo $PATH 로컬 호스트 이름 보기 = hostname 로컬 IP주소와 netmask보기 = ifconfig 롱 포맷 = ls -l 하부 티렉 터리를 반복하여 나열 = ls -R 수정 시간에 따라 파일 목록을 나열 = ls -t 현재 디렉터리의 모든 파일의 접근 권한 보기 (권한의 포맷은 drwxrwxrwx이고, 순서는 owner-group-other, 숫자 값은 read=4, write=2, execu..

GIT에러 Changes not staged for commit...

※ git에 2폴더를 한번에 올리는 중 발생한 오류 - 발생오류 On branch master Changes not staged for commit: modified: 오류난 폴더명(modified content, untracked content) 위와 같이 commit 진행 시 오류 발생. git status로 확인 할 수 있음. 해결방안 : 1. git 폴더 확인 $ find . -name '.git' $ find ./ -name '.git' $ find -name '.git' 위 세가지 명령어는 동일한 결과를 보여줌 $ find ./ -mindepth 2 -name '.git'./client/.git 현재 위치하는 디렉토리의 '.git' 폴더만 사용 -mindepth 2를 사용 하면 자식노드부터 검..

GitHub에 코드 올리기

환경 : Ubuntu 18.04.3 Terminator를 사용하여 GitHub에 코드 올리기 ※ Git 설치 https://git-scm.com/downloads 1. Github에 올릴 코드가 있는 곳으로 이동 $ cd 폴더명 2. Git 저장소 생성(git init) $ git init 3. 파일 상태 확인 (git status) $ git status 4. 파일 add 하기 (git add) - untracked 파일을 tracked 파일로 만들어줍니다. $ git add 파일명 or 폴더명 5. commit하기 (git commit) $ git commit -m 원하는내용 6. Github에 업로드 (git remote) $ git remote add origin 올릴github주소 $ git r..

Vue.js 예제 사이트

vuejsexamples.com/

워드 임베딩(Word Embedding)

워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 것을 말한다. 워드 임베딩은 단어를 밀집 표현으로 변환하는 방법을 말한다. 1. 희소 표현(Sparse Representation) 벡터 또는 행렬(matrix)의 값이 대부분이 0으로 표현되는 방법을 희소 표현(sparse representation)이라고 한다. 즉, 원-핫 벡터는 희소 벡터(sparse vector)이다. 이러한 희소 벡터의 문제점은 단어의 개수가 늘어나면 벡터의 차원이 한없이 커지는 것이다. 심지어 원-핫벡터로 표현할 때는 단어의 인덱스에 해당되는 부분만 1이고 나머지는 0의 값을 가진다. 이러한 벡터 표현은 공간적 낭비를 불러 일으킨다. 원-핫 벡터 뿐아니라, 희소 표현의 일종인 DTM과 같은 경우에도 특정문서에 ..

문서 유사도(Document Similarity)

문서의 유사도를 구하는 일은 자연어 처리의 주요 주제 중 하나이다.사람들이 인식하는 문서의 유사도는 주로 문서들 간에 동일한 단어 또는 비슷한 단어가 얼마나 공통적으로 많이 사용되었는지에 의존한다.기계또한 마찬가지로 기계가 계산하는 문서의 유사도의 성능은 각 문서의 단어들을 어떤 방법으로 수치화 하여 표현했는지(DTM, Word2Vec 등), 문서 간의 단어들의 차이를 어떤 방법(유클리드 거리, 코사인 유사도 등)으로 계산했는지에 달려있다.1. 코사인 유사도코사인 유사도는 두 벡터 간의 코사인 각도를 이용하여 구할 수 있는 두 벡터의 유사도를 의미한다.두 벡터의 방향이 완전히 동일한 경우에는 1의 값을 가지며, 90°의 각을 이루면 0, 180°로 반대의 방향을 가지면 -1의 값을 갖게 된다. 두 벡터 ..

TF-IDF(Term Frequency-Inverse Document Frequency)

이번에는 DTM내에 있는 각 단어에 대한 중요도를 계산할 수 있는 TF-IDF 가중치에 대해 알아본다. TF-IDF를 사용하면, 기존의 DTM을 사용하는 것보다 보다 더 많은 정보를 고려하여 문서들을 비교할 수 있다. 1. TF-IDF (단어 빈도-역 문서 빈도, Term Frequency-Inverse Document Frequency) TF-IDF(Term Frequency-Inverse Document Frequency)는 단어의 빈도와 역 문서 빈도(문서의 빈도에 특정 식을 취함)를 사용하여 DTM 내의 각 단어들마다 중요한 정도를 가중치로 주는 방법이다. TF-IDF는 주로 문서의 유사도를 구하는 작업, 검색 시스템에서 검색 결과의 중요도를 정하는 작업, 문서 내에서 특정 단어의 중요도를 구하는..