정착소

책(밑바닥부터 시작하는 딥러닝 2) 5

word2vec 주제 : 단어의 분산 표현 앞 장에서는 통계 기반 기법으로 단어의 분산 표현을 얻었는데, 이번 장에서는 더 강력한 기법인 추론 기반 기법을 살펴본다. 추론 기반 기법의 추론 과정에서 신경망을 이용한다. 여기서 word2vec 이 등장한다. 이번 장에서는 word2vec 의 구조를 차분히 들여다보고 구현해본다. 이번 장의 목표는 단순한 word2vec 구현하기이다. 다음 장에서는 word2vec을 완성시킨다. 3.1 추론 기반 기법과 신경망 단어를 벡터로 표현하는 방법은 크게 두 부분이 있다 통계 기반 기법 추론 기반 기법 단어의 의미를 얻는 방식은 서로 크게 다르지만, 그 배경에는 모두 분포 가설이 있다. 이번 절에서는 통계 기반 기법의 문제를 지적하고, 그 대안인 초론 기반 기법의 이점..

Numpy

1. numpy는 Numerical Python의 줄임말로 고성능의 과학계산 컴퓨팅과 데이터 분석에 필요한 패키지입니다. 2. numpy는 수치 계산을 효율적으로 하기 위한 모듈로서, 다차원 배열과 고수준의 수학 함수를 제공합니다. 3. numpy / pandas 두 라이브러리는 C언어로 작성돼 있으므로, 파이썬으로 만들어진 라이브러리보다 처리 속도가 빠릅니다. 4. numpy를 사용하려면, 표준 모듈이 아니므로 따로 설치해야 합니다. pip명령으로 설치하면 되는데, Anaconda를 사용한다면 기본적으로 설치되어 있습니다. * 시퀀스 데이터로부터 배열 생성 배열(Array) 이란 순서가 있는 같은 종류의 데이터가 저장된 집합을 말한다. 시퀀스 데이터(seq_data)를 인자로 받아 numpy의 배열 객..

Pandas

- 구조적 데이터 생성 - Series를 활용한 데이터 생성 : Series() - 날짜 자동 생성 : date_range() - DataFrame을 활용한 데이터 생성 : DataFrame() 1. numpy / pandas는 고급 데이터 분석과 수치 계산 등의 기능을 제공하는 확장 모듈입니다. 2. numpy 는 같은 데이터 타입의 배열만 처리할 수 있는 데 반해서 pandas는 데이터 타입이 다양하게 섞여 있는 데이터도 처리할 수 있다. 3. pandas 는 데이터 분석 기능을 제공하는 라이브러리로서, CSV, 엑셀 파일 등의 데이터를 읽고 원하는 데이터 형식으로 변환해 줍니다. 4. numpy / pandas 두 라이브러리는 C언어로 작성돼 있으므로, 파이썬으로 만들어진 라이브러리보다 처리 속도가..

책(밑바닥부터 시작하는 딥러닝 2) 4

자연어와 단어의 분산표현 2.1 자연어 처리란 자연어(Natural language) : 한국어나 영어 등 우리가 평소에 쓰는 말 자연어처리(Natural Language Processing, NLP): 우리의 말을 컴퓨터에게 이해시키기 위한 기술 자연어처리 생활 속 활용 : 검색엔진, 기계 번역, 질의응답 시스템, IME(입력기 전환), 문장 자동요약솨 감정분석 등 2.1.1 단어의 의미 우리의 말은 '문자'로 구성되며 말의 의미는 '단어'로 구성됩니다. ※ '단어의 의미'를 잘 파악하는 표현 방법(기법) 시소러스를 활용한 기법 통계 기반 기법 추론 기반 기법(word2vec) 2.2 시소러스 유의어 사전으로, '뜻이 같은 단어'나 '뜻이 비슷한 단어'가 한 그룹으로 분류되어 있습니다. '단어의 의미'..

BoW(이미지관련)

Bag of Words(BoW) Bag of Words(Bow)는 Bag of visual Words와 Bag of Features로 불리기도 합니다. 컴퓨터 비전 분야에서 BoW는 이미지 분류 과제에 주로 사용됩니다. 문서 분류 과제에서 Bag of Words (BoW) BoW는 맨 처음에 문서 분류 목적으로 사용되었기 때문에 Bag of Words라는 이름이 붙여졌습니다. BoW는 문서 내 어떤 단어들이 많이 존재하는지에 따라 문서의 주제를 분류해냅니다. 예를 들어, 어떤 문서에서 '패스', '골', '선수'등의 단어가 많이 출현 했다면 사진에 관련된 문서로 분류해내는 식입니다. 이때 단어들의 순서는 전혀 고려하지 않습니다. 간단히 어떻게 작동하는지 살펴보면. 문서 내 존재하는 단어들로 단어장을 만듭..

GAN(이론)

GAN(생성적 적대 신경망) * Generative Adversarial Network 생성적 적대 신경망(GANs)이란 두개의 네트워크로 구성된 심층 신경망 구조입니다. 다른 네트워크와 겨루는 구조이기 때문에 적대적(Adversarial)이라는 이름에 포함되었습니다. 어떠한 분포의 데이터도 모방하는 학습을 할 수 있기 때문에 GANs의 잠재능력은 엄청나다고 할 수 있습니다. 즉 GANs은 이미지, 음악, 연설 등의 모든 분야에서 실제 우리의 세계와 놀랍도록 비슷한 새로운 세계를 창조하도록 학습 될 수 있습니다. GANs을 이해하려면 생성(generative)알고리즘이 작동하는 방식을 알아야합니다. 이는 판별(discriminative) 알고리즘과 대조하여 더욱 쉽게 이해할 수 있습니다. 판별 알고리즘은..

책(밑바닥부터 시작하는 딥러닝 2) 3

1.5.2 GPU(쿠파이) * 딥러닝의 계산은 대량의 곱하기 연산으로 구성됩니다. 이 대량의 곱하기 연산은 병렬로 계산할 수 있는데, 이 점에서 CPU보다 GPU가 유리합니다. - 쿠파이를 사용하면 엔비디아 GPU를 사용해 간단하게 병렬 계산을 수행할 수 있습니다. (쿠파이는 넘파이와 호환되는 API를 제공합니다.) import cupy as cp x = cp.arange(6).reshape(2, 3).astype('f') x → array([[0., 1., 2.], [3., 4., 5.]], dtype=float32) x.sum(axis=1) → array([ 3., 12.], dtype=float32) 위와 같이 쿠파이의 사용법은 기본적으로 넘파이와 같습니다. ※ config GPU = True ※ ..

책(밑바닥부터 시작하는 딥러닝 2) 2

아래 링크가 시작입니다~ 2020/02/06 - [분류 전체보기] - 책(밑바닥부터 시작하는 딥러닝 2) 1.4.1 스파이럴 데이터셋 - spiral: 나선형의 데이터 # import 방식 from google.colab import drive drive.mount('/content/gdrive') # %cd Drive/ # 이 부분엔 현재 경로 넣기 from dataset import spiral import matplotlib.pyplot as plt x, t = spiral.load_data() print('x', x.shape) # (300, 2) print('t', t.shape) # (300, 3) # 데이터점 플롯 N = 100 CLS_NUM = 3 markers = ['o', 'x', '^..