정착소

crawling and scraping

* 크롤링(Crawling) 크롤링(Crawling)이란 프로그램이 웹 사이트를 정기적으로 돌며 정보를 추출하는 기술입니다. 크롤링하는 프로그램을 “크롤러(Crawler)” 또는 “스파이더(Spider)”라고 합니다. 예를 들어, 검색엔짂을 구현할 때 사용하는 크롤러는 웹 사이트의 링크를 타고 웹 사이트를 돌아다닙니다. 그리고 웹 사이트의 데이터를 모아서 데이터베이스에 저장합니다. * 스크레이핑(Scraping) 스크레이핑(Scraping)이란 웹 사이트에 있는 특정 정보를 추출하는 기술을 의미합니다. 스크레이핑을 이용하면 웹 사이트에 있는 정보를 쉽게 수집할 수 있습니다. 웹에 공개된 정보는 대부분 HTML 형식입니다. 이를 가져와서 데이터베이스에 저장하려면 데이터 가공이 필요합니다. 광고 등의 불필요..

google API(지도활용)

Google API 활용하기 구글 지오코딩(geocoding)이란 특정 위치나 주소를 입력하면 위도와 경도 좌표 정보를 제공해 주는 서비스 이다. 이 서비스를 이용하려면 사용자 인증 후에 google API 키를 발급 받아야 한다. # -*- coding: utf-8 -*- # google 지오코딩 API를 이용해서 위도, 경도 데이터 가져오기 import googlemaps import pandas as pd # my_key = "본인이 발급받은 API키를 입력" my_key = "발급받은 google API key 입력" # 구글맵스 객체 생성하기 maps = googlemaps.Client(key=my_key) # my_key값 입력 lat = [] # 위도 lng = [] # 경도 # 장소(또는 ..

wordcloud

# 이상한 나라의 앨리스 영문버전 읽어오기 # alice_wordcloud import numpy as np import matplotlib.pyplot as plt import platform from wordcloud import WordCloud, STOPWORDS from PIL import Image # data/alice.txt 파일 읽어오기 text = open('../data/alice.txt').read() # print(text) # data/alice_mask.png 읽어오기 alice_mask = np.array(Image.open('../data/alice_mask.png')) print(alice_mask) # said라는 단어는 카운트에서 제외됨 stopwords = set(S..

Numpy

1. numpy는 Numerical Python의 줄임말로 고성능의 과학계산 컴퓨팅과 데이터 분석에 필요한 패키지입니다. 2. numpy는 수치 계산을 효율적으로 하기 위한 모듈로서, 다차원 배열과 고수준의 수학 함수를 제공합니다. 3. numpy / pandas 두 라이브러리는 C언어로 작성돼 있으므로, 파이썬으로 만들어진 라이브러리보다 처리 속도가 빠릅니다. 4. numpy를 사용하려면, 표준 모듈이 아니므로 따로 설치해야 합니다. pip명령으로 설치하면 되는데, Anaconda를 사용한다면 기본적으로 설치되어 있습니다. * 시퀀스 데이터로부터 배열 생성 배열(Array) 이란 순서가 있는 같은 종류의 데이터가 저장된 집합을 말한다. 시퀀스 데이터(seq_data)를 인자로 받아 numpy의 배열 객..

Pandas

- 구조적 데이터 생성 - Series를 활용한 데이터 생성 : Series() - 날짜 자동 생성 : date_range() - DataFrame을 활용한 데이터 생성 : DataFrame() 1. numpy / pandas는 고급 데이터 분석과 수치 계산 등의 기능을 제공하는 확장 모듈입니다. 2. numpy 는 같은 데이터 타입의 배열만 처리할 수 있는 데 반해서 pandas는 데이터 타입이 다양하게 섞여 있는 데이터도 처리할 수 있다. 3. pandas 는 데이터 분석 기능을 제공하는 라이브러리로서, CSV, 엑셀 파일 등의 데이터를 읽고 원하는 데이터 형식으로 변환해 줍니다. 4. numpy / pandas 두 라이브러리는 C언어로 작성돼 있으므로, 파이썬으로 만들어진 라이브러리보다 처리 속도가..

책(밑바닥부터 시작하는 딥러닝 2) 4

자연어와 단어의 분산표현 2.1 자연어 처리란 자연어(Natural language) : 한국어나 영어 등 우리가 평소에 쓰는 말 자연어처리(Natural Language Processing, NLP): 우리의 말을 컴퓨터에게 이해시키기 위한 기술 자연어처리 생활 속 활용 : 검색엔진, 기계 번역, 질의응답 시스템, IME(입력기 전환), 문장 자동요약솨 감정분석 등 2.1.1 단어의 의미 우리의 말은 '문자'로 구성되며 말의 의미는 '단어'로 구성됩니다. ※ '단어의 의미'를 잘 파악하는 표현 방법(기법) 시소러스를 활용한 기법 통계 기반 기법 추론 기반 기법(word2vec) 2.2 시소러스 유의어 사전으로, '뜻이 같은 단어'나 '뜻이 비슷한 단어'가 한 그룹으로 분류되어 있습니다. '단어의 의미'..

BoW(이미지관련)

Bag of Words(BoW) Bag of Words(Bow)는 Bag of visual Words와 Bag of Features로 불리기도 합니다. 컴퓨터 비전 분야에서 BoW는 이미지 분류 과제에 주로 사용됩니다. 문서 분류 과제에서 Bag of Words (BoW) BoW는 맨 처음에 문서 분류 목적으로 사용되었기 때문에 Bag of Words라는 이름이 붙여졌습니다. BoW는 문서 내 어떤 단어들이 많이 존재하는지에 따라 문서의 주제를 분류해냅니다. 예를 들어, 어떤 문서에서 '패스', '골', '선수'등의 단어가 많이 출현 했다면 사진에 관련된 문서로 분류해내는 식입니다. 이때 단어들의 순서는 전혀 고려하지 않습니다. 간단히 어떻게 작동하는지 살펴보면. 문서 내 존재하는 단어들로 단어장을 만듭..

GAN(이론)

GAN(생성적 적대 신경망) * Generative Adversarial Network 생성적 적대 신경망(GANs)이란 두개의 네트워크로 구성된 심층 신경망 구조입니다. 다른 네트워크와 겨루는 구조이기 때문에 적대적(Adversarial)이라는 이름에 포함되었습니다. 어떠한 분포의 데이터도 모방하는 학습을 할 수 있기 때문에 GANs의 잠재능력은 엄청나다고 할 수 있습니다. 즉 GANs은 이미지, 음악, 연설 등의 모든 분야에서 실제 우리의 세계와 놀랍도록 비슷한 새로운 세계를 창조하도록 학습 될 수 있습니다. GANs을 이해하려면 생성(generative)알고리즘이 작동하는 방식을 알아야합니다. 이는 판별(discriminative) 알고리즘과 대조하여 더욱 쉽게 이해할 수 있습니다. 판별 알고리즘은..