논문 리뷰 (2) 썸네일형 리스트형 [논문 리뷰] Efficient Estimation of Word Representations in Vector Space 문제점 및 기여 부분 텍스트 데이터를 벡터화 하기 위해 가장 많이 사용된 One-Hot Encoding 방식 대신 새로운 방법론인 CBOW와 Skip-gram을 제시하며 Word2Vec의 대표적인 알고리즘으로 자리잡았다. 목차 Introduction Models Results 1. Introduction 텍스트 데이터는 단어 혹은 문장이기 때문에 바로 학습할 수 없다. 그래서 학습을 위해 범주형 데이터를 수치형 데이터로 변환해줘야 하는데 기존에는 One-Hot Encoding 방식이 가장 많이 사용됐다. One-Hot Encoding이란, 표현하고자 하는 단어를 1, 나머지 단어를 0으로 채운 (1, 단어 개수) 크기의 벡터이다. 위에 그림처럼 사과~참외까지의 거리가 100이라면 단어 개수는 100개이다.. [논문 리뷰] ResNet: Deep Residual Learning for Image Recognition layer가 깊으면서 현재 가장 많이 쓰이는 ResNet을 알아보자. Introduction 오늘 리뷰 할 논문은 K. He가 마이크로소프트에 있을 때 발표한 ResNet의 첫 번째 논문이다. Convolutional Layer가 깊을수록 더 복잡하고 추상화된 고급 정보를 추출하기 때문에 학습이 잘 된다고 알고 있는데, 그럼 Layer를 쉽게 쌓는 만큼 학습이 잘 되어 좋은 성능을 보여줄까?라는 생각을 하며 실험을 진행했다. layer가 깊으면 vanishing/exploding gradient 문제, 과적합 문제, 그리고 연산량 증가 문제 등이 있어 학습하는데 어려움이 있지만, Normalization 기법들로 gradient 문제를 해결해 어느 정도 깊이까지는 수월하게 학습이 가능하다. 근데 직접 실.. 이전 1 다음
