데이터와 인공지능/논문 (4) 썸네일형 리스트형 [논문 리뷰] Efficient Estimation of Word Representations in Vector Space 문제점 및 기여 부분 텍스트 데이터를 벡터화 하기 위해 가장 많이 사용된 One-Hot Encoding 방식 대신 새로운 방법론인 CBOW와 Skip-gram을 제시하며 Word2Vec의 대표적인 알고리즘으로 자리잡았다. 목차 Introduction Models Results 1. Introduction 텍스트 데이터는 단어 혹은 문장이기 때문에 바로 학습할 수 없다. 그래서 학습을 위해 범주형 데이터를 수치형 데이터로 변환해줘야 하는데 기존에는 One-Hot Encoding 방식이 가장 많이 사용됐다. One-Hot Encoding이란, 표현하고자 하는 단어를 1, 나머지 단어를 0으로 채운 (1, 단어 개수) 크기의 벡터이다. 위에 그림처럼 사과~참외까지의 거리가 100이라면 단어 개수는 100개이다.. [논문 리뷰] FaPN: Feature-Aligned Pyramid Network for Dense Image Prediction 논문 정보 논문에서는 단순성을 위해 Feature Alignment 문제를 개선?해결?하지 않고 그대로 사용하는 걸 문제점으로 삼았다. 그래서 misalignment가 발생하는데 이를 해결하고자 Feature Alignment Module을 제한해 offset을 학습해 문제점을 개선했다. 실제로 베이스라인이 되는 Feature Pyramid Network(FPN)보다 좋은 성능을 보여줬으며 ADE20K 데이터셋에 대해 56.7% mIOU로 SOTA를 달성했다. 리뷰 [그림 1]과 같이 FPN 같은 경우에는 Feature Misalignment 문제가 있어 경계선을 확대해서 봤을 때 모호하게 Segmentation 된 걸 볼 수 있지만, FaPN 같은 경우에는 FPN 보다 경계선에 있어서 제대로 Segme.. [논문 리뷰] Residual Attention Network for Image Classification 논문 정보 이 논문은 자연어 처리에서 만들어진 Attention 알고리즘을 CNN에 도입해 강한 특징을 살리고 약한 특징은 없애버리면서 이미지 분류에서 좋은 성능을 보여줬다. 리뷰 Attention 알고리즘은 그림 1과 같으며 feature map에다가 attention output을 더해서 특징이 강한 부분을 더욱 강조한다. 그래서 실제로 열기구가 있는 사진을 넣었을 때 low-level에서는 특징 범위가 큰 sky에 대해 attention 되었고 high-level로 갈수록 detail 한 object가 attention 된다. Attention Network는 CIFAR 데이터셋에서 기존 SOTA 모델보다 연산량도 적으면서 더 적은 에러율을 보여줬으며 ImageNet 데이터셋 대해서도 낮은 val .. [논문 리뷰] ResNet: Deep Residual Learning for Image Recognition layer가 깊으면서 현재 가장 많이 쓰이는 ResNet을 알아보자. Introduction 오늘 리뷰 할 논문은 K. He가 마이크로소프트에 있을 때 발표한 ResNet의 첫 번째 논문이다. Convolutional Layer가 깊을수록 더 복잡하고 추상화된 고급 정보를 추출하기 때문에 학습이 잘 된다고 알고 있는데, 그럼 Layer를 쉽게 쌓는 만큼 학습이 잘 되어 좋은 성능을 보여줄까?라는 생각을 하며 실험을 진행했다. layer가 깊으면 vanishing/exploding gradient 문제, 과적합 문제, 그리고 연산량 증가 문제 등이 있어 학습하는데 어려움이 있지만, Normalization 기법들로 gradient 문제를 해결해 어느 정도 깊이까지는 수월하게 학습이 가능하다. 근데 직접 실.. 이전 1 다음
