K Nearest Neighbors (k-NN)

기존의 data가 가지고있는 label을 활용해서 새로운 data의 label을 분류하는 문제가 된다. 이렇게 된다면 미리 유사도를 정의해야 한다. 그리고 system 복잡도가 너무 높다. 따라서 data를 NN의 parameter에 녹여넣는 것이다.

Yann Lecun의 CNN 개발 : 우편번호인식에 혁신을 이루어냄

Using better activation function

annotation data의 효율적인 학습 기법

data 부족문제의 완화 : 대표적인 방법들

1. Data augmentation
2. Leveraging pre-trained information
3. Leveraging unlabeled dataset for training

CNN

Convolution 연산 이해하기

• 지금까지 배운 MLP는 fully connected. 가중치 행들이 i번째 위치마다 필요해서 i가 커지면 가중치 행렬의 크기가 커지게 됨

  

• 우리가 이제부터 볼 Convolution 연산은 커널이라는 고정된 가중치 행렬을 사용하여 고정된 커널을 입력벡터에서 옮겨가며 적용

  

• x라는 입력벡터 상에서 커널사이즈 만큼 움직여 가며 연산