Unsupervised Networks로 데이터 카테고리 나누기 (feat. SOM)

이 글은 SELF-ORGANIZING MAPS TUTORIAL을 읽고 작성한 글입니다.

 

 

 

대량의 데이터들 속에서 이 데이터들이 어떤 특정한 경향이 있음을 알아보려면 어떻게 해야 할까?

군대에서 병사들이 헤쳐모이듯이 데이터들이 알아서 헤쳐모이도록 하려면 어떻게 해야 할까?

 

이 물음이 있다면 Self-organizing map(SOM) 기법을 사용해보는게 좋다.

 

SOM은 unsupervised newural networks의 한 유형이고 사용자로 하여금

대량의 데이터셋에서 범주(Category)를 발견할 수 있도록 도와주는 기술이다.

 

SOM은 grid의 형태로 뉴런을 표시한다.

격자무늬의 한칸 한칸이 뉴런인데 이 격자무늬가 반드시 사각형이진 않다.

 

SOM은 반복작업(Iteration)을 통해 뉴런들이 어떠한 분포로 데이터상에 위치하는지를 보는 게 포인트이다.

출처: https://algobeans.com/2017/11/02/self-organizing-map/

 

 

처음에는 모든 뉴런이 랜덤한 포지션에 위치하지만 반복횟수가 증가할수록 일정한 모양으로 수렴하는 것을 볼 수 있다.

SOM의 진화 속도도 처음에는 급격히 증가하다가 어느정도 모양이 나오면 그 속도가 줄어든다.

 

SOM을 통해 나타난 데이터의 경향은 Frequency Map, U-matrix 등으로 다양하게 표현될 수 있다.

 

Frequency Map (출처: https://algobeans.com/2017/11/02/self-organizing-map/)

 

U-matrix (출처: https://algobeans.com/2017/11/02/self-organizing-map/)