Transfer Learning(전이 학습)

"Transfer learning(TL) is a research problem in machine learning(ML) that focuses on storing knowledge gained while solving one problem and applying it to a different but related problem"

[Definition of Wekipedia]

 

일반적으로 CNN 기반의 딥러닝 모델을 제대로 훈련시키려면 많은 수의 데이터가 필요하다. 그러나 이러한 데이터셋을 만드는 것은 비용이나 시간면으로 쉽지 않은일이다.

 

위 문제점을 해결하기 위한 것이 바로  TL(Transfer Learning)이다. TL이란 이미지넷과 같이 아주 큰 데이터셋에 훈련된 모델의 가중치를 가지고 와서 우리가 해결하고자 하는 과제에 맞게 재보정해서 사용하는 것을 의미한다. 

좀 더 쉽게 설명하자면, 흔히 우리가 MNIST예제를 통해 만들어 저장해 놓은 h5 파일이 있을 것이다. 이 파일은 가중치를 저장해 놓은 파일인데 이를 다시 가져와 우리가 가중치를 다시 재보정해 사용하는 것과 동일하다.

 

결과적으로 비교적 적은 수의 데이터를 가지고도 우리가 원하는 과제를 해결할 수 있는 딥러닝 모델을 훈련시킬 수 있게 되는 것이다.

 

전이학습

전이 학습은 특정 환경에서 만들어진 AI 알고리즘을 다른 비슷한 분야에 적용하는 것으로, 현재 많은 연구가 이뤄지는 머신러닝의 한 분야이다. 

간략하게 설명해보면, 체스를 익힌 AI에게 장기를 두게 하는 느낌(?)이다.