NLP / 지도학습

🦊자연어처리 (NLP - Natural Language Process)란?

언어학 지식에 상관없이 텍스트를 이해하는 통계적인 방법을 사용해 실전 문제를 해결하는 기술.

여기서 텍스트의 '이해'는 주로 텍스트를 계산 가능한 표현으로 변환함으로써 이루어짐.

이 표현은 벡터, 텐서, 그래프, 트리 같이 이산적이거나 연속적으로 조합한 구조이다.

 

최근에는 딥러닝( Deep learning ) 이라는 머신러닝 기술이 발전을 거듭하여 여러 인공지능 작업에서 효과성을 입증받았다. 딥러닝은 계산 그래프와 수치 최적화 기술을 사용해 데이터에서 표현을 효과적으로 학습하는 기술이다.

 

🦊지도 학습

머신러닝에서 지도학습은 샘플에 대응하는 타깃(예측하는 값)의 정답을 제공하는 방식.

기계번역에서 샘플은 한 언어의 문장이고 타깃은 다른 언어의 문장이다.

 

지도학습 시스템의 주요 6개 개념

샘플(sample) or 입력(input)

예측에 사용하는 아이템.

x로 표기.

 

타깃(target) or 정답(ground truth)

타깃에 상응하는 레이블, 예측되는 대상.

y 로 표기.

 

모델(model)

수학식이나 샘플x를 받아 타깃 레이블값을 예측하는 함수.

 

파라미터(parameter) or 가중치(weight)

파라미터가 모델을 규정.

w 로 표기.

 

예측(prediction) or 추정(estimate)

모델이 추측하는 타깃값.

햇(^) 표기를 사용.

 

손실함수( loss function)

훈련 데이터에 대한 예측이 타깃과 얼마나 멀리 떨어져 있는지 비교하는 함수.

타깃과 예측이 주어지면 손실이라 부르는 실수 스칼라값을 계산함.

손실이 낮을수록 타깃 예측을 더 잘하는 모델.

L로 표기.

 

🦊결론

지도학습은 샘플 n개 전체의 누적 손실을 최소화 하는 최적의 파라미터( 혹은 가중치) w를 찾는 과정