HMM (Hidden Markov Model) - 은닉 마르코프 모형

순차적인 데이터를 처리하는데에 강점을 가진 모델이며 따라서 개체명 인식이나 포스 태깅과 같은 연속적으로 이루어지는 언어구조 관련 처리에 주로 사용 되었던 기법이다.

 

은닉 마르코프 모형은 마르코프 체인 (Markov chain) 을 전제로 한 모형이며,

마르코프 체인은 한 상태의 확률 및 변이는 바로 직전 상태에만 영향을 받는다는 것이다. 즉, 한 상태의 변이는 긴 이력에 영향을 받지 않고 바로 직전 상태에만 의존한다.

 

날씨를 마르코프 체인으로 도식화 하면 아래와 같다.

 

날씨를 마르코프 체인으로 도식화 한 모습.

위 그림에서 각 노드는 상태 (state) 를, 엣지는 전이 확률을 의미한다.

보다시피 각 직전 상태의 레이어에만 영향을 받는다.

또한 각 전이 확률의 전체합은 1. 이 된다.

 

은닉 마르코프 모델은 각 상태가 위의 마르코프 체인을 따르지만 은닉 (hidden) 이 되어있다고 가정한다.

 

은닉 된 상태를 추론하는 마르코프 모델

HMM 을 도식화하게 되면 위와 같아지는데, 해당 내용을 날씨를 모르는 상태에서 아이스크림 판매량을 통해 날씨를 추론하는 상황이라고 가정을 한다.

 

B1 은 아이스크림 판매량이고 HOT, COLD 는 각각 은닉 된 상태의 날씨이다.

B1 을 날씨가 더웠다고 가정을 한 뒤 아이스크림 판매량을 따져보면 각각 아이스크림 1개가 판매 될 확률이 0.2, 2개는 0.4 그리고 3개는 0.4 이다. (위에서 말했듯이 변이 확률의 합은 1. 이 된다)

B1 은 더울 때의 조건부 확률이므로 HOT 과 관련이 되어있다.

 

또한 B 는 방출확률이라고도하는데 은닉 된 상태에서 관측치가 방출 되기 때문에 이런 이름이 붙여졌다.

 

HMM 은 likelihood , decoding , learning  위 3 가지의 단계로 나뉘어져 있는데

likelihood 에서는 forward algorithm , decoding 에서는 viterbi algorithm , learning 에서는 baum - welch algorithm 을 사용한다.

 

HMM 을 사용하여 데이터를 발음에 해당하는 phone squence 로 나타낼 수 있는데, 이를 통해 라벨링 되어있지 않는 speech data 를 speech tagging 하여 supervised learning 을 할 수 있다.