나의 큰 O는 log x야

한국어에 대한 자연언어처리를 실시할 때 맞닥뜨리는 가장 큰 문제는 새로운 단어를 나타나면 분석기가 얘를 파악하지 못하고 제멋대로 분해해버린다는 겁니다. 고유명사나 외래어가 많이 포함된 텍스트를 분석할때 이런 문제가 크게 두드러지는 데요, 예를 들면 다음과 같은 문제인거죠. 한국어 형태소 분석기를 계속 최신으로 업데이트하며 새로운 고유명사들을 추가해준다고 해도 새로운 단어가 만들어지는 속도를 따라잡을 수는 없기 때문에 이는 큰 문제입니다. 위의 예시를 가져온 연구에서는 형태소 분석 후 후처리로 PMI를 이용해 이 값들이 높은 형태소 쌍을 다시 묶어주는 방법으로 이 문제를 해결하고자 했습니다. 저런 문제로 계속 고민을 하던 중에 최근 https://github.com/lovit/soynlp 에서 간단한 통계..

그냥 공부 2018. 9. 2. 15:48

최근 단어 임베딩(Word Embedding)이 매우 뜨겁게 떠오르고 있습니다. 단어 임베딩 이전의 자연언어처리에서는 각각의 단어를 모두 독립적인 존재로 보고 번호를 붙여주는 방식으로 언어 처리를 실시했습니다. 예를 들어 {옷, 의류, 의복}이라는 단어가 있으면 옷 = 0, 의류 = 1, 의복 = 2 처럼 임의로 번호를 붙여준 것이죠. 0, 1, 2번에는 아무런 의미가 없고 단지 계산을 편리하게 하기 위해 정수를 붙인것 뿐입니다. 이를 통해 간편하게 0번이 몇번 등장하는지, 1번이 몇번 등장하는지 등을 셀 수 있고 이 빈도가 전체 문헌의 의미를 나타낸다고 가정하여 분석을 진행했었죠.하지만 단어 임베딩 기법에서는 각 단어를 임의의 차원의 실수로 대응시킵니다. 옷 = (0.1, 0.1), 의류 = (0.2,..

그냥 공부 2018. 8. 5. 21:07

지금까지 다양한 토픽 모델링 기법들을 살펴보았는데요, 곰곰히 생각해보면 여태까지 다룬 모든 토픽 모델들은 다 각각의 단어를 동등하게 보았습니다. the나 topic이나 model이나 project나 어떤 단어이던간에 순서나 위치에 상관없이 문헌 속에 몇 번 등장했느냐만을 고려했기 때문이지요. bag-of-words 모형이라고 하는데 이는 결국 모든 단어를 그 등장횟수로만 판단하겠다는 간결한 가정입니다. 그런데 말입니다, 과연 모든 단어를 동등하게 보는것이 맞을까요? 간단히 생각해봐도 the와 topic이라는 단어는 동등하게 볼 수 없을것 같습니다. the는 어디서나 쓰이는 흔한 단어라서 아무런 의미가 없고반면 topic은 주제를 드러내는데 도움이 되니까요. 그래서 LDA와 같은 토픽 모델의 성능을 높이기..

그냥 공부 2018. 6. 26. 18:19

어쩌다보니 토픽 모델링만 진득허니 파고 있는 블로거입니다. 오늘 살펴볼 토픽 모델은 링크(혹은 더 나아가 네트워크)를 예측해낼 수 있는 RTM(Relational Topic Model)예요. 전에 설명한 sLDA 모델이 각각의 텍스트로부터 각각의 텍스트에 속한 응답변수를 학습하는데에 사용되었다면, 이번 RTM 모델은 각각의 텍스트로부터 각각의 텍스트 쌍에 속하는 응답변수(연결 확률)를 학습하는데 사용된다는 점이 차이점입니다. 이미 다 말해버렸네요. 사실 이것만 이해하면 어려울게 전혀 없는 모형입니다. 이 포스팅은 다음 논문과 슬라이드를 바탕으로 작성되었습니다.Chang, J., & Blei, D. (2009, April). Relational topic models for document networks..

그냥 공부 2018. 3. 23. 17:31

언어 모델(Language Model)은 특정한 문장(단어의 나열)이 등장할 확률을 계산해주는 모형입니다. 당연히 언어별로 사용되는 단어나 문법에 차이가 있을 것이므로, 특정 문장의 등장 확률 값이 언어마다 다르겠죠. 그렇기에 특정 언어의 문장 등장 확률을 모형화한다는 점에서 언어 모델이라고 이름을 붙인듯 합니다. 그런데 문장의 등장 확률을 계산하는게 무슨 쓸모가 있을까요? 다음 예시를 생각해봅시다. 길이 많이 막혀서 학교에 _____. 위와 같은 문장이 있습니다. 마지막 단어가 빠져있는데, 한국어를 할 줄 아는 사람이라면, 자연스럽게 마지막에 들어갈 단어가 '늦었다'나 이와 비슷한 단어일것이라고 예상할 수 있습니다. '배고프다'라는 단어가 들어갈 것이라고 예상하는 사람은 한국어를 잘못 배운 사람이겠죠...

그냥 공부 2018. 3. 16. 17:52

앞서 LDA 토픽 모델링의 수학적 기초를 다루는 시리즈를 포스팅했었는데요 [그냥 공부] - [잠재 디리클레 할당 파헤치기] 1. 베이즈 추론[그냥 공부] - [잠재 디리클레 할당 파헤치기] 2. 디리클레 분포와 LDA[그냥 공부] - [잠재 디리클레 할당 파헤치기] 3. 깁스 샘플링으로 파라미터 추정 디리클레 분포에서 LDA로 건너뛰는 지점의 설명이 조금 부족한듯 싶어서, 공부를 좀더 진행하다가 LDA 토픽 모델링을 더욱 쉽게 설명할 수 있는 비유를 알아냈습니다. 그래서 번외편으로 추가 포스팅을 올리게 되었습니다! (글의 앞부분에는 수학적인 설명이 조금 첨부되어있습니다. 이게 이해하기 어려우신 경우 뒷부분에 폴리아 항아리가 나오는 부분부터 보시면 되겠습니다.) 디리클레 분포는 다항 분포를 일반화한 것이라..

그냥 공부 2018. 2. 13. 03:31

지금까지 연구된 수많은 토픽 모델링 기법들은 대게 단어 주머니(Bag of Words) 가설을 바탕에 두고 있습니다. 이는 문헌의 내용을 단어의 순서나 위치를 고려하지 않고, 주머니 안에 해당 단어가 들어있는지 없는지 (혹은 몇 개나 들어있는지) 만을 가지고 추론할 수 있다는 가설인데요, 당연히 우리가 사용하는 자연 언어와는 조금 맞지 않는 가설입니다. 예를 들어 A: 나는 사과는 싫고 배가 좋다. B: 나는 배는 싫고 사과가 좋다.와 같이 두 문장을 생각해봅시다. 두 문장의 의미는 정 반대이지만, 단어 주머니 가설에서는 두 문장이 같은 것으로 간주됩니다. 단어의 순서는 다르지만 단어의 출현 빈도는 동일하게 때문에 해당 가설을 바탕으로 하면 그 차이를 발견할 수가 없는 것이지요. 이렇게 BoW 가설은 그..

그냥 공부 2018. 2. 4. 01:52

이전 글([토픽 모델링] MG-LDA : 전역 주제와 지역 주제를 함께 추출하기)에서 MG-LDA 모델의 개념과 이론에 대해 전반적으로 살펴보았는데요, 본 게시물에서는 깁스 샘플링을 이용하여 MG-LDA 추론과정을 구현한 것을 가지고 실제 한국어 텍스트를 분석해보았습니다. MG-LDA와 깁스 샘플링 이전 글에서 모형에 대해서는 잘 설명해두었으니, 이번 글에서는 확률 식 및 깁스 샘플링 방법에 대해서 설명하도록 하겠습니다. 복습할 겸 MG-LDA의 문헌 생성 과정을 다시 짚어보자면 * 주제별 단어 분포 뽑기 과정 디리클레 분포(βG)에서 전역 주제별 단어 분포 φG를 뽑는다 (총 KG개)디리클레 분포(βL)에서 지역 주제별 단어 분포 φL를 뽑는다 (총 KL개) * 문헌 내의 단어 생성 과정(전체 문장 수..

그냥 공부 2018. 1. 15. 11:55