나의 큰 O는 log x야

앞서 LDA 토픽 모델링의 수학적 기초를 다루는 시리즈를 포스팅했었는데요 [그냥 공부] - [잠재 디리클레 할당 파헤치기] 1. 베이즈 추론[그냥 공부] - [잠재 디리클레 할당 파헤치기] 2. 디리클레 분포와 LDA[그냥 공부] - [잠재 디리클레 할당 파헤치기] 3. 깁스 샘플링으로 파라미터 추정 디리클레 분포에서 LDA로 건너뛰는 지점의 설명이 조금 부족한듯 싶어서, 공부를 좀더 진행하다가 LDA 토픽 모델링을 더욱 쉽게 설명할 수 있는 비유를 알아냈습니다. 그래서 번외편으로 추가 포스팅을 올리게 되었습니다! (글의 앞부분에는 수학적인 설명이 조금 첨부되어있습니다. 이게 이해하기 어려우신 경우 뒷부분에 폴리아 항아리가 나오는 부분부터 보시면 되겠습니다.) 디리클레 분포는 다항 분포를 일반화한 것이라..

그냥 공부 2018. 2. 13. 03:31

지금까지 연구된 수많은 토픽 모델링 기법들은 대게 단어 주머니(Bag of Words) 가설을 바탕에 두고 있습니다. 이는 문헌의 내용을 단어의 순서나 위치를 고려하지 않고, 주머니 안에 해당 단어가 들어있는지 없는지 (혹은 몇 개나 들어있는지) 만을 가지고 추론할 수 있다는 가설인데요, 당연히 우리가 사용하는 자연 언어와는 조금 맞지 않는 가설입니다. 예를 들어 A: 나는 사과는 싫고 배가 좋다. B: 나는 배는 싫고 사과가 좋다.와 같이 두 문장을 생각해봅시다. 두 문장의 의미는 정 반대이지만, 단어 주머니 가설에서는 두 문장이 같은 것으로 간주됩니다. 단어의 순서는 다르지만 단어의 출현 빈도는 동일하게 때문에 해당 가설을 바탕으로 하면 그 차이를 발견할 수가 없는 것이지요. 이렇게 BoW 가설은 그..

그냥 공부 2018. 2. 4. 01:52

최근 연어 추출과 관련하여 몇몇 문의가 있었어서 '다변수 정규화 상호정보량과 연어 추출'에서 다뤘던 다변수 상호정보량을 계산하는 파이썬 코드를 공유해드립니다. class PMI3: def __init__(self, **kargs): self.dictCount = {} self.dictTriCount = {} self.nTotal = 0 def train(self, sentenceIter, weight = 1): for sent in sentenceIter: self.nTotal += len(sent) for word in sent: self.dictCount[word] = self.dictCount.get(word, 0) + weight for a, b, c in zip(sent[:-2], sent[1:..

프로그래밍/NLP 2018. 1. 30. 18:55

이전 글([토픽 모델링] MG-LDA : 전역 주제와 지역 주제를 함께 추출하기)에서 MG-LDA 모델의 개념과 이론에 대해 전반적으로 살펴보았는데요, 본 게시물에서는 깁스 샘플링을 이용하여 MG-LDA 추론과정을 구현한 것을 가지고 실제 한국어 텍스트를 분석해보았습니다. MG-LDA와 깁스 샘플링 이전 글에서 모형에 대해서는 잘 설명해두었으니, 이번 글에서는 확률 식 및 깁스 샘플링 방법에 대해서 설명하도록 하겠습니다. 복습할 겸 MG-LDA의 문헌 생성 과정을 다시 짚어보자면 * 주제별 단어 분포 뽑기 과정 디리클레 분포(βG)에서 전역 주제별 단어 분포 φG를 뽑는다 (총 KG개)디리클레 분포(βL)에서 지역 주제별 단어 분포 φL를 뽑는다 (총 KL개) * 문헌 내의 단어 생성 과정(전체 문장 수..

그냥 공부 2018. 1. 15. 11:55

오늘 살펴볼 토픽 모델은 여러 계층의 주제들을 모델링할 수 있는 모델들입니다. LDA와 같은 기본적인 토픽 모델의 경우 주제가 한 계층밖에 없어서 모든 주제가 동등한 계층에 위치할 수 밖에 없습니다. 하지만 실제 의미적으로 따져볼 때 주제들 중에는 엄연히 넓은 범위를 포괄하는 상위주제도 있고, 특수한 부분만을 가리키는 하위주제도 있게 마련이죠. 예를 들어 '과학'이라는 상위 주제 밑에는 '물리학', '화학', '생물학' 등의 하위주제가 포함될 수 있듯 말입니다.이렇게 계층적인 주제를 모델링하기 위한 모형으로 크게 파칭코 할당(Pachinko Allocation, PAM) 모형과 계층적 LDA(Hierarchical LDA, hLDA) 모형, 그리고 이 둘을 합친 계층적 파칭코 할당(Hierarchical..

그냥 공부 2017. 12. 20. 17:04

앞서 수많은 토픽 모델들을 살펴보았습니다. (의도치 않게 토픽 모델링만 파게 되어버렸네요 다른 쪽도 관심이 많은데...) 문헌 집합에서 잠재적인 주제를 찾아준다는 요긴한 특성 때문에 토픽 모델링은 여러 곳에 활용할 수 있는데요, 리뷰 텍스트에서 핵심을 짚어내는 것도 그 중에 하나지요. 예를 들어 핸드폰에 관한 리뷰 텍스트를 모아서, 토픽 모델링을 실시한다면 핸드폰 리뷰에 단골로 등장하는 주제들인 디스플레이, 배터리, 발열, 그래픽 성능 등과 관련된 주제들이 나오겠죠. 그러면 특정 리뷰에 각각의 주제를 얼만큼 가지고 있는지 계량할 수 있고, 각 측면별로 리뷰를 요약한다던지, 점수를 매기는 작업 등등이 가능하게 됩니다. 하지만 이것은 토픽 모델러들의 이상이었고 현실은 조금 달랐습니다.핸드폰 리뷰를 모아서 기..

그냥 공부 2017. 12. 11. 01:51

시간 축에 따라 문헌 집합 내에 등장하는 주제들이 어떻게 바뀌는지를 살피는 것은 많은 사람들이 관심을 보이는 분야입니다. 이를 위해 기존의 토픽 모델링에 시간 요소를 첨가하여 모델을 확장하려는 시도가 여럿이 있었습니다. 앞서 포스팅에서 정리된 것들을 되짚어보면, 1) DMR 토픽 모델에서는 범주형 메타데이터에 따른 주제 차이를 분석할 수 있으므로, 시간 정보를 이산화하여 범주형 메타데이터로 넣어 분석을 실시할수 있습니다. 2) 혹은 sLDA를 활용해 응답 변수로 그 문헌의 작성 시간을 주어, 주제 분포에 적당한 시간 값을 학습하는 방법도 있겠습니다. 위 방법들은 여러 방향으로 사용가능한 모델에 시간을 끼워넣어 기존의 모델을 재활용한 것입니다만, 이번 포스팅에서 소개할 Topic Over Time 모델은 ..

그냥 공부 2017. 12. 1. 16:57

문헌 집합에서 유사한 단어들을 자동으로 묶어준다는 개념 덕분에 토픽 모델링을 감성분석에 이용하려는 시도는 줄곧 있어왔습니다. 결국 감성이라는 것이 어떻게 보면, 문헌 집합에서 "긍정" 주제, "부정" 주제, "중립" 주제에 대해서 찾아내고 그 비율을 계산하는 문제라고 볼 수도 있기 때문이죠. 이를 위해서 한편으로는 지도학습 기반인 sLDA를 이용하여 문헌과 그 문헌의 감성 점수를 학습하여, 새로운 문헌의 감성 점수를 예측하는 것처럼 기존의 주제를 분석하는 LDA의 측면을 활용하는 연구들이 있고, 다른 한 편으로는 토픽 모델링이 주제 측면뿐만이 아니라 감성 측면까지 다루도록 토픽 모델링을 확장하는 연구들도 있었습니다. 후자 속하는 모형에는 TSM(Topic Sentiment Mixture)와 JST(Joi..

그냥 공부 2017. 11. 21. 02:27