나의 큰 O는 log x야

이번 소개할 논문은 자연언어처리 기법을 응용하여, 라틴어의 각 단어들이 가지는 의미가 시기에 따라 어떻게 변화했는지 추적한 재미난 논문입니다. David Bamman과 Gregory Crane의 Measuring Historical Word Sense Variation이라는 논문인데요, 이 저자분들은 페르세우스 프로젝트의 선임 연구원들입니다. 페르세우스 프로젝트는 서양의 고전 문학 텍스트들을 수집하고 전산화하여 제공하는 프로젝트라고 할 수 있는데요, 이를 통해 다량의 고전 헬라어, 라틴어 텍스트들이 수집되고 공개되었습니다. 개인적으로 고전 인문학에 전산학을 접목한 아주 적절한 프로젝트라고 생각하는데요, 여기서 공개된 텍스트 데이터를 바탕으로 제 살아있는 라틴어 사전 및 살아있는 헬라어 사전도 만들어질 수..

그냥 공부 2018. 11. 12. 16:13

최근 연어 추출과 관련하여 몇몇 문의가 있었어서 '다변수 정규화 상호정보량과 연어 추출'에서 다뤘던 다변수 상호정보량을 계산하는 파이썬 코드를 공유해드립니다. class PMI3: def __init__(self, **kargs): self.dictCount = {} self.dictTriCount = {} self.nTotal = 0 def train(self, sentenceIter, weight = 1): for sent in sentenceIter: self.nTotal += len(sent) for word in sent: self.dictCount[word] = self.dictCount.get(word, 0) + weight for a, b, c in zip(sent[:-2], sent[1:..

프로그래밍/NLP 2018. 1. 30. 18:55

이 포스팅은 2017년 1학기 수업에서 사용한 발표자료를 정리하여 작성하였습니다. 감성 분석(Opinion Mining)이란사람이 작성하는 텍스트 안에는 그 글의 주요 대상이 되는 주제(Topic)가 있을 것이고, 그 주제에 대한 글쓴이의 의견(Opinion)이 있게 마련입니다. 글의 대상이 되는 주제를 찾아내는 작업을 토픽 모델링(Topic Modeling)이라고 하며 이전에 다루었던 LDA와 같은 방법이 널리 쓰이지요. 이 기술은 자동적으로 텍스트가 다루는 주제가 무엇인지 계산해내는 방법을 제공합니다. 마찬가지로 그 주제에 대한 글쓴이의 의견을 파악하는 것을 감성 분석(Opinion Mining, 또는 감성분류, sentiment classification)이라고 합니다. 이 기술을 이용하면 어떤 글..

수업노트 2017. 5. 25. 02:25

요즘 뭔가를 만들고 나면 반드시 기록을 남겨두려고 노력하고 있습니다. 안 그러면 만든 저 자신조차 나중에 어떻게 만들었는지 잊어버려서 수정하거나 더 발전시키기가 어려워지더라구요. 나중에 안 까먹으려면 건물을 지었을때 설계도를 잘 남겨두어야겠죠. 그래야 건물이 무너져도 다시 지을수 있을테니깐요. 삽질에 대한 머릿말 몇 주 동안(시험기간 빼면 사실 별로 안되지만) 언어 식별기(Language Detector)를 만들고자 노력해봤습니다. 사실 이미 더 좋은 성능의 언어 식별 라이브러리가 여기저기 널려 있죠. 특히 구글이 제공하는 것은 확실히 구글답게 막강하다고 할 수 있습니다. 그래도 그냥 한 번 스스로 만들어보고 싶었어요. 그냥 재미있을거같아서. 기초적인 아이디어는 예전에 라틴어 자동 크롤러(LMC: Lat..

프로그래밍 2016. 4. 28. 03:56