나의 큰 O는 log x야

불과 10여 년 전까지만 해도 대학생 과 커뮤니티 100 중 99는 싸이월드 클럽을 사용했습니다. 과연 싸이월드의 전성기라고 할 수 있었죠. 하지만 시대가 변해 SNS가 등장하고 싸이월드가 망하면서 싸이클럽 역시 쇠락의 길로 접어들었습니다. 지금은 대부분의 대학생 커뮤니티가 페이스북을 기반으로 하고 있다고 알고있으며, 일부 카페를 사용한다고 하는데요, 페이스북 그룹의 특징 상 게시물을 카테고리화해서 분류하기가 어렵고, 과거 자료를 열람하는 것이 매우 불편합니다. 그래서 과 커뮤니티를 네이버 카페로 옮기기로 했습니다.싸이월드 클럽 크롤러문제는 02년부터 최근까지 10년 넘게 축적된 싸이클럽의 데이터를 어떻게 카페로 옮길 것인가! 였습니다. 만 개가 넘는 게시물을 어떻게 손으로 직접 옮길수는 없고, 프로그램..

적분史 2017. 1. 28. 03:33

몇 개월 전에 살아있는 라틴어 홈페이지에 형태소 분석기 서비스가 추가되었습니다. 원리는 뭐 복잡한거 없이 지금까지 구축한 라틴어 코퍼스에서 격별, 성별, 수별 전이확률(어떤 격 뒤에는 어떤 격이 올 확률이 높은가, 어떤 동사 주변에는 어떤 격이 올 확률이 높은가, 어떤 전치사 뒤에는 어떤 격이 올 확률이 높은가 등)을 조건부 확률 계산식을 이용해서 계산하는 겁니다. 그래서 가장 확률 높은 성/수/격 요소를 추천해주는 거죠.코드가 복잡하지 않다고 생각해서 그 때 PHP로 약 340줄 코딩해서 형태소 분석기를 작성했었습니다. (각 상태별 전이확률은 MariaDB에 저장되어있고, 쿼리를 날려서 가져오는 형태)문제는 이렇게 후딱 코딩을 끝내고 나니 1. 굉장히 느리고, 2. 굉장히 메모리를 많이 먹었습니다. 약..

프로그래밍 2016. 11. 14. 03:23

최근 살아있는 라틴어 사전에서는 관련어 정보를 함께 제공하기 시작했습니다. 한 단어와 같이 등장할 가능성이 높은 단어를 함께 보여줌으로써 단어 검색의 효율성과 효과를 높이고자 한 것인데요, 이번엔 이 관련어 추출에 사용한 방법에 대해서 이야기해보고자 합니다. 기본적인 가정은 다음과 같습니다.관련 있는 단어일수록 한 문장에 같이 등장하는 빈도가 높을 것이다. 마찬가지로 한 문장에 같이 등장하는 빈도가 높을 수록 관련 있는 단어일 것이다. 즉 관련도를 함께 등장하는 빈도로 평가하겠다는 것이지요. 자 가장 간단한 방법으로 어떤 단어 A랑 함께 등장하는 모든 단어를 찾아서 그 함께 등장하는 빈도수로 정렬하는 것을 생각해 볼 수 있겠지요. 오늘 예시로 함께 할 라틴어 단어는 bibo (마시다)입니다. 코퍼스를 이..

프로그래밍 2016. 8. 3. 03:22

전에 작업했었던 언어 식별기(2016/04/28 - [프로그래밍] - [PHP + MySQL] 언어 식별기(Language Detection) 개발기) 코드를 정비해서 드디어 공개할 수 있게 되었습니다. PHP+MySQL 환경을 이용하시는 분이라면 누구나 쉽고 유용하게 쓰길바라며..! 저는 기존에 있던 Latin Mini Crawler에 이 기능을 붙여서 언어 식별 기능을 강화했습니다. 기존 크롤러가 라틴어인데 라틴어가 아니라고 판단하고 지나친 텍스트들과 라틴어가 아닌데 라틴어라고 판단해서 잘못 수집한 텍스트들을 정정하는데 큰 도움이 될거라는 생각에 벌써부터 마음이 부푸는군요! 다 좋은 라이브러리인데 문제는 용량입니다. Basic Set(약 70여 개의 주요 언어 포함)의 경우 7.33MB, Advanc..

프로그래밍 2016. 5. 9. 23:23

요즘 뭔가를 만들고 나면 반드시 기록을 남겨두려고 노력하고 있습니다. 안 그러면 만든 저 자신조차 나중에 어떻게 만들었는지 잊어버려서 수정하거나 더 발전시키기가 어려워지더라구요. 나중에 안 까먹으려면 건물을 지었을때 설계도를 잘 남겨두어야겠죠. 그래야 건물이 무너져도 다시 지을수 있을테니깐요. 삽질에 대한 머릿말 몇 주 동안(시험기간 빼면 사실 별로 안되지만) 언어 식별기(Language Detector)를 만들고자 노력해봤습니다. 사실 이미 더 좋은 성능의 언어 식별 라이브러리가 여기저기 널려 있죠. 특히 구글이 제공하는 것은 확실히 구글답게 막강하다고 할 수 있습니다. 그래도 그냥 한 번 스스로 만들어보고 싶었어요. 그냥 재미있을거같아서. 기초적인 아이디어는 예전에 라틴어 자동 크롤러(LMC: Lat..

프로그래밍 2016. 4. 28. 03:56

형태 규칙 서술 언어 MorPHP를 소개합니다! MorPHP는 Morphology + PHP로 PHP로 형태소 처리를 위해서 만들어졌습니다. 직접적인 동기는 살아있는 라틴어 사전에서 제공하던 어형 변화표 기능이 여러모로 확장성도 부족하고, 코드도 스파게티화되어가고 있어서, 아예 굴절 규칙을 별도의 서술 언어로 빼버리고, 해석기를 통해서 굴절 변화표를 생성하는 방식이 기존 방식보다 좋겠다는 생각이 들어서였죠. MorPHP를 통한 형태소 처리 프로그램은 다음과 같은 순서로 개발됩니다.MorPHP 규칙을 따라 개발하고자 하는 언어의 형태소 규칙을 서술한다.1번에서 작성된 규칙 파일을 MorPHP 해석기에 집어넣는다.해석기에서 생성한 PHP 또는 JS코드를 프로그램에 삽입하여 사용한다. 2012년인가 13년도에..

프로그래밍 2015. 11. 15. 20:03

오랜만에 글을 올리네요. 최근 작업한 부분은 도치 색인을 이용해서 만들어진 한국어-라틴어 사전의 내용을 개선하는 일이었습니다. 라틴어-한국어 사전을 편찬하면서 자동으로 생성되는 (라틴어, 한국어) 단어쌍을 뒤집으면 (한국어, 라틴어) 단어쌍이 되겠죠. 이 뒤집힌(도치된) 단어쌍을 모으면 한국어-라틴어 사전이 자동으로 만들어집니다. 문제는 기계적으로 만들어진 사전이다보니, 실제 활용하기에 번거로운점이 많다는 것입니다. 기존 한-라사전의 내용을 예로 들어보겠습니다. 눈 calyx, calycis; gemma, gemmae; oculus, oculī; cilium, ciliī; gena, genae; lūmen, lūminis; ninguis, ninguis; nix, nivis 뜻이 '눈'인 라틴어 단어를 ..

프로그래밍 2015. 10. 18. 16:53

네! 휴가나왔습니다~ 소중한 휴가 시간을 일일히 라틴어 사전 단어를 번역하면서 보낼수는 없다는 생각이 번뜩 들었습니다. 번역이라는 작업이 굉장히 고도로 복잡하고 어려운 작업이면서도 또 동시에 지루하고 단순한 반복작업이 되기도 합니다. 구문 번역이 아니라 외국어 사전에 실린 뜻풀이를 번역하는 일은 특히 더 반복적이고 지루합니다. (8000여 단어 번역을 직접 해본결과 하는 일은 1.단어를 본다 2.아는 단어면 바로 뜻을 적는다 3.모르는 단어면 사전을 찾아서 적는다 4.1번으로 돌아가 반복) 그래서 생각했습니다. 제 인생과 코딩의 모토는 단순하고 반복적인 작업은 기계에게 맡기고 사람은 창의적인 일에 시간을 써야한다.-적분, 2015, 군복무 중에(ㅋㅋㅋ) 이기 때문에, 이 단순하고 짜증하는 사전번역의 윤회..

프로그래밍 2015. 8. 1. 12:53