나의 큰 O는 log x야

몇 개월 전에 살아있는 라틴어 홈페이지에 형태소 분석기 서비스가 추가되었습니다. 원리는 뭐 복잡한거 없이 지금까지 구축한 라틴어 코퍼스에서 격별, 성별, 수별 전이확률(어떤 격 뒤에는 어떤 격이 올 확률이 높은가, 어떤 동사 주변에는 어떤 격이 올 확률이 높은가, 어떤 전치사 뒤에는 어떤 격이 올 확률이 높은가 등)을 조건부 확률 계산식을 이용해서 계산하는 겁니다. 그래서 가장 확률 높은 성/수/격 요소를 추천해주는 거죠.코드가 복잡하지 않다고 생각해서 그 때 PHP로 약 340줄 코딩해서 형태소 분석기를 작성했었습니다. (각 상태별 전이확률은 MariaDB에 저장되어있고, 쿼리를 날려서 가져오는 형태)문제는 이렇게 후딱 코딩을 끝내고 나니 1. 굉장히 느리고, 2. 굉장히 메모리를 많이 먹었습니다. 약..

프로그래밍 2016. 11. 14. 03:23

생각해보니 BigFloat 라이브러리를 입대전까지 심심풀이로 개발하다가 그대로 방치해두었었군요.블로그를 재정비하면서 그간 포스팅했던 소스코드의 + 기호가 공백으로 바뀌어버리는 참사가 발생해서 포스팅의 소스코드를 활용할 수 없게되었다는 소식을 받고선 아예 통으로 예전에 작업했던 코드를 공유합니다. 작업 중이던 녀석이고 공개하려고 생각도 안해서 주석도 거의 안 달리고 코드가 이쁘지도 않습니다.그래도 꼭 필요하신 분들께는 도움이 되지 않을까 싶어서 공유하오니 무단으로 가져다가 '이거 다 제가 짰습니다!' 하시지만 않으면 됩니다. (중간중간에 버그가 있어서 통째로 가져가서 쓰시면 문제가 발생할수도 있구요) 임의정밀도 실수 연산에 대해서 구현된 것들은 다음과 같아요덧셈, 뺄셈크기 비교곱셈, 카라슈바 곱셈곱셈 후 ..

프로그래밍/Multi precision 2016. 11. 4. 16:24

저번에 학과 창립 70주년을 맞이하여 주소록을 정비할 일이 생겼습니다. 한글 2010으로 작업을 하게 되었는데요, 주소록 데이터는 엑셀 형태(혹은 RDB 형태)로 저장되어 있었죠. 필드는 크게 성함, 학번, 졸업년도, 집 주소, 사무실 주소, 집 연락처, 사무실 연락처, 메일 주소, 모바일 연락처가 있었습니다. 모든 필드가 빠짐없이 꽉꽉 채워져 있었다면 메일 머지를 통해 모든 주소록 데이터를 쉽게 한글 문서화 할수 있었겠으나, 문제는 로우마다 빠져있는 데이터가 제각각이라서 이 데이터를 가지고 그냥 메일 머지를 돌리면 주소록 전체에 듬성듬성 빈공간이 남아서 보기 흉하고 분량도 늘어난다는 것이었죠.그래서 자료를 찾던 도중 한글2010에서 제공하는 매크로를 이용해 각 경우마다 최적의 레이아웃에 맞춰 문서를 생..

프로그래밍 2016. 11. 4. 16:04

고고학(Archaeology : ἀρχαῖος + λόγος) 고고학사 층위 발굴 연대 측정상대연대 측정법: 사건의 선후관계만을 파악하는 연대 결정법층서법: 누중의 법칙(아래쪽에 쌓인 지층이 위쪽보다 오래되었음)과 공반(동일 퇴적층에서 발견되는 유물은 같은 시기에 묻혔음)을 이용해 선후관계를 파악형식분류법: 생물종이 점진적으로 진화하듯 유물도 마찬가지. 유물의 양식이 변화해나가는 것을 살피면, 생성 연대가 비슷할 수록 유물 양식이 비슷하고, 생성 연대 차이가 클 수록 유물 양식의 차이가 커진다는 것을 알수 있음. 이를 통해 유물 간의 선후관계를 파악.표준화석: 생존 기간이 짧고 진화 속도가 빠르며 넓은 지역에 걸쳐 산출되는 화석으로, 지층의 생성 시기를 알려준다. 지층에서 발견되는 표준화석을 통해 공반된..

수업노트 2016. 10. 20. 09:20

최근 살아있는 라틴어 사전에서는 관련어 정보를 함께 제공하기 시작했습니다. 한 단어와 같이 등장할 가능성이 높은 단어를 함께 보여줌으로써 단어 검색의 효율성과 효과를 높이고자 한 것인데요, 이번엔 이 관련어 추출에 사용한 방법에 대해서 이야기해보고자 합니다. 기본적인 가정은 다음과 같습니다.관련 있는 단어일수록 한 문장에 같이 등장하는 빈도가 높을 것이다. 마찬가지로 한 문장에 같이 등장하는 빈도가 높을 수록 관련 있는 단어일 것이다. 즉 관련도를 함께 등장하는 빈도로 평가하겠다는 것이지요. 자 가장 간단한 방법으로 어떤 단어 A랑 함께 등장하는 모든 단어를 찾아서 그 함께 등장하는 빈도수로 정렬하는 것을 생각해 볼 수 있겠지요. 오늘 예시로 함께 할 라틴어 단어는 bibo (마시다)입니다. 코퍼스를 이..

프로그래밍 2016. 8. 3. 03:22

어떤 분께서 가버 변환 관련 소스 코드를 요청하셔서 예전에 짜다가 내팽겨쳤던 코드를 공개합니다. 변환까지는 재미나게 개발하다가, 주파수 대역에서 특징추출하고 인식하는 부분이 엄청나게 어렵다는 것을 깨닫고 관두었던게 떠오르네요. 아무튼 흥미로운 분야입니다. 아래 소스코드는 음성 파일을 하나 읽어서 차례대로 가버 변환을 실시합니다. 이에는 다음과 같은 라이브러리들이 사용됩니다. libfft3w : 푸리에 변환을 수행해주는 라이브러리. c/c++ 계열에서는 푸리에 변환 관련해서 이 라이브러리를 능가하는게 없죠. 외부 라이브러리를 사용할수 있는 환경이라면 강추하는 녀석입니다.libsndfile : 다양한 음성 파일을 읽어오는 라이브러리. 음성 파일을 읽을 필요가 없다면 이 라이브러리를 안 쓰셔도 됩니다. 가버 ..

프로그래밍 2016. 7. 26. 00:15

여름방학 즈음부터 한동안 관리를 소홀히했던 라틴어 사전을 보강하고자 여러 노력을 기울이고 있습니다. 먼저 페르세우스 프로젝트에서 고전 원문 텍스트를 받아서 사전에 추가하는 작업을 했지요. http://www.perseus.tufts.edu/hopper/opensource 에서 친절하게 오픈소스로 원문 배포를 해주고 있어서, XML 파싱을 위한 코딩만 약간 해서 방대한 양의 고전 라틴어 텍스트를 얻어낼 수 있었습니다. 이렇게 훌륭한 자료를 제공해주다니, 역시나 우리 모두는 거인의 어깨 위에 올라서서 좀 더 먼 곳을 내려다보는게 분명합니다..! ^^ 텍스트가 확보되었으니, 여러가지 실험들을 해볼 수 있지요! 제 라틴어 사전을 보면서 스스로 가장 아쉬웠던 점은 예문이 부족하고, 기재된 단어가 2만여개 밖에 되..

적분史 2016. 7. 19. 09:47

16년 3월에 구입했던 태블릿 PC 코넥티아 M Stylus에는 키보드가 딸려있었는데요, 이놈이 글쎄 사용 3개월만에 맛이 가버렸습니다... 증상은 숫자키 1~4, 7~0이 먹통이 된거죠. 비밀번호 입력에도 지장이 많고, 숫자키에 특수문자가 다 올라가 있기 때문에 코딩도 전혀 안되는 상황이 온거죠... 윈10의 소프트웨어 키보드로 숫자입력을 간신히 대체해 사용만 할 수 있는 정도였습니다. 이래서 중국제(Cube) 싼 태블릿을 사지말라고 했던건가 싶네요. 저번에 SSD도 상태가 안 좋아 교체하고, 이번엔 키보드라니. 혹시나 성우모바일 측에 키보드 교체가 가능한지 문의해봤는데, 조치해줄터이니 착불로 보내달라고 하더군요. 보낸지 3일만에 (배송시간 빼면 거의 바로 조치해준셈이죠) 새 키보드를 보내주었습니다. ..

적분史 2016. 7. 11. 16:47