나의 큰 O는 log x야

고정 헤더 영역

글 제목

메뉴 레이어

나의 큰 O는 log x야

메뉴 리스트

  • 홈
  • Tag
  • Guestbook
  • Admin
  • 분류 전체보기
    • 적분史
    • 프로그래밍
      • PG어
      • 테크닉
      • 3D
      • Multi precision
      • 포니게임개발
      • 스페샬
      • NLP
    • 소리
    • 언어
      • 어원 이야기
      • 라틴어
    • 수업노트
      • 한국고대경제와사회
      • 영어구조론
      • 정보검색론
      • 인간의삶과역사속의미생물
      • 기타
    • 잉여
      • 미래
      • 수학
      • 종교개혁
    • 그냥 공부
    • 가짜 정보 정정합니다.

검색 레이어

나의 큰 O는 log x야

검색 영역

컨텐츠 검색

프로그래밍/NLP

  • 형태소 분석기의 모호성 해소 성능을 평가해보자

    2022.03.27 by ∫2tdt=t²+c

  • [Kiwi] 문장 같은 고유명사 잘 추출해내기

    2022.03.20 by ∫2tdt=t²+c

  • Kiwi로 한국어 문장 분리하기

    2021.12.23 by ∫2tdt=t²+c

  • Lamon : 라틴어 품사 태거 개발기

    2020.10.20 by ∫2tdt=t²+c

  • 범용적인 감정 분석(극성 분석)은 가능할까

    2020.07.08 by ∫2tdt=t²+c

  • [Python] tomotopy로 Correlated Topic Model 수행하고 시각화하기

    2020.06.09 by ∫2tdt=t²+c

  • [Python] tomotopy로 문헌별 토픽 비중 계산하기

    2019.12.01 by ∫2tdt=t²+c

  • Chrono-gram을 이용해 라틴어 고문헌 연대 추정하기

    2019.09.16 by ∫2tdt=t²+c

형태소 분석기의 모호성 해소 성능을 평가해보자

문제 상황 한국어 텍스트를 기계를 통해 분석하다 보면 기계가 아직 얼마나 한국어를 모르는지 다시 한 번 느끼게 됩니다. 한국인이 봤을땐 누가봐도 명백하게 모호하지 않은 문장을 헷갈려할 때가 바로 대표적인 예일겁니다. 규칙 활용하는 동사 "묻다"와 불규칙 활용하는 동사 "묻다", 또 규칙활용하는 "물다"는 그 활용형이 서로 겹칩니다. 아래 표로 정리하면 더 명확해지죠: 묻다 2 묻다 3 물다 1 뜻 물건을 특정 장소 속에 넣고 다른 물질로 위를 덮어서 가리다. 대답이나 설명을 요구하며 말하다. 어떤 것을 윗입술과 아랫입술 사이에 또는 윗니와 아랫니 사이에 끼워 넣고 벌어진 두 입술이나 이를 다물어 누르다. 예문 거름을 묻다, 시신을 묻다 견해를 묻다, 근황을 묻다 담배를 물다, 젖병을 물다 활용 묻어, 묻..

프로그래밍/NLP 2022. 3. 27. 01:11

[Kiwi] 문장 같은 고유명사 잘 추출해내기

고유명사 처리의 어려움 형태소 분석을 진행할 때 어려운 부분 중 하나는 고유명사(NNP) 처리입니다. 나머지 품사의 경우는 말뭉치를 잘 구축해두면 그 안에서 어지간한 패턴은 다 등장합니다만, 고유명사의 경우 그 특성상 끊임없이 새로 생성되기 때문에 아무리 말뭉치를 잘 구축해둬도 시간이 조금만 흐르면 새로 등장한 고유명사는 다 놓치게 됩니다. 그래서 대부분의 형태소 분석기는 사용자가 직접 사전 내에 새로운 단어를 삽입하여 이런 문제를 완화하고자 하지요. 새로 추가된 고유명사는 해당 문자열이 오분석되는 것을 막기 위해 대개 일반 분석 결과보다 더 높은 우선순위를 가지게 됩니다. 즉, 기존의 분석 결과를 새로 추가된 고유명사가 덮어쓴다고 할까요. 입력 분석결과 도전무한지식 도전/NNG 무한/NNG 지식/NNG..

프로그래밍/NLP 2022. 3. 20. 21:58

Kiwi로 한국어 문장 분리하기

우리의 생각이나 감정은 문장이라는 단위를 통해 표현됩니다. 문장은 여러 개의 단어로 이루어지며 주어와 술어를 갖춤으로써 그 자체로 완결된 의미를 드러냅니다. 그래서 텍스트를 분석할 때 문장을 최소 단위로 설정하면 유용한 경우가 많죠. 맞춤법에 맞춰 쓴 문장은 항상 마침표(. ! ?)로 끝나므로 이들을 분리하는 건 굉장히 쉬운 일입니다. 그러나 문제는 인터넷 상에서 접하는 텍스트처럼 격식을 덜 갖춘 글들이죠. 사람은 글을 읽어보고 어디서 문장이 끝나는지를 쉽게 알 수 있지만, 컴퓨터에게는 매우 난감한 문제입니다. 이번 포스팅에서는 Kiwi에 문장 분리 기능이 추가된 기념으로 문장 분리라는 과제에 대해 살펴보고, 현존하는 도구들의 정확도를 평가해보는 시간을 가지도록 하겠습니다. 문제 상황 전 애초에 한숨봇 ..

프로그래밍/NLP 2021. 12. 23. 02:05

Lamon : 라틴어 품사 태거 개발기

사람의 언어를 이해하기 위해 컴퓨터가 하는 가장 기본적인 작업은 텍스트에서 단어를 인식하고 그 단어들의 특성을 파악하는 것입니다. 흔히 품사 태거(Part-of-speech Tagger, POS Tagger)라고 부르는 이 도구는 각 단어의 품사를 파악해주는 일을 수행합니다. 문법과 어휘는 언어별로 크게 상이하게 때문에 품사 태거는 각 언어에 맞춰서 개발되어야 하는데요 이 때문에 언어별로 다양한 태거들이 개발되어 왔습니다. 영어는 가장 먼저 품사 태거가 연구된 언어이고, 축적된 데이터와 기법들이 많아 현재는 95% 이상의 정확도(이 정도면 사람과 대등한 수준이라 볼 수 있습니다)로 품사 분석을 수행할 수 있습니다. 반면 한국어의 경우 단어가 단순히 띄어쓰기로 구분되지 않고 여러 형태소가 결합해 하나의 어..

프로그래밍/NLP 2020. 10. 20. 03:04

범용적인 감정 분석(극성 분석)은 가능할까

텍스트의 긍정과 부정을 분류한다는건 생각보다 까다로운 일입니다. 사람들이 특정 대상에 대해 긍정 혹은 부정 감정을 드러낼때 직설적으로 좋다/나쁘다고 표현하는 경우도 있지만, 우회적으로 이야기하거나, 비유를 들거나, 비꼬는 경우도 많기 때문이죠. 이런 우회적인 표현 방법은 같은 언어라할지라도 분야에 따라서 크게 달라질 수 있습니다. 그래서 특정 분야에 맞춰 학습시킨 감정 분석 모델은 다른 분야에서는 형편 없는 성능을 보이는 경우가 있습니다.그래서 대학원 다니면서 항상 고민했던게 '요 감정 분석 모델을 저 분야에 적용해도 될까?'였습니다. 더 나아가 여러 분야에서 두루두루 쓰일 수 있는 감정 분석 모델이 있으면 좋겠다는 생각도 했었구요. 이에 대해서 어떤 선배님과 논의한 적도 있는데요, 선배님은 분야별 특성..

프로그래밍/NLP 2020. 7. 8. 22:29

[Python] tomotopy로 Correlated Topic Model 수행하고 시각화하기

이전 포스팅에서 Correlated Topic Model을 통해서 뉴스 기사를 분석하고 주제 간의 상관관계를 뽑아낸 적이 있습니다. 최근 tomotopy에 CTM을 추가해서 누구나 쉽게 따라해볼 수 있게 된 김에 간단하게 따라해볼 수 있는 코드를 공유드립니다!기본 코드는 tomotopy github의 예제코드(https://github.com/bab2min/tomotopy/blob/master/examples/ctm_network.py)와 동일하되, 전처리 부분만 한국어 전용으로 변경되었습니다.import re # 정규표현식 패키지 import tomotopy as tp # 토픽 모델링에 사용할 패키지 from kiwipiepy import Kiwi # 한국어 형태소 분석에 사용할 패키지 from pyv..

프로그래밍/NLP 2020. 6. 9. 22:37

[Python] tomotopy로 문헌별 토픽 비중 계산하기

이전 글(https://bab2min.tistory.com/633)에서 tomotopy로 간단하게 토픽 모델링을 실시하는 방법에 대해 소개했었는데요, 많은 분들께서 문헌별 주제 비중 계산하는데에 어려움을 겪고 계신듯하여, 문헌별 토픽 비중을 계산하는 방법을 이번 글에서 별도로 소개하도록 하겠습니다. 먼저 다음과 같이 LDA 토픽 모델을 학습시키도록 하겠습니다.import tomotopy as tp # 먼저 모듈을 불러와야겠죠 model = tp.LDAModel(k=20, alpha=0.1, eta=0.01, min_cf=5) # LDAModel을 생성합니다. # 토픽의 개수(k)는 20개, alpha 파라미터는 0.1, eta 파라미터는 0.01 # 전체 말뭉치에 5회 미만 등장한 단어들은 제거할 겁니다..

프로그래밍/NLP 2019. 12. 1. 00:26

Chrono-gram을 이용해 라틴어 고문헌 연대 추정하기

졸업 논문으로 연구했던게 통시적 단어 임베딩 기법이었습니다. 고전 그리스어로 '시간'을 뜻하는 단어 χρόνος와 '글'을 뜻하는 단어 γράμμα를 합쳐서 Chrono-gram(CG)이라고 이름을 붙였었는데요, 이 모형은 시간에 따른 언어의 변화를 포착하는데에 특화되어 있어서 텍스트의 연대를 추정하는데에 사용할 수 있습니다. 문제는 모형을 학습하려면 오랜 기간동안 변화를 보여주는 말뭉치를 구해야 하는데 이것이 생각보다 쉽지가 않습니다. 다행히도 구글에서 Google Books Ngram이라는 15세기부터 21세기까지의 Google Books의 책들을 바탕으로 빈도분석을 수행한 말뭉치를 공개해준 덕분에 이걸 바탕으로 논문을 마무리할 수 있었습니다.논문을 어찌어찌 끝내고 놀다보니 불현듯 고문헌 이미지를 수..

프로그래밍/NLP 2019. 9. 16. 23:35

추가 정보

인기글

  1. -
    자동 요약 기법의 연구 동향 정리

    2018.12.28 03:22

  2. -
    [Python] tomotopy로 쉽게 토픽 모델링 실시하기

    2019.05.22 17:06

  3. -
    -
    [Python] 임의의 웹 페이지에서 텍스트를 추출하기

    2018.11.04 15:34

  4. -
    [Tensorflow] 문자 인식용 신경망 Python3 코드

    2018.11.14 18:28

  5. -
    -
    [기계 학습] Mean Shift 클러스터링

    2019.09.04 23:57

  6. -
    -
    심심해서 해보는 딥러닝을 이용한 악기 소리 분류

    2019.12.02 21:52

  7. -
    -
    [기계 번역] 이중 언어 데이터에서의 단어 임베딩 (Bilingual Word Embeddings from Non-Parallel Docum⋯

    2018.11.30 18:19

  8. -
    -
    Python용 토픽 모델링 패키지 - tomotopy 개발

    2019.05.19 20:32

최신글

  1. -
    -
    [C++11] 인덱스 정보를 유지하면서 효율적으로 정렬하기

    테크닉

  2. -
    -
    형태소 분석기의 모호성 해소 성능을 평가해보자

    NLP

  3. -
    [Kiwi] 문장 같은 고유명사 잘 추출해내기

    NLP

  4. -
    -
    이진 탐색은 어디까지 빨라질 수 있을까?

    테크닉

  5. -
    -
    Kiwi로 한국어 문장 분리하기

    NLP

  6. -
    [C++11] 멤버 함수 포인터를 일반 함수 포인터로 바꾸기

    테크닉

  7. -
    -
    어떤 언어 모델이 좋을까 - 언어 모델을 평가해보자

    그냥 공부

  8. -
    -
    어떤 언어 모델이 좋을까 - 언어 모델의 간략한 역사

    그냥 공부

글쓴이 ∫2tdt=t²+c

블로그 이미지

제가 안 것의 대부분은 인터넷으로부터 왔으니, 다시 인터넷에게 돌려주어야 합니다. bab2min@gmail.com

댓글

  1. 살아있는 라틴어가 한국사람의 라틴어의 수준에 큰⋯ 06.26 amicus
  2. 네, 제 패키지가 도움이 되었다니 기쁘네요~ 살펴⋯ 06.24 ∫2tdt=t²+c
  3. 개발자님, 안녕하세요. 이렇게 좋은 형태소 분석⋯ 06.23 정미경
  4. tf.placeholder가 pycharm 내의 tensorflow에서 에⋯ 06.16 eggz
  5. 퍼갑니다~ 06.05 ShovelingLife

태그

python 한국고대경제와사회 악보 라틴어 정보조직론 포니게임 BigFloat 자연언어처리 정보검색론 토픽 모델링 c++ 리듬게임 영어구조론 텍스트 마이닝 pg어 문헌정보통계 NLP 우리역사바로알기대회 Direct3D php

방문자

오늘
74
어제
285
전체
1,460,789

페이징

이전
1 2 3 4
다음
나의 큰 O는 log x야
메일 bab2min@gmail.com
Skin Images are from Stinkehund.

티스토리툴바