나의 큰 O는 log x야

사람들이 언어를 구사할때 '단어'를 기본 단위로 사용하듯 언어 모델은 '토큰(Token)'이라는 단위로 인간의 언어를 이해하고 생성합니다. 토큰은 쉽게 말해 컴퓨터가 인간의 언어를 처리할 때 사용하는 기본 단위라고 볼 수 있습니다. 그리고 임의의 텍스트를 컴퓨터가 처리하기 쉽게 토큰 단위로 분할하는 도구를 토크나이저(tokenizer)라고 합니다. '언어 처리의 기본 단위를 무엇으로 잡아야 하는가?'에 대해서는 단 하나의 정답은 없습니다. 완벽한 합의점은 없지만, 다수가 납득할 만한 좋은 토크나이저의 3가지 기준은 다음과 같이 정리해 볼 수 있습니다.유한성과 완전성: 토큰들의 집합은 유한하면서 충분히 작아야 한다. 그러나 이 토큰들을 조합하면 최대한 다양한 (무한한) 인간의 언어를 표현할 수 있어야 한다..

프로그래밍/NLP 2026. 10. 11. 01:13

최근 Kiwi의 신버전인 v0.23.0가 출시되었습니다. 이 버전에서는 신조어나 사전 미등재어처럼 Kiwi가 처음 보는 단어도 비교적 잘 분석할 수 있도록 OOV(Out-of-Vocabulary, 사전에 없는 단어) 탐지 성능이 강화되었고, 또 오타 교정시 메모리 사용량이 최적화되고 다어절에 대해서도 오타 교정이 적용되는 등 여러 가지 품질 개선이 있었습니다. 이번 포스트에서는 새 버전에서 어떻게 신조어 및 미등재어 처리가 강화되었는지 간단하게 설명하도록 하겠습니다.Kiwi의 고질적인 약점Kiwi는 모호성 해소 능력이 뛰어나고 방언 처리나 오타 교정 같은 까다로운 작업도 해낼 수 있지만 한편으로는 사전에 없는 단어를 지나치게 세밀하게 분해하려는 태생적인 단점도 안고 있었습니다. 이름바 '모르는 단어의 파..

프로그래밍/NLP 2026. 3. 31. 16:26

드디어 Kiwi v0.22.0에서부터 아주 기초적이긴 하지만 그래도 한국어 사투리들을 분석할 수 있는 기능이 추가되었습니다. 이번 포스팅에서는 Kiwi에 방언 분석 기능을 추가한 방법과 그 과정을 간략하게 설명하고 현재 모델의 성능을 소개하고자 합니다.CoNg의 장점을 부각시키기 위한 도전사투리에 대한 형태소 분석을 시도한 것은 사실 Kiwi에 최근 적용된 신경망 기반의 CoNg 모델의 유연성을 입증하기 위함이었습니다. 신경망 모델은 고전적인 통계 모델보다 노이즈에 강건하고 학습 때 배우지 않았던 패턴에 대해서도 더 잘 작동하기 때문에 학습 데이터가 사실상 전무한 한국어 사투리에 대해서도 잘 작동할 수 있을 것이라고 추정해볼 수 있습니다.즉 CoNg 모델이 기존의 통계 모델보다 사투리 분석에서 실제로 높..

프로그래밍/NLP 2025. 12. 30. 00:30

지난 포스팅에서는 CoNg 모델이 실제로 형태소 분석을 비롯한 모호성 해소, 문장 분리 등의 과제에서 높은 성능을 보이며 Kiwi에 들어갈 차세대 언어 모델로서의 자격이 충분히 있다는 것을 확인했습니다. 이제 남은 것은 코드를 실제로 짜서 CoNg 모델이 Kiwi 안에서 빠르고 정확하게 잘 돌아가도록 만들기만 하면 됩니다.(참 쉽죠?) 근데 제일 처음 신경망 모델을 도입하기로 결심했을때 설정했던 조건이 있었습니다. 그래서 사실 그냥 잘 돌아가는게 아니라 아래의 두 조건을 만족시키면서 돌아가야합니다.모델 크기는 100MB이내.속도는 현재 KnLM 기반의 분석기와 유사할 것. 혹시나 느려지더라도 1.5배 이상 느려지면 안됨.둘다 최적화와 관련된 문제가 되겠네요. 전자는 크기 최적화, 후자는 속도 최적화입니다..

프로그래밍/NLP 2025. 5. 30. 02:41

지난 포스팅까지는 Kiwi에서 도입한 CoNg 모델이 어떤 구조인지, 또 왜 이 모델을 도입했는지 간단하게 소개해드렸습니다. 이번 포스팅에서는 신경망 모델인 CoNg이 기존의 통계 기반 모델과 비교해 실제로 얼마나 강력해졌는지 비교 분석해보도록 하겠습니다.Kiwi CoNg 포스팅 시리즈형태소 분석기 Kiwi CoNg (1/4): 신경망 모델 도입기형태소 분석기 Kiwi CoNg (2/4): CoNg 모델 소개형태소 분석기 Kiwi CoNg (3/4): 모델 성능 비교형태소 분석기 Kiwi CoNg (4/4): 모델 최적화형태소 분석기의 성능 평가형태소 분석기의 성능을 평가하는 가장 정석적인 방법은 입력 문장과 그 문장의 올바른 형태소 분석 결과를 쌍으로 하여 평가 데이터를 구축하고, 형태소 분석기에 해당..

프로그래밍/NLP 2025. 5. 19. 03:17

지난 포스팅에서는 Kiwi에 내장된 통계 기반 언어 모델이 가지는 한계를 살펴보고 신경망 모델 도입 시 얻을 수 있는 혜택이 무엇인지 다뤘습니다. 그리고 어떤 신경망 구조를 사용할지 결정하기 위해서 다음과 같은 조건을 설정했다고 했었죠.모델 크기는 100MB이내속도는 현재 KnLM 기반의 분석기와 유사할 것. 혹시나 느려지더라도 1.5배 이상 느려지면 안됨.또 신경망 모델 중 가장 정교한 것은 Transformer Decoder를 사용한 GPT 계열 생성 모델이고, 가장 가벼운 것은 Word2Vec CBOW라고 언급했었습니다. 당연히 GPT 모델을 사용할 수 있으면 최고겠지만, 위의 두 조건을 달성할 수 없으니 현실과 타협하면서 모델 구조를 경량화해야했는데요, 오늘 포스팅에서는 경량화를 통해 도달하게 된..

프로그래밍/NLP 2025. 5. 11. 17:23

오랜만에 Kiwi 이야기를 들고 블로그로 돌아왔습니다. 최근에 Kiwi v0.21.0에 신경망 모델을 도입하면서 분석 정확도를 크게 향상시켰는데요, 그 시작부터 진행 과정, 결과까지를 함께 나눠보고자 이렇게 시리즈 포스팅을 작성하게 되었습니다. 길고 지루한 이야기가 될 수도 있지만 최대한 재미나게 구성해볼테니 마지막 편까지 "채널 고정" 해주시면 감사드리겠습니다~Kiwi CoNg 포스팅 시리즈형태소 분석기 Kiwi CoNg (1/4): 신경망 모델 도입기 형태소 분석기 Kiwi CoNg (2/4): CoNg 모델 소개형태소 분석기 Kiwi CoNg (3/4): 모델 성능 비교형태소 분석기 Kiwi CoNg (4/4): 모델 최적화왜 신경망 모델인가?잘 돌아가고 있는 Kiwi에 갑자기 왜 신경망 언어 모델..

프로그래밍/NLP 2025. 5. 4. 19:30

헷갈리는 사이시옷사이시옷은 참으로 묘한 녀석입니다. 이름은 분명 사이"시옷"인데 ㅅ소리가 전혀 나지 않거든요. 사이시옷의 역할은 두 개의 명사가 합쳐져서 복합 명사가 되는 과정에서 뒤의 명사가 된소리화(ㄲ/ㄸ/ㅃ/ㅆ/ㅉ)되거나 ㄴ소리가 첨가되는 현상을 반영하기 위해서 명사 사이에 ㅅ을 적기로 약속한 것이기 때문입니다. 그래서 적기는 ㅅ으로 적더라도 실제로는 ㅅ 소리가 절대 나지 않습니다. ('숫자'는 [숫자]로 소리나는 것이 아니라 [수짜]로 소리나고, '깻잎'은 [깨십]으로 소리나는 것이 아니라 [깬닙]으로 소리납니다.)사실 발음보다 더 골이 아픈 문제는 사이시옷을 언제 써야하는지, 언제 쓰지 말아야하는지를 구분하는게 참 어렵다는 겁니다. 잘 모르는 복합명사를 받아적을 일이 생겨서, 그 명사에 사이시옷..

프로그래밍/NLP 2024. 11. 4. 02:20