[Python] tomotopy로 쉽게 토픽 모델링 실시하기

Posted by 적분 ∫2tdt=t²+c
2019.05.22 17:06 프로그래밍/NLP

저번 글에 소개했던 것처럼, 토픽 모델링 툴인 tomoto의 Python 패키지 버전을 며칠 전에 공개했었습니다. 이번 포스팅에서는 Python에서 이를 이용해서 쉽게 토픽 모델링을 하는 예제 코드를 공유하고자 합니다.

Step 1. tomotopy 패키지 설치하기

명령줄 혹은 Terminal 에서 다음과 같이 입력하여 tomotopy를 설치합니다. (만약 파이썬이 설치가 되지 않은 경우라면 먼저 파이썬을 설치해야겠죠. 3.5 버전 이상을 설치하는걸 추천드립니다)

$ pip install --upgrade tomotopy

Step 2. 토픽 모델링 코드를 작성하기

의외로 간단합니다. 바로 보도록 하시죠.


참 쉽죠? 단 입력 파일인 input_file.txt의 모양을 잘 생각해보셔야합니다. 이 파일은 한 줄에 문헌 하나를 담고 있다고 가정합니다. 또한 각 단어들은 공백 문자로 구분되어 있어야하구요. 그게 아니라면 제대로 처리가 되지 않겠죠?

자연언어처리에서 제일 중요한 건 전처리죠. 그런데 이 코드에는 전처리 부분이 없습니다. 입력 파일이 전처리되지 않았다면 결과가 이쁘게 나오지 않을테니 nltk를 이용해 전처리하는 코드를 추가해보도록 하겠습니다.

Step 3. (영어) 전처리 코드 추가하기


전처리 코드를 이용하면 토픽 모델에 좀더 깔끔한 데이터를 입력할 수 있겠죠?


실행하면 다음과 같은 결과를 얻을 수 있으실 겁니다. 제가 사용한 데이터는 호텔 리뷰 데이터였습니다.

Topic #0 great, hotel, view, stay, nice, beach, locat, street, room, plaza

Topic #1 locat, hotel, great, walk, good, room, staff, close, time, distanc

Topic #2 park, hotel, not, charg, free, internet, no, room, day, fee

Topic #3 room, nice, bed, small, clean, comfort, hotel, good, bathroom, littl

Topic #4 servic, hotel, stay, not, time, wait, minut, food, check, get

Topic #5 hotel, not, check, room, book, charg, told, stay, would, us

Topic #6 room, smell, smoke, not, dirti, like, clean, carpet, bed, stay

Topic #7 good, need, hotel, room, clean, locat, staff, price, updat, nice

Topic #8 hotel, good, close, airport, nice, shuttl, stay, clean, place, breakfast

Topic #9 breakfast, no, room, coffe, not, machin, clean, ice, good, fridg

Topic #10 stay, great, staff, hotel, nice, room, friendli, clean, good, again

Topic #11 room, not, air, hotel, no, condit, night, work, sleep, ac

Topic #12 room, night, door, nois, hotel, could, next, floor, peopl, hear

Topic #13 desk, staff, front, not, hotel, servic, help, friendli, no, check

Topic #14 stay, not, hotel, place, would, get, price, again, night, look

Topic #15 room, desk, front, call, get, us, not, check, back, day

Topic #16 bathroom, shower, room, not, door, toilet, no, need, water, wall

Topic #17 pool, water, not, hot, hotel, no, shower, nice, tub, kid

Topic #18 hotel, not, stay, would, renov, inn, star, disappoint, expect, year

Topic #19 room, bed, not, hotel, book, two, one, us, doubl, king

Step 3b. (한국어) 전처리 코드 추가하기

한국어 전처리는 영어에 비해 까다롭습니다. 명사나 형용사, 동사 등에 조사나 어미가 복잡하게 결합하고, 항상 단어 단위로 띄어쓰기를 하는것도 아니기 때문이죠. 이 때문에 한국어 분석을 위해서는 형태소 분석기가 필요합니다. 다행히도 여러 한국어 형태소 분석기가 이미 개발되어 있고, 또 파이썬에서도 쉽게 이들을 사용할 수 있어서, 한국어 분석도 편하게 진행할 수 있습니다. 여기에서는 마침 '과거의 제'가 개발한 kiwi의 파이썬 버전을 이용해보도록 하겠습니다. (kiwi 설치 역시 pip install --upgrade kiwipiepy 로 쉽게 하실 수 있습니다.)


마찬가지로 위에서처럼 add_doc에 tokenize(line)을 넣어주면 되겠죠.

(추가) 불용어를 지정하여 제거하고 싶은경우 아래와 같이 조건을 하나 더 추가할 수도 있겠습니다.


Step 4. 불용어 제거가 어려운 경우, 용어 가중치를 변경하자

이렇게 했는데도, 토픽별 상위 단어들이 너무 일반적이거나 자주 나오는 거라서 결과가 마음에 안 들수가 있습니다. 이 경우 용어 가중치 정책을 바꿔서 결과를 개선하는 방법을 사용할 수도 있습니다. 용어 가중치 정책은 모델 생성시에 설정해 줄 수 있습니다.


용어 가중치 정책에 대해서는 이전 포스팅에서 다룬 바 있으니 해당 글(https://bab2min.tistory.com/605)을 참조하시면 되겠습니다. Step 3에서 사용한 호텔 리뷰 데이터에 IDF 가중치 정책을 사용한 결과는 다음과 같습니다.

Topic #0 coffe, breakfast, no, cereal, tv, fridg, egg, juic, shower, cup

Topic #1 need, bathroom, carpet, dirti, shower, old, wall, not, stain, smell

Topic #2 plaza, street, fremont, great, vega, casino, downtown, locat, nice, la

Topic #3 air, water, hot, shower, work, ac, no, heat, condition, condit

Topic #4 beach, great, love, view, pool, nice, beauti, food, restaur, kid

Topic #5 dirti, bed, toilet, sheet, bathroom, bug, towel, stain, hair, carpet

Topic #6 bed, doubl, king, queen, size, room, two, book, us, park

Topic #7 locat, squar, walk, central, great, hotel, good, london, station, excel

Topic #8 peopl, not, get, back, never, go, look, like, around, say

Topic #9 breakfast, good, restaur, great, conveni, food, locat, nice, hotel, comfort

Topic #10 good, need, clean, staff, friendli, great, nice, price, stay, comfort

Topic #11 check, desk, told, call, ask, us, front, said, not, get

Topic #12 nois, hear, loud, thin, wall, door, noisi, sleep, could, night

Topic #13 smoke, smell, cigarett, non-smok, non, like, room, dog, stale, odor

Topic #14 desk, front, call, us, check, told, manag, phone, not, fix

Topic #15 star, price, not, hotel, rate, qualiti, expect, it, stay, better

Topic #16 charg, fee, park, internet, per, pay, extra, day, free, hilton

Topic #17 pool, ice, machin, floor, hot, elev, door, no, water, swim

Topic #18 ever, iron, worst, i, pillow, stay, servic, not, bed, time

Topic #19 shuttl, airport, park, close, flight, walk, driver, taxi, ride, bu

입력 데이터는 같은데 전혀 다른 결과가 나왔죠? 이는 자주 등장하는 단어 hotel, room 등의 가중치를 낮게 계산하고, 적게 등장한 단어들의 가중치를 높게 계산하는 데에서 기인한 차이입니다.

내친김에 가중치를 PMI로 계산한 결과도 보시죠.

Topic #0 view, beach, walk, locat, nice, great, close, restaur, hotel, disneyland

Topic #1 good, locat, breakfast, clean, staff, price, nice, great, hotel, valu

Topic #2 pool, hot, water, cold, no, heat, swim, tub, indoor, con

Topic #3 great, nice, staff, stay, friendli, hotel, famili, good, comfort, clean

Topic #4 plaza, great, casino, fremont, vega, downtown, nice, hotel, street, stay

Topic #5 shower, water, toilet, work, door, bathroom, no, broken, hot, not

Topic #6 food, restaur, order, bar, breakfast, buffet, dinner, servic, tabl, coffe

Topic #7 check, desk, front, rude, us, card, manag, servic, ask, arriv

Topic #8 check, desk, call, front, room, us, told, back, get, went

Topic #9 internet, wifi, breakfast, free, no, access, servic, connect, slow, not

Topic #10 dog, pet, outsid, sign, secur, keep, tabl, light, open, lot

Topic #11 nois, loud, sleep, noisi, night, hear, next, room, air, sound

Topic #12 smell, smoke, room, dirti, carpet, stain, sheet, like, bathroom, cigarett

Topic #13 stay, not, place, money, noth, i, hotel, would, pictur, do

Topic #14 need, old, room, bed, not, bathroom, dirti, updat, air, carpet

Topic #15 locat, airport, hotel, shuttl, walk, great, squar, good, central, conveni

Topic #16 bed, doubl, king, size, room, queen, two, book, small, suit

Topic #17 need, inn, hotel, motel, place, price, stay, ok, holiday, night

Topic #18 no, coffe, fridg, microwav, iron, towel, tv, refriger, maker, soap

Topic #19 park, charg, fee, resort, per, extra, pay, hotel, cost, car

용어 가중치 정책은 LDAModel 뿐만 아니라 tomotopy에서 제공하는 나머지 모든 토픽 모델(DMR, HDP, MGLDA, PA, HPA)에 대해서도 적용 가능합니다. 

이외에도 좀더 세세하게 토픽 모델링을 적용하고 싶으신 분들은 tomotopy 한국어 API문서를 살펴보시면 되겠습니다.

지금까지 tomotopy를 이용해 쉽게 토픽 모델링 하는 방법에 대해서 살펴보았습니다. 다음 번에는 tomotopy를 이용해 좀 더 다양한 데이터와 모델을 사용해보는 방법을 공유해보도록 하겠습니다~


이 댓글을 비밀 댓글로
    • 김호열
    • 2019.06.04 22:40
    영소설로 돌려봤는데, 처리 속도가 상당히 빠르네요. 감사합니다^^
    • 잘 작동된다면 다행이네요! 혹시라도 버그나 문제가 있으면 언제든지 제보 부탁드립니다~
    • 2019.06.06 15:40
    비밀댓글입니다
    • stopwords set을 만들어서 여기에 불용어 리스트를 삽입하시고, 이에 포함된 단어들을 제거하도록 조건문을 고쳐주시면 됩니다.
      본문에 해당 코드도 추가하였으니 확인하시면 되겠습니다
    • 2019.06.09 13:05
    비밀댓글입니다
    • 이해인
    • 2019.06.09 13:06
    안녕하세요. 우선 귀중한 자료 공유해주셔서 정말 감사합니다.
    다름이 아니라, kiwi 를 터미널에서 설치하는 데 있어 오류가 발생하는데 해결 방법이 있을까 하여 문의 드립니다.
      • 이해인
      • 2019.06.09 13:07
      터미널에서 발생한 오류 코드는 다음과 같습니다.

      Collecting kiwipiepy
      Using cached https://files.pythonhosted.org/packages/d1/15/398522c1c9b8aca3d21140f09c4afd2617975493134785f97442825e2379/kiwipiepy-0.6.3.tar.gz
      Building wheels for collected packages: kiwipiepy
      Building wheel for kiwipiepy (setup.py) ... error
      ERROR: Complete output from command /usr/local/opt/python/bin/python3.7 -u -c 'import setuptools, tokenize;__file__='"'"'/private/var/folders/kr/rb29h92n73n7z8sydd2gjjth0000gn/T/pip-install-s3ih6w3t/kiwipiepy/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' bdist_wheel -d /private/var/folders/kr/rb29h92n73n7z8sydd2gjjth0000gn/T/pip-wheel-fa_bvg97 --python-tag cp37:
      ERROR: running bdist_wheel
      running build
      running build_py
      creating build
      creating build/lib.macosx-10.14-x86_64-3.7
      creating build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      copying kiwipiepy/__init__.py -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      copying kiwipiepy/__main__.py -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      running egg_info
      writing kiwipiepy.egg-info/PKG-INFO
      writing dependency_links to kiwipiepy.egg-info/dependency_links.txt
      writing top-level names to kiwipiepy.egg-info/top_level.txt
      reading manifest file 'kiwipiepy.egg-info/SOURCES.txt'
      reading manifest template 'MANIFEST.in'
      writing manifest file 'kiwipiepy.egg-info/SOURCES.txt'
      copying kiwipiepy/default.dict -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      copying kiwipiepy/extract.mdl -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      copying kiwipiepy/sj.lang -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      copying kiwipiepy/sj.morph -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      running build_ext
      building 'kiwipiepycore' extension
      creating build/temp.macosx-10.14-x86_64-3.7
      creating build/temp.macosx-10.14-x86_64-3.7/KiwiLibrary
      clang -Wno-unused-result -Wsign-compare -Wunreachable-code -fno-common -dynamic -DNDEBUG -g -fwrapv -O3 -Wall -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.14.sdk -I/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.14.sdk/usr/include -I/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.14.sdk/System/Library/Frameworks/Tk.framework/Versions/8.5/Headers -I/usr/local/include -I/usr/local/opt/openssl/include -I/usr/local/opt/sqlite/include -I/usr/local/Cellar/python/3.7.3/Frameworks/Python.framework/Versions/3.7/include/python3.7m -c KiwiLibrary/Utils.cpp -o build/temp.macosx-10.14-x86_64-3.7/KiwiLibrary/Utils.o -std=c++1y -O3 -fpermissive
      In file included from KiwiLibrary/Utils.cpp:2:
      In file included from KiwiLibrary/KTrie.h:4:
      KiwiLibrary/Trie.hpp:55:13: error: use of undeclared identifier 'end'
      if (it == end()) return {};
      ^
      KiwiLibrary/Trie.hpp:62:13: error: use of undeclared identifier 'end'
      if (it == end()) return this->emplace(key, typename _Map::mapped_type{}).first->second;
      ^
      KiwiLibrary/Utils.cpp:178:16: warning: comparison of integers of different signs: 'uint32_t' (aka 'unsigned int') and 'int32_t' (aka 'int') [-Wsign-compare]
      return v - (v >= vSize[i] ? (1 << ((i + 1) * 7)) : 0);
      ~ ^ ~~~~~~~~
      1 warning and 2 errors generated.
      error: command 'clang' failed with exit status 1
      ----------------------------------------
      ERROR: Failed building wheel for kiwipiepy
      Running setup.py clean for kiwipiepy
      Failed to build kiwipiepy
      Installing collected packages: kiwipiepy
      Running setup.py install for kiwipiepy ... error
      ERROR: Complete output from command /usr/local/opt/python/bin/python3.7 -u -c 'import setuptools, tokenize;__file__='"'"'/private/var/folders/kr/rb29h92n73n7z8sydd2gjjth0000gn/T/pip-install-s3ih6w3t/kiwipiepy/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /private/var/folders/kr/rb29h92n73n7z8sydd2gjjth0000gn/T/pip-record-uuz4l1ml/install-record.txt --single-version-externally-managed --compile:
      ERROR: running install
      running build
      running build_py
      creating build
      creating build/lib.macosx-10.14-x86_64-3.7
      creating build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      copying kiwipiepy/__init__.py -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      copying kiwipiepy/__main__.py -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      running egg_info
      writing kiwipiepy.egg-info/PKG-INFO
      writing dependency_links to kiwipiepy.egg-info/dependency_links.txt
      writing top-level names to kiwipiepy.egg-info/top_level.txt
      reading manifest file 'kiwipiepy.egg-info/SOURCES.txt'
      reading manifest template 'MANIFEST.in'
      writing manifest file 'kiwipiepy.egg-info/SOURCES.txt'
      copying kiwipiepy/default.dict -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      copying kiwipiepy/extract.mdl -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      copying kiwipiepy/sj.lang -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      copying kiwipiepy/sj.morph -> build/lib.macosx-10.14-x86_64-3.7/kiwipiepy
      running build_ext
      building 'kiwipiepycore' extension
      creating build/temp.macosx-10.14-x86_64-3.7
      creating build/temp.macosx-10.14-x86_64-3.7/KiwiLibrary
      clang -Wno-unused-result -Wsign-compare -Wunreachable-code -fno-common -dynamic -DNDEBUG -g -fwrapv -O3 -Wall -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.14.sdk -I/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.14.sdk/usr/include -I/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.14.sdk/System/Library/Frameworks/Tk.framework/Versions/8.5/Headers -I/usr/local/include -I/usr/local/opt/openssl/include -I/usr/local/opt/sqlite/include -I/usr/local/Cellar/python/3.7.3/Frameworks/Python.framework/Versions/3.7/include/python3.7m -c KiwiLibrary/Utils.cpp -o build/temp.macosx-10.14-x86_64-3.7/KiwiLibrary/Utils.o -std=c++1y -O3 -fpermissive
      In file included from KiwiLibrary/Utils.cpp:2:
      In file included from KiwiLibrary/KTrie.h:4:
      KiwiLibrary/Trie.hpp:55:13: error: use of undeclared identifier 'end'
      if (it == end()) return {};
      ^
      KiwiLibrary/Trie.hpp:62:13: error: use of undeclared identifier 'end'
      if (it == end()) return this->emplace(key, typename _Map::mapped_type{}).first->second;
      ^
      KiwiLibrary/Utils.cpp:178:16: warning: comparison of integers of different signs: 'uint32_t' (aka 'unsigned int') and 'int32_t' (aka 'int') [-Wsign-compare]
      return v - (v >= vSize[i] ? (1 << ((i + 1) * 7)) : 0);
      ~ ^ ~~~~~~~~
      1 warning and 2 errors generated.
      error: command 'clang' failed with exit status 1
      ----------------------------------------
      ERROR: Command "/usr/local/opt/python/bin/python3.7 -u -c 'import setuptools, tokenize;__file__='"'"'/private/var/folders/kr/rb29h92n73n7z8sydd2gjjth0000gn/T/pip-install-s3ih6w3t/kiwipiepy/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /private/var/folders/kr/rb29h92n73n7z8sydd2gjjth0000gn/T/pip-record-uuz4l1ml/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /private/var/folders/kr/rb29h92n73n7z8sydd2gjjth0000gn/T/pip-install-s3ih6w3t/kiwipiepy/


      입니다.
    • 친절한 오류 제보에 감사합니다.
      해당 문제는 일부 코드가 clang과 호환되지 않게 작성되어서 발생한 것으로 확인되었습니다. 해당 문제를 해결한 0.6.5 버전을 새로 업로드하였으니

      pip install -U kiwipiepy>=0.6.5

      를 통하여 다시 설치해주시면 감사하겠습니다!
    • 2019.07.15 03:21
    역사학과라고 글을 읽은거 같은데 대단하시네요. 각종 정보는 어떻게 얻는지도 궁금합니다.
    • 과찬이십니다. 복수전공으로 정보학을 공부했구요, 학부/대학원 전공에서 공부한것 중심으로 키워드를 잡고 블로그 및 논문 등을 찾아서 배움을 넓히려고 하고 있습니다.
    • 지현
    • 2019.08.08 11:09
    tomotopy를 설치하니 이런 에러가 뜨는데 어찌할까요?
    Command "/anaconda3/bin/python -u -c "import setuptools, tokenize;__file__='/private/var/folders/lk/fzv4sw4s3lsdftpmlsfv1l_40000gn/T/pip-install-xtk61581/tomotopy/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /private/var/folders/lk/fzv4sw4s3lsdftpmlsfv1l_40000gn/T/pip-record-_2ggos0e/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /private/var/folders/lk/fzv4sw4s3lsdftpmlsfv1l_40000gn/T/pip-install-xtk61581/tomotopy/
    Note: you may need to restart the kernel to use updated packages.
    • 혹시 사용중인 OS와 Python(anaconda) 버전을 알려주시겠어요?
      • 지현
      • 2019.08.08 18:05
      macOS Mojave 버전 10.14.5
      Python 3.7.3
      conda 4.7.5
      입니다
    • 예, 테스트해본 결과 해당 환경에서 발생하는 컴파일 오류가 있어서 이를 해결한 tomotopy 0.1.6 버전을 올렸습니다. 소중한 제보 감사합니다. 최신 버전으로 다시 설치해보시길 부탁드립니다!
      • 지현
      • 2019.08.09 12:54
      다운 잘 받았습니다. 답변 감사합니다^^
    • 송일
    • 2019.08.10 16:13
    안녕하세요. 블로그를 통해 많은 도움을 얻고 있습니다.
    다름이 아니라 Tomoto Gui와 파이썬의 Tomoto 패키지를 이용한 결과가 사뭇 다릅니다.
    LDA의 초기 arbitrary 토픽 할당 때문으로 생각했으나, 같은 하이퍼 파라미터(k=2, alpha=0.1, eta=0.01)를 두고
    여러번 돌려본 결과 텍스트 전처리 부분에서 차이가 있는 것 같습니다.
    예를들면, Tomoto Gui와는 달리 파이썬에서는 -하는, -하고에서 '하'가 독립적으로 떨어지는 느낌이 듭니다.
    올려주신 한국어 전처리 이외에 작업이 Tomoto Gui에서 이루어지나요?
    제가 아직 미숙해서 텍스트 전처리를 제대로 못한걸수도 있습니다 .^^;;
    저는 Gui의 결과가 맘에 드는데 어떻게 하면 Gui의 출력처럼 나오게 할 수 있을까요? 감사합니다.
    • tomoto gui에서 사용하는 라이브러리 버전이 조금더 옛날것이라 발생하는 차이로 보입니다.
      -하는, -하고 와 같은 표현의 경우 형태소 분석기를 거치면 하/XSV, 는/ETM, 혹은 하/XSV, 고/EC 와 같이 분리가 되는게 맞습니다. 아마 예전 버전의 결과에서는 이것이 제대로 분리되지 않은 것으로 보입니다.

      즉, '분석하다'라는 문장이 입력되면 최신 버전의 kiwi에서는
      분석/NNG + 하/XSV + 다/EF
      로 분해가 됩니다.

      이를 붙여주시기 위해서는 kiwi로 분석한 결과 중 품사 태그가 XSV나 XSA인 경우 앞의 단어와 합치는 작업을 수행하셔야 합니다.
      • 송일
      • 2019.08.22 00:56
      품사 태그는 세종품사태그를 사용하셨군요. 감사합니다.
    • 네 맞습니다. 미약하나마 도움이 되셨길 바랍니다!
    • 2019.10.19 07:20
    비밀댓글입니다
    • 토픽모델링은 확률적인 샘플링 과정을 거치기 때문에 실행시마다 결과가 달라질 수 밖에 없습니다. 좋은 방법은 iteration 횟수를 크게 높여 모델이 안정적인 상태로 수렴하게 하는 것이지만, 이 역시도 실행시마다 결과가 바뀝니다.

      결과를 고정시키는 확실한 방법은 난수의 시드값을 고정시키는 수밖에 없는데, 처음에 LDAModel을 만들때 tp.LDAModel(~~~~, seed=원하는값) 으로 설정하여 seed값을 고정시키시고
      train할때 train(workers=1)로 하여 멀티쓰레딩을 끄시면 됩니다.
      • 2019.10.21 14:53
      비밀댓글입니다