[Python] 네이버 영화 한줄평 크롤링 코드

스팀 게임평이 양이 적어서 감성사전을 구축하기 어렵다고 판단하여 네이버 영화 평점을 수집하는 일을 수행했었는데요, 이 역시 수집만 하고 다음 단계로 넘어가지 않았기에 방치해두기 아까운 코드, 공유해드립니다.

앞의 글과 마찬가지로 Python3로 작성되었으며, 실행을 위해서 BeautifulSoup 라이브러리가 필요합니다.

import urllib import urllib.request import urllib.parse import bs4 import re import os import time from concurrent.futures import ThreadPoolExecutor def deleteTag(x): return re.sub("<[^>]*>", "", x) def getComments(code): def makeArgs(code, page): params = { 'code': code, 'type': 'after', 'isActualPointWriteExecute': 'false', 'isMileageSubscriptionAlready': 'false', 'isMileageSubscriptionReject': 'false', 'page': page } return urllib.parse.urlencode(params) def innerHTML(s, sl=0): ret = '' for i in s.contents[sl:]: if i is str: ret += i.strip() else: ret += str(i) return ret def fText(s): if len(s): return innerHTML(s[0]).strip() return '' retList = [] colSet = set() print("Processing: %d" % code) page = 1 while 1: try: f = urllib.request.urlopen( "http://movie.naver.com/movie/bi/mi/pointWriteFormList.nhn?" + makeArgs(code, page)) data = f.read().decode('utf-8') except: break soup = bs4.BeautifulSoup(re.sub("&#(?![0-9])", "", data), "html.parser") cs = soup.select(".score_result li") if not len(cs): break for link in cs: try: url = link.select('.score_reple em a')[0].get('onclick') except: print(page) print(data) raise "" m = re.search('[0-9]+', url) if m: url = m.group(0) else: url = '' if url in colSet: return retList colSet.add(url) cat = fText(link.select('.star_score em')) cont = fText(link.select('.score_reple p')) cont = re.sub('<span [^>]+>.+?</span>', '', cont) retList.append((url, cat, cont)) page += 1 return retList def fetch(i): outname = 'comments/%d.txt' % i try: if os.stat(outname).st_size > 0: return except: None rs = getComments(i) if not len(rs): return f = open(outname, 'w', encoding='utf-8') f.write('INSERT IGNORE INTO movie VALUES ') for idx, r in enumerate(rs): if idx: f.write(',\n') f.write("(%d,%s,%s,'%s')" % (i, r[0], r[1], r[2].replace("'", "''").replace("\\", "\\\\"))) f.write(';\n') f.close() time.sleep(1) with ThreadPoolExecutor(max_workers=5) as executor: # 영화 고유 ID값의 범위를 몰라서 대략 아래처럼 잡았습니다. for i in range(10000, 200000): executor.submit(fetch, i)

실행하면 comments 폴더 안에 txt파일로 영화평들이 다운로드됩니다. comments 폴더를 미리 만들어두셔야 에러가 안 날거에요.