[Python] 호환용 한자를 통합 한자로 변환하기

한때 국내를 평정했던 한국어 문자 인코딩 규격인 KS X 1001에는 정말 많고 많은 문제가 있습니다... 다행히도 유니코드의 등장으로 레거시 시스템을 제외하고는 대부분 문자 인코딩 셋이 유니코드로 대통일되고 있는 상황이지만, 아직도 그 잔재가 끼치는 악영향은 이루 말할 수 없죠.. 대표적인 문제 중 하나는 같은 한자인데 발음이 다르다는 이유로 문자 코드에 중복 배당을 하여, 모양은 같지만 코드 상으로는 다른 글자가 수없이 생겨났다는 겁니다. 이 문제의 자세한 정보에 대해서는 나무위키 문서를 참조하시면 좋을 듯 합니다.

현재 유니코드에는 통합 한자와 호환용 한자라는 두 종류의 한자가 배당되어 있습니다. 통합 한자는 말 그대로 모양이 같은(거의 유사한) 한자들은 같은 코드로 합친 영역을 말하며, 호환용 한자는 한중일 각국의 자체 표준과 호환을 위해 중복 배당된 한자를 허용해주는 영역을 말합니다. 유니코드가 이렇게 한자 영역을 나눈 취지는 앞으로 가급적으로는 통합 한자 영역에 있는 한자를 사용하되, 기존의 코드와 호환을 해야할 상황에서만 호환용 영역을 쓰라는 것이었는데, 현실은 입력기에 따라서 통합 영역과 호환용 영역이 둘 다 쓰여서 결국 다시 난장판이 되어버렸습니다.

이 문제를 최근 직접 경험해보았는데요, 한자가 포함된 말뭉치에서 단어 추출 및 검색 등의 실험을 진행하고 있었는데, 이상하게 같은 한자인데도 계속 검색에 잡히지 않는 문제가 있어서 살펴보니, 텍스트 상에서는 호환용 영역의 한자로 입력되어 있었는데, 크롬 등의 브라우저에서는 자동으로 호환용 한자를 통합 영역의 한자로 바꿔서 입력하기 때문에 코드가 일치하지 않아 검색에 실패하는 것이었습니다... 한국어 자연언어처리가 너무 쉬울까봐 심심하지 않게 이런 문제를 발생시켜준 KS X 1001 규격에 감사를 표하는 바입니다.

각설하고, 이를 해결하기 위해 호환용 한자를 통합 한자로 변환하는 Python 코드를 작성했습니다. 검색능력이 딸려서인지 해당 기능을 하는 코드를 찾기 어렵더라구요. (아마 해당 기능이 유니코드 정규화하는 함수 쪽에 포함이 되어있을것 같긴 합니다)

_table = { '\uF903':'\u8CC8','\uFA09':'\u964D','\uFA0A':'\u898B','\uF901':'\u66F4', '\uF909':'\u5951','\uF905':'\u4E32','\uFA0B':'\u5ED3','\uF906':'\u53E5', '\uF900':'\u8C48','\uF90A':'\u91D1','\uF95B':'\u62CF','\uF95D':'\u8AFE', '\uF90C':'\u5948','\uF981':'\u5973','\uF98E':'\u5E74','\uF991':'\u649A', '\uF995':'\u79CA','\uF9A3':'\u5FF5','\uF9A4':'\u637B','\uF960':'\u6012', '\uF9BD':'\u5C3F','\uF9C8':'\u677B','\uF9CF':'\u7D10','\uF9E3':'\u6CE5', '\uF9EB':'\u533F','\uF9EC':'\u6EBA','\uF9FE':'\u8336','\uF95E':'\u4E39', '\uFA03':'\u7CD6','\uFA04':'\u5B85','\uFA01':'\u5EA6','\uF95A':'\u8B80', '\uFA05':'\u6D1E','\uF90B':'\u5587','\uF90D':'\u61F6','\uF90E':'\u7669', '\uF90F':'\u7F85','\uF910':'\u863F','\uF911':'\u87BA','\uF912':'\u88F8', '\uF913':'\u908F','\uF915':'\u6D1B','\uF916':'\u70D9','\uF917':'\u73DE', '\uF918':'\u843D','\uF919':'\u916A','\uF91A':'\u99F1','\uF91B':'\u4E82', '\uF91C':'\u5375','\uF91D':'\u6B04','\uF91E':'\u721B','\uF91F':'\u862D', '\uF920':'\u9E1E','\uF921':'\u5D50','\uF922':'\u6FEB','\uF923':'\u85CD', '\uF924':'\u8964','\uF925':'\u62C9','\uF926':'\u81D8','\uF927':'\u881F', '\uF928':'\u5ECA','\uF929':'\u6717','\uF92A':'\u6D6A','\uF92B':'\u72FC', '\uF92C':'\u90DE','\uF92D':'\u4F86','\uF92E':'\u51B7','\uF975':'\u63A0', '\uF976':'\u7565','\uF977':'\u4EAE','\uF978':'\u5169','\uF979':'\u51C9', '\uF97A':'\u6881','\uF97B':'\u7CE7','\uF97C':'\u826F','\uF97D':'\u8AD2', '\uF97E':'\u91CF','\uF97F':'\u52F5','\uF980':'\u5442','\uF982':'\u5EEC', '\uF983':'\u65C5','\uF984':'\u6FFE','\uF985':'\u792A','\uF986':'\u95AD', '\uF987':'\u9A6A','\uF988':'\u9E97','\uF989':'\u9ECE','\uF98A':'\u529B', '\uF98B':'\u66C6','\uF98C':'\u6B77','\uF98D':'\u8F62','\uF98F':'\u6190', '\uF990':'\u6200','\uF992':'\u6F23','\uF993':'\u7149','\uF994':'\u7489', '\uF996':'\u7DF4','\uF997':'\u806F','\uF999':'\u84EE','\uF998':'\u8F26', '\uF99A':'\u9023','\uF99B':'\u934A','\uF99C':'\u5217','\uF99D':'\u52A3', '\uF99F':'\u70C8','\uF9A0':'\u88C2','\uF9A2':'\u5EC9','\uF9A5':'\u6BAE', '\uF9A6':'\u7C3E','\uF9A7':'\u7375','\uF9A8':'\u4EE4','\uF9A9':'\u56F9', '\uF9AB':'\u5DBA','\uF9AC':'\u601C','\uF9AD':'\u73B2','\uF9AF':'\u7F9A', '\uF9B0':'\u8046','\uF9B1':'\u9234','\uF9B2':'\u96F6','\uF9B3':'\u9748', '\uF9B4':'\u9818','\uF9B5':'\u4F8B','\uF9B6':'\u79AE','\uF9B7':'\u91B4', '\uF9B8':'\u96B7','\uF92F':'\u52DE','\uF930':'\u64C4','\uF931':'\u6AD3', '\uF932':'\u7210','\uF933':'\u76E7','\uF934':'\u8001','\uF935':'\u8606', '\uF936':'\u865C','\uF937':'\u8DEF','\uF938':'\u9732','\uF939':'\u9B6F', '\uF93A':'\u9DFA','\uF93B':'\u788C','\uF93C':'\u797F','\uF93D':'\u7DA0', '\uF93E':'\u83C9','\uF93F':'\u9304','\uF940':'\u9E7F','\uF941':'\u8AD6', '\uF942':'\u58DF','\uF943':'\u5F04','\uF944':'\u7C60','\uF945':'\u807E', '\uF946':'\u7262','\uF947':'\u78CA','\uF948':'\u8CC2','\uF949':'\u96F7', '\uF9BA':'\u4E86','\uF9BB':'\u50DA','\uF9BC':'\u5BEE','\uF9BE':'\u6599', '\uF9C0':'\u71CE','\uF9C1':'\u7642','\uF9C2':'\u84FC','\uF9C3':'\u907C', '\uF9C4':'\u9F8D','\uF94A':'\u58D8','\uF94B':'\u5C62','\uF94C':'\u6A13', '\uF94D':'\u6DDA','\uF94E':'\u6F0F','\uF94F':'\u7D2F','\uF950':'\u7E37', '\uF951':'\u964B','\uF9C7':'\u5289','\uF9C9':'\u67F3','\uF9CA':'\u6D41', '\uF9CB':'\u6E9C','\uF9CC':'\u7409','\uF9CD':'\u7559','\uF9CE':'\u786B', '\uF9D0':'\u985E','\uF9D1':'\u516D','\uF9D2':'\u622E','\uF9D3':'\u9678', '\uF9D4':'\u502B','\uF9D5':'\u5D19','\uF9D6':'\u6DEA','\uF9D7':'\u8F2A', '\uF9D8':'\u5F8B','\uF9D9':'\u6144','\uF9DA':'\u6817','\uF9DC':'\u9686', '\uF952':'\u52D2','\uF953':'\u808B','\uF954':'\u51DC','\uF955':'\u51CC', '\uF956':'\u7A1C','\uF957':'\u7DBE','\uF958':'\u83F1','\uF959':'\u9675', '\uF9DD':'\u5229','\uF9DE':'\u540F','\uF9DF':'\u5C65','\uF9E1':'\u674E', '\uF9E2':'\u68A8','\uF9E4':'\u7406','\uF9E5':'\u75E2','\uF9E6':'\u7F79', '\uF9E7':'\u88CF','\uF9E8':'\u88E1','\uF9E9':'\u91CC','\uF9EA':'\u96E2', '\uF9ED':'\u541D','\uF9EE':'\u71D0','\uF9EF':'\u7498','\uF9F0':'\u85FA', '\uF9F1':'\u96A3','\uF9F2':'\u9C57','\uF9F3':'\u9E9F','\uF9F4':'\u6797', '\uF9F5':'\u6DCB','\uF9F6':'\u81E8','\uF9F7':'\u7ACB','\uF9F8':'\u7B20', '\uF9F9':'\u7C92','\uF964':'\u78FB','\uF966':'\u5FA9','\uFA07':'\u8F3B', '\uF967':'\u4E0D','\uF963':'\u5317','\uF970':'\u6BBA','\uF9FA':'\u72C0', '\uF96C':'\u585E','\uF96A':'\u7D22','\uF96D':'\u7701','\uF969':'\u6578', '\uF973':'\u62FE','\uF9FC':'\u8B58','\uF9FD':'\u4EC0','\uF9B9':'\u60E1', '\uF974':'\u82E5','\uF9E0':'\u6613','\uF96E':'\u8449','\uF9C6':'\u962E', '\uF962':'\u7570','\uF99E':'\u54BD','\uF9FF':'\u523A','\uF9FB':'\u7099', '\uFA00':'\u5207','\uF971':'\u8FB0','\uF902':'\u8ECA','\uF96B':'\u53C3', '\uFA02':'\u62D3','\uF972':'\u6C88','\uF965':'\u4FBF','\uFA06':'\u66B4', '\uF968':'\u6CCC','\uFA08':'\u884C','\uF9AE':'\u7469','\uF904':'\u6ED1', '\uF9C5':'\u6688','\uF907':'\u9F9C','\uF908':'\u9F9C','\uF95F':'\u5BE7', '\uF9AA':'\u5BE7','\uF96F':'\u8AAA','\uF9A1':'\u8AAA','\uF961':'\u7387', '\uF9DB':'\u7387','\uF914':'\u6A02','\uF95C':'\u6A02','\uF9BF':'\u6A02' } def transform(s): for k, v in _table.items(): s = s.replace(k, v) return s

사실 어려운 알고리즘 같은게 있는게 아니라, 그냥 대응하는 호환용 코드와 통합 코드를 테이블에 넣어놓고 변환하는 게 전부입니다. transform('樂') 과 같이 호출하여 변환하시면 됩니다.