나의 큰 O는 log x야

5.1. 자동분류 개요 자동분류란 분류 알고리즘에 의해 대상물이 유사한 패턴을 갖는 것 끼리 모아 집단화하는 작업을 말한다. * 문헌 클러스터링(Document Clustering): 사전 분류체계없이 문헌간의 유사성을 따라 분류함. * 텍스트 범주화(Text Categorization): 기계학습 방법에 의해 각 문헌을 사전 분류체계의 적절한 범주에 배정함. * 중복적 분류: 한 문헌이 여러 클러스터에 포함될 수 있음 * 배타적 분류: 한 문헌은 한 클러스터에만 포함될 수 있음 * 내재적 분류(비지도학습) * 외재적 분류(지도학습) * 계층적 분류

수업노트/정보검색론 2012. 10. 22. 17:51

3.2.4. 적합성 가중치 적합성 가중치는 문헌집단을 구성하는 문헌들을 질의에 대해 적합문헌과 부적합문헌으로 구분한 뒤, 그 속에서의 단어 출현빈도를 이용하여 산출하는 가중치이다. 즉 이 계산을 위해서는 색인어에 대해 적합/비적합 문헌을 사전에 구별해놓는것이 필요하다. 적합문헌(Relevant) 부적합문헌 총합 색인어가 부여된 문헌 r n-r n 부여되지 않은 문헌 R-r N-n-R+r N-n 총합 R N-R N 이를 이용하여 가중치는 다음과 같이 구할 수 있다. 처음에는 모든 검색어가 적합문헌에 출현할 확률이 똑같다고 가정하면 다음과 같은 식을 유도할 수 있다. 즉 충분히 큰 N에 대해서 W4의 초기값은 역문헌빈도 공식의 가중치 값과 유사해진다. 3.2.5. 2-포아송 분포 모형 포아송 분포모형: 어떤..

수업노트/정보검색론 2012. 10. 22. 16:52

정보사회이론(프랭크 웹스터) -정보사회의 다양한 정의 -기술적 정의: 기술결정론에 따른 정의 -경제적 정의: 정보활동의 양적/질적 구분 난제 -직업적 정의: 직업에 따라 시대구분. -공간적 정의: 정보통신망의 확대 정도로 정의 -문화적 정의: -양적 접근법의 문제: 정보의 양이 많아진것으로 정보사회를 정의할수 없음. -양적증가가 어떻게 질적 변화로 이어지는가. 정보란 무엇인가 -의미론적 정의: 정보란 의미가 있는 것이며 주제를 가진 것. -정보이론: 메세지가 발생할 확률의 관점에서 정보를 파악.(질을 포괄못함) -매클럽: 평가할 수 없는 것에 대하여 값을 매기는 것 탈산업시대론(다니엘 벨) -커져가는 정보의 출현과 가치로 인해 우리 사회는 정보와 지식의 양과 질의 활동으로 탈산업시대로 접어들 것이다. -..

수업노트 2012. 10. 22. 03:04

Meaning Representations Requirements 1. Verifiability: 참 거짓을 결정할 수 있어야 한다. 2. Unambiguous Representations: 모호성이 없어야 한다. (Ambiguity, Vagueness 모두 없어야함) 3. Canonical Form: 같은 의미에 대해 같은 Meaning Representation을 가져야 한다. 4. Inference and Variables: 추론이 가능하고 변수가 있어야 한다. 5. Expressiveness: 가능한한 많은 의미를 표현할 수 있어야 한다. Lexical Semantics ● Lexeme: 의미와 형태(소리든 철자든)의 쌍 ● Lexicon: Lexeme의 유한한 집합 ● Lemma/citation..

수업노트 2012. 10. 22. 02:06

3.1. 자동색인 개요 자동색인: 컴퓨터를 통해 문헌의 내용을 대표할수 있는 단어나 단어구를 선정하는 작업 비주제어: 흔히 공통적으로 출현하는 일반명사, 형용사, 부사 등. 불용어(stop words)로 처리한다. 기본 가설 * 문헌에 출현한 단어들은 내용 분석을 위해 사용될 수 있다. * 단어의 출현빈도로 주제어로서의 중요성을 측정할 수 있다. (통계적 기법) * 특정한 구문적 기능을 수행하는 단어(구)가 문헌의 내용을 대표한다. (언어학적 기법) * 특정한 위치에 출현한 단어(구)가 문헌의 내용을 대표한다. (구조적 기법) 자동색인 과정 1. 문헌집단에서 색인어로 사용될 단어들을 식별한다. 2. 불용어 리스트를 활용하여 가치가 없는 고빈도어를 제거한다. 3. 형태소 분석기(KLT, Porter ste..

수업노트/정보검색론 2012. 10. 21. 02:32

2.3.1. 시소러스의 활용 * 수작업 구축 시소러스(manual thesaurus)* 자동 구축 시소러스(automatic thesaurus) 시소러스를 활용하는 유형1. 색인과 검색 단계에서 모두 활용2. 색인에서만 활용3. 검색에서만 활용4. 안 씀ㅋ 1번은 시소러스에 익숙한 정보전문가가 이용할 경우 높은 검색 성능을 가져올 수 있음. 2번은 검색어로 입력된 키워드를 디스크립터로 매핑하거나, 유사한 의미관계에 있는 디스크립터를 추가함으로써 성능향상을 도모할 수 있음. 2.3.2. 시소러스의 구성 (1) 등가관계: 동의어, 유사동의어, USF/UF (Used For) -동일한 의미, 별도의 철자, 별도의 어순, 약어와 완전어 등의 관계 (2) 계층관계: 상위-하위 관계. BT(Broader Term)..

수업노트/정보검색론 2012. 10. 21. 01:22

2.1.1. 색인의 개념 색인(indexing): 개개의 정보자료의 특성을 표현하는 데이터 요소를 추출하여, 그 정보자료를 표현하는 작업.색인어(index term), metadata: 색인 결과 추출된 데이터 요소 주제 색인어: 주제를 나타내는 색인어, 예: 키워드, 디스크립터/주제명비주제 색인어: 저자명, 기관명, 출판년도 등 2.1.2. 자연언어 색인 vs 통제언어 색인 자연언어 색인: 텍스트에 나타난 형태 그대로의 용어를 색인어로 채택. 키워드-하나의 개념이 다른 키워드로 표현될 수 있으므로, 하나의 키워드로 모든 관련 자료를 찾아낼 수 없음.-어간/어근을 가지는 용어들도 마찬가지 문제를 지님. 통제언어 색인: 시소러스나 주제명표 등의 어휘목록을 참조해 동일한 개념은 하나의 색인어로 표현. 디스크..

수업노트/정보검색론 2012. 10. 21. 00:52

1.1. 정보검색 개요 정보검색은 이용자의 정보요구에 적합한 정보/지식을 다양한 정보원으로부터 찾아내는 모든 과정을 의미한다. 간단한 정보검색 모형 * 정보자료(원 자료, 주로 텍스트) -> 메타데이터(색인어)로 가공하여 검색엔진에 저장.* 이용자의 정보요구(자연언어 Natural Language, 키워드 목록 Keyword, 블리언 조합 Boolean 등) -> 질의(Query)로 변환하여 검색엔진에 질의하면, 그 검색 결과를 이용자에게 돌려준다. 웹 기반의 최근 정보검색의 특징 * 교차언어 정보검색에 관한 연구(예: CJK 검색(중국, 일본, 한국))가 수행되고 있음. * 웹 마이닝을 통해 새로운 정보를 발견해낼 수 있음. * 방대한 양의 Full Text정보에 접근 가능.* 정보 필터링, 주제 탐지..

수업노트/정보검색론 2012. 10. 21. 00:30