나의 큰 O는 log x야

상관(Correlation)두 개 이상 변수들 간의 관계쌍의 측정치를 다루는 것. 두 자료가 서로 연관이 있는것으로 묶여있을때 상관개념을 논할 수 있음.예) 성인 남성의 키와 몸무게: 상관계수 산출 가능. / 성인 남성의 키와 성인 여성의 몸무게: 두 자료가 연결이 안되므로 불가능. 상관계수(Coefficient of correlation): 두 변수들이 서로 관계되는 정도를 나타내는 지수. -1~1의 값을 가짐. 정적 상관관계: 한 변수가 클수록 다른 변수도 크고, 한 변수가 작을수록 다른 변수도 작은 경우부적 상관관계: 한 변수가 클때 다른 변수는 작고, 한 변수가 작을때 다른 변수는 큰 경우상관이 없는 경우: 두 변수가 아무 관계가 없을때, 마구 흩어져 있을때상관계수는 강도(상관계수의 절대값. 1에..

수업노트 2016. 6. 9. 04:28

z검정(z-Test)큰 표본을 대상으로하는 검정법으로, 대게 자유도가 30이상인 경우. 이정도 규모의 표본일 경우 정규분포를 전제할수 있고, 이 원리를 이용해 검정을 실시한다.k개의 표본을 표집하여 각기 평균치를 계산하면 각각의 평균을 구할 수 있음중심극한정리에 의해 표집분포는 모집단의 평균치를 중심으로하는 정규분포를 이루게 됨따라서 정규분포의 원리를 따라 모평균이나 모수치를 추정할 수 있음이를 이용해 z점수를 구하고, 임의의 표본이 이 점수에 해당할 확률을 계산하여 영가설을 기각여부를 판단함.모표준편차를 알고 있는 경우 작은 표본이라도 z검정을 사용할수 있고, 모표준편차를 모르는 작은 표본일 경우는 표준편차를 수정해주는 t검정을 실시해야함. 비교하려는 두 집단은 독립적일수도, 상관자료(종속적)일수도 있..

수업노트 2016. 6. 9. 04:28

가설 검증영가설(귀무가설, H0): 입증하고자하는 것과 반대되는 가설로, 대게 어떤것이 다른것과 차이가 없거나 유의미한 결과가 없다고 주장하는 가설. 통계학에서는 가설을 검증하기에 앞서 가장 먼저 영가설이 성립하다는 전제에서 출발하여, 이를 기각함으로써 대립가설이 옳다는 것을 검증하는 단계를 거친다.대립가설(Hn): 입증하고자하는 가설. 대게 어떤 것이 다른 것과 차이가 존재한다거나 유의미한 결과가 존재한다는 주장. 영가설을 기각하기 위하여 유의수준(유의미한 수준)이라는 개념을 도입. 대게 연구에서는 전통적으로 p = 0.01(1%) 또는 0.05(5%)를 많이 사용한다. 즉 분포상에서 p보다 더 작은 확률로 일어날 상황이 발생했을 경우 그것이 정상적이지 않다고 보고 영가설을 기각하고 대립가설을 수용하는..

수업노트 2016. 6. 9. 03:04

DTD(Document Type Definition)XML로 특정 데이터를 작성시 공통된 양식을 강제하여 추후에 통합하여 의미를 부여하고 자동화처리가 가능하도록 하기 위해 데이터 양식을 정의해야함. 이를 위해 DTD나 XML Schema를 사용하여 XML문서의 구조를 정의.한계DTD 자체는 Well-formed XML 문법을 사용하지 않기에, DOM을 통합 접근이 불가능XML문서는 오직 하나의 DTD만 선언가능. 즉 복수의 DTD를 조합하여 사용하는 것이 불가능리터럴 데이터를 검증하는 방법을 제공하지 않음.확장성이 없음. 다양한 새 데이터 타입을 추가할수 없고, 재사용이 불가능하므로 기존의 DTD를 확장하려면 DTD를 새로 작성해야한다.Namespace를 지원하지 않음정적인 선언만 지원됨. 동적 선언 불..

수업노트 2016. 6. 9. 00:11

Markup Language텍스트를 명확하게 설명해주는 모든 방법을 의미정형화된 방식으로 텍스트 전체 혹은 일부를 기술해주거나 특징지어주는 과정정보자원을 실제로 기술할 수 있는 메타데이터 스키마로 사용되는 인코딩 방식 MARC, METS인코딩 구문을 구축하는 목적으로만 사용되는 마크업 언어: SGML, HTML, XML, XHTML 고안특징한계 SGML미국 출판협회에서 문서를 디지털 방식으로 표현하기 위해 개발 문서 구조뿐만 아니라 문장 내의 요소를 식별하고 정형화된 방식으로 문서를 생성할 수 있도록 설계문법자체가 복잡하고 구현하기 어려워서 활성화되지 못함 HTMLTim Berners-Lee가 웹 페이지를 기술하기 위해 개발 태그를 이용하여 문서의 메타데이터 요소를 인코딩할 수 있음웹 페이지 기술 목적이..

수업노트 2016. 6. 8. 22:43

3월 초에 구매했었던 태블릿 PC 코넥티아 M Stylus가 계속 디스크 오류를 발견해내고, 프로그램이 갑자기 종료되거나 프리징 되면서, 윈도우 업데이트를 계속 실패하길래 처음에는 싼게 비지떡이라 중국제라 완성도가 부족한건 어쩔 수 없나보다 하면서 지나갔습니다. 그런데 날이 갈수록 상태가 안 좋아지길래 뭐가 문제인지 생각해보게 됐죠. 아무리 봐도 SSD쪽의 문제인거 같아서, SSD를 교체하기로 마음먹었죠. 찾아보니 제 태블릿에 들어간 SSD는 Tigo라는 중국제인데, 찾아보니 제대로 된 자료도 안 나와서 불신이 더 커졌습니다. 용량은 128GB로 충분했지만, 기왕 교체할꺼면 용량을 256GB로 확장해서 두고두고 오래오래 써야겠다고 마음을 먹었죠. 약 10만원이면 256GB m sata용 SSD를 구입할수..

적분史 2016. 6. 5. 22:11

전에 작업했었던 언어 식별기(2016/04/28 - [프로그래밍] - [PHP + MySQL] 언어 식별기(Language Detection) 개발기) 코드를 정비해서 드디어 공개할 수 있게 되었습니다. PHP+MySQL 환경을 이용하시는 분이라면 누구나 쉽고 유용하게 쓰길바라며..! 저는 기존에 있던 Latin Mini Crawler에 이 기능을 붙여서 언어 식별 기능을 강화했습니다. 기존 크롤러가 라틴어인데 라틴어가 아니라고 판단하고 지나친 텍스트들과 라틴어가 아닌데 라틴어라고 판단해서 잘못 수집한 텍스트들을 정정하는데 큰 도움이 될거라는 생각에 벌써부터 마음이 부푸는군요! 다 좋은 라이브러리인데 문제는 용량입니다. Basic Set(약 70여 개의 주요 언어 포함)의 경우 7.33MB, Advanc..

프로그래밍 2016. 5. 9. 23:23

요즘 뭔가를 만들고 나면 반드시 기록을 남겨두려고 노력하고 있습니다. 안 그러면 만든 저 자신조차 나중에 어떻게 만들었는지 잊어버려서 수정하거나 더 발전시키기가 어려워지더라구요. 나중에 안 까먹으려면 건물을 지었을때 설계도를 잘 남겨두어야겠죠. 그래야 건물이 무너져도 다시 지을수 있을테니깐요. 삽질에 대한 머릿말 몇 주 동안(시험기간 빼면 사실 별로 안되지만) 언어 식별기(Language Detector)를 만들고자 노력해봤습니다. 사실 이미 더 좋은 성능의 언어 식별 라이브러리가 여기저기 널려 있죠. 특히 구글이 제공하는 것은 확실히 구글답게 막강하다고 할 수 있습니다. 그래도 그냥 한 번 스스로 만들어보고 싶었어요. 그냥 재미있을거같아서. 기초적인 아이디어는 예전에 라틴어 자동 크롤러(LMC: Lat..

프로그래밍 2016. 4. 28. 03:56