ref01_지식표현 및 추론_정보이론

지식 표현 및 추론

0. 용어 정리

0.1 정보이론

  • 기능 : 정보량을 수치화 하고 그것의 연산을 가능하게 함
    • 정보량 : 새로운, 놀라운 정도
    • 확률과 정보량은 반비례 한다. = 확률이 적을수록 정보량은 크다(새롭고,놀랍다)
    • eg: 오늘평화롭다. 내일도 평화롭다 Vs. 오늘평화롭다. 내일 전쟁이 난다.

0.2 Entropy

  • 랜덤 변수 x가 가질수 있는 모든값(사건)에 대해 정보랼을 평균화 한것
  • 정보량, 정보를 전달하기 위한 평균 bit 갯수
  • Bit의 expected value =

A. Conditional Entropy

x의 값이 정해 졌을때 y를 전달하기 위해 필요한 bit 갯수의 평균

B. 상대 엔트로피(=KL 다이버전스)

1. 지식 표현

1.1 정의

  • 경험이나 교육을 통해 얻어진 전문적인 이해(understanding)와 체계화된 문제 해결 능력

  • 어떤 주제나 분야에 대한 이론적 또는 실제적인 이해,

    또는 현재 알려진 사실과 정보의 모음

1.2 분류

  • 암묵지(暗黙知, tacit knowledge) : 형식을 갖추어 표현하기 어려운, 학습과 경험을 통해 쌓은 지식
  • 형식지(形式知, explicit knowledge) : 비교적 쉽게 형식을 갖추어 표현될 수 있는 지식

1.3 종류

  • 절차적 지식(procedural knowledge) : 문제해결의 절차 기술
  • 선언적 지식(declarative knowledge) : 어떤 대상의 성질, 특성이나 관계 서술

2. 규칙

  • 지식 표현 방법 중 하나
  • 조건부의 지식을 표현하는 if-then형태
  • 직관적, 이해하기 쉬움
  • eg. 신호등이 녹색일때는 건널목을 건너도 된다.

3. 프레임

  • 지식 표현 방법 중 하나
  • 민스키(M. Minsky, 1927~2016)가 제안한 지식표현 방법
  • 특정 객체 또는 개념에 대한 전형적인 지식을 슬롯(slot)의 집합으로 표현하는 것

4. 논리

  • 지식 표현 방법 중 하나
  • 말로 표현된 문장들에 대한 타당한 추론을 위해, 기호를 사용하여 문장들을 표현하고 기호의 조작을 통해 문장들의 참 또는 거짓을 판정하는 분야

4.1 명제(Propositional logic) 논리

정의 : 참, 거짓을 분명하게 판정할 수 있는 문장

방법

  • 명제를 P, Q등과 같은 기호로 표현
  • 명제 기호의 진리값(truth value)을 사용하여 명제들에 의해 표현되는 문장들의 진리값 결정

eg.

  • 알렉산더는 아시아를 넘본다 : P
  • 징기스칸은 유럽을 넘본다 : Q
  • 알렉산더는 아시아를 넘보고, 징기스칸은 유럽을 넘본다 : P ∧ Q

4.1 술어(predicate logic) 논리

정의

  • 명제의 내용을 다루기 위해 변수, 함수 등을 도입하고 이들의 값에 따라 참, 거짓이 결정되도록 명제 논리를 확장한 논리

방법

  • 문장의 ‘주어+서술어’형태에서 서술어에 해당
  • 대상의 속성이나 대상 간의 관계를 기술하는 기호
  • 참(T) 또는 거짓(F) 값을 갖는 함수
  • 존재 한정사(existential quantifier) 와 전칭 한정사(universal quantifier) 사용

e.g.

  • Student(John)
  • Friend(John, Mary)
  • Father(Adam,x)

5. 의미망(Semantic network)

정의

  • 지식을 이항 관계(binary relation)의 집합으로 표현
  • 노드와 방향성 간선으로 구성되는 그래프를 사용해 지식 표현

eg.

의미망에서 사용되는 관계

  • is-a
  • has-a

의미망의 추론 : 주어진 지식으로부터 새로운 사실을 이끌어내는 추론도 가능

  • 주어진 사실: 철수가 영희에게 반지를 주었다
  • 추론 결과 : 영희가 반지를 가지고 있다

6. 스크립트

정의

  • 일반적으로 발생할 수 있는 전형적인 상황에 대한 절차적 지식을 일목요연하게 표현
  • 전형적인 상황에서 일어나는 일련의 사건(event)을 시간적 순서를 고려하여 기술하는 프레임과 같은 구조의 지식 표현

7. 온톨로지와 RDF

정의

  • 철학에서 존재론(存在論)을 가리키는 말
  • 어떤 영역의 지식을 공유하고 재사용할 수 있도록 해당 영역의 개념과 관계를 나타내는 어휘를 정의하고 이를 이용해 지식을 표현해 놓은 것
  • 영역(domain)에 있는 개념, 개념에 대한 특성 및 속성, 이들 특성과 속성에 대한 제약조건, 영역에 있는 일부 개체에 대한 정보가 기술(記述)
  • 의미망과 비슷하게 방향성이 있는 그래프로 표현 가능

특징

  • 영역에 대한 공통된 어휘(vocabulary) 사용
  • 영역에 대한 공통된 이해 지원
  • 서로 간 토의를 통해 합의를 이룬 것을 표현
  • 컴퓨터에서 다룰 수 있는 형태로 정형화하여 표현

사례

  • UNSPSC(United Nations Standard Products and Services Code): 제품 및 서비스 용어
  • WordNet(wordnet.princeton.edu): 영어 단어의 어휘목록과 어휘목록 사이의 다양한 의미 관계를 기록
  • UMLS(Unified Medical Language System): 의료영역의 여러 용어체계를 총괄

8. 불확실한 지식 표현

8.1 불확실성의 원인

A. 약한 관련성의 지식

약한 인과성(weak implication)이나 애매한 연관관계(vague association)인 지식의 표현

  • 확신도(certainty degree) 사용 표현
  • 베이즈 정리(Bayesian theorem) 사용 표현

B. 부정확한 언어 사용

자연어(natural language)는 본질적으로 모호하고(vague) 부정확(imprecise)

  • 퍼지이론(fuzzy theory) 사용 표현

C. 불완전하거나(incomplete) 결손된(missing) 데이터에 기반한 지식

  • ‘알려지지 않은 것(unknown)’으로 간주하고, 근사적인 추론(approximate reasoning) 진행

D. 상충되는 지식의 통합

모순된 견해(contradictory opinion)와 상충된 지식(conflicting knowledge)의 통합

  • 지식 소스 별로 가중치 부여

8.2 불확실성을 표현/다룰수 있는 방법

A. 확신도 (certainty factor)

규칙(rule)과 사실(fact)의 신뢰정도를 [-1,1] 구간의 값으로 표현 eg. 1 (단정적 신뢰), -1 (단정적 불신)

B. 확률

베이즈 정리 (Bayesian theorem)

C. 퍼지 이론

퍼지집합(Fuzzy Set)

  • 원소가 모임(collection)에 어느 정도 속한다는 것
  • 명제는 참 또는 거짓이 아니라 어느 정도는 부분적으로 참(이거나 부분적으로 거짓)
  • 소속정도(membership degree)는 [0,1] 범위의 실수값으로 표현

키가 크다 작다가 아니라 0.7크다에 속하다로 표

9. 확률 그래프 모델

9.1 확률 분포에 의한 지식 표현

확률 이론과 그래프 이론을 결합하여 확률분포(probability distribution)를 표현하고, 관심있는 대상(확률변수)에 대한 확률을 계산할 수 있는 모델

확률 분포를 이용하여 지식 표현, 효과적으로 표현하기 위해 그래프 모델 이

e.g. 절도 경보 문제

가정

  • 절도가 발생하거나 지진이 발생하면 경보 발생
  • 경보가 울리면 이웃이 전화

불확실한 요소가 있어 확률로 표현: 확률변수(random variable)

  • 경보 작동(A; alarm)
  • 절도 발생(B; burglary)
  • 지진 발생(E; earthquake)
  • 이웃 전화(N; neighbor call)

Step 1. 결합확률 분포로 표현

경보가 울릴 때 이웃이 전화할 확률은? P(N=T|A=T)

이웃이 전화 했을 때 도둑이 들었을 확률은 ? P(B=T|N=T)

확률 분포표는 데이터 수집등을 통해 생성했다고 가정

Step 2. 조건부 독립을 이용한 확률분포의 인수 분해

[참고]확률분포의 인수분해
P(A,B) = P(A\ B)P(B) P(A,B,C) = P(A\ B,C)P(B\ C)

원식을 인수 분해

  • P(N,A,E,B) = P(N|A,E,B)P(A|E,B)P(B)

가정 및 독립성질 축약

  • P(N|A,E,B) = P(N|A)로 축약 가능
    • 절도가 발생하거나 지진이 발생하면 경보 발생
  • P(E|B) = P(E)로 축약 가능
    • 상관 없음

Step 3. 최종식(결합확률분포) 도출

최종 식 : P(N|A)P(A|E,B)P(E)P(B)

Step 4. 문제 적용

예) P(N=T, A=T, E=F, B=T) = P(N,A,E,B) = P(N|A)P(A|E,B)P(E)P(B) = P(N=T|A=T)P(A=T|E=F,B=T)P(E=F)P(B=T) = 0.8 0.9 0.9 * 0.3 = 0.1944

9.2 베이지언 네트워크

조건부 확률의 곱으로 표현된 확률분포(=결합확률 분포)를 방향성이 있은 그래프로 표현

  • 노드 : 확률 변수
  • 에지 : 의존 관계

이웃집이 전화(N)는 알람(A)에 의해서 발생하고, 알람(A)는 지진(E)이나, 도둑(B)에 의해서 발생

9.3 마르코프 네트워크

  • 확률 분포를 방향성이 없는 그래프를 사용하여 표현
  • 마르코프 랜덤필드(Markov random field)라고도 함
  • 확률분포를 요소함수(factor)들의 곱으로 표현

10. 함수 기반 지식 표현

기호 대신 수치값과 수치값을 계산하는 함수를 사용하여 지식을 표현,

  • 회귀분석(regression analysis)
  • 신경망(neural network)
  • SVM(support vector machine)
  • 딥러닝(deep learning)

다음장에서 중심적으로 다룰 예정

11. 규칙기반 시스템 (rule-based system)

  • 지식을 규칙의 형태로 표현
  • 주어진 문제 상황에 적용될 수 있는 규칙들을 사용하여 문제에 대한 해를 찾도록 하는 지식 기반 시스템(knowledge-based system)
  • 전문가 시스템(expert system)을 구현하는 전형적인 형태

results matching ""

    No results matching ""