[혼공머신] 1주차(1)_첫 머신러닝

혼자 공부하는 머신러닝+딥러닝 - 예스24

 

인공지능

---

최초의 인공 신경망은 1943년 맥컬러-피츠(McCulloch-Pitts) 모델이며 인간의 신경계를 이진 뉴런으로 표현하고자 했다. 이들은 전기 스위치처럼 온, 오프하는 기초 기능의 인공 신경을 그물망 형태로 연결하면 사람의 뇌에서 동작하는 아주 간단한 기능을 흉내 낼 수 있다는 것을 이론적으로 증명하였다. 이들이 정의한 인공 신경망 모델은 이진 뉴런으로 구성되며 생체 뉴런과 같이 시냅스의 흥분과 억제에 따라 신호가 전달되고 특정 임계치를 넘어야 신호가 발화한다. 

 

1. 뉴런은 활성화되거나 혹은 활성화되지 않은 2 가지 상태이다. 즉, 뉴런의 활성화는 all-or-none 프로세스이다.

2. 어떤 뉴런을 흥분되게(excited) 하려면 2개 이상의 고정된 수의 시냅스가 일정한 시간내에 활성화 되어야 한다.

3. 신경 시스템에서 유일하게 의미있는 시간지연(delay) 은 시냅스에서의 지연이다.

4. 어떠한 억제적인(inhibitory) 시냅스는 그 시각의 뉴런의 활성화(activation) 를 절대적으로 방지한다.

5. 신경망의 구조는 시간에 따라 변하지 않는다.

맥컬러-피츠의 인공신경망

 

출처: http://www.aistudy.co.kr/neural/McCulloch_Pitts.htm

McCulloch-Pitts Model

 

1950년 영국 수학자 앨런 튜링은 ‘계산 기계와 지능(Computing Machinery and Intelligence)’라는 논문에서 기계가 생각할 수 있는지 테스트하는 방법(튜링 테스트), 지능적 기계의 개발 가능성, 학습하는 기계 등에 대해 기술하였다. 일반적으로 이 논문을 인공지능 역사의 시작으로 본다.

 

앨런 튜링

 

맥컬러-피츠(McCulloch-Pitts)의 모델은 학습 과정이 없기 때문에 문제에 따라 매번 신경망의 구성을 바꿔야 했다. 이러한 문제점을 해결하기 위해 1956년 프랭크 로젠블랫(Frank Rosenblatt)은 인공 신경망이 스스로 학습하는 모델인 퍼셉트론(perceptron)을 개발했다. 퍼셉트론은 두 종류의 클래스를 직선으로 구분하는 선형 분류기이다.

 

1956년 당시 다트머스 대학에 있던 존 매카시가 인공지능에 관한 연구프로젝트로 약 8주간 학술회의를 개최하였는데 이때 록펠러 재단에 제출한 연구 제안서에 인공지능(Artifitial Intelligence)이라는 용어를 처음 사용하였다.

 

 

기호주의 학파의 수장이었던 마빈 민스키는 1969년 그의 저서 「퍼셉트론」에서 로젠블랫의 퍼셉트론은 비선형 문제를 풀 수 없다는 한계를 지적하고 이를 입증했다. 이것이 XOR 문제이다.

 

퍼셉트론으로 비선형 문제를 풀려면 퍼셉트론을 여러 계층으로 표현하는 다층 퍼셉트론이 필요하다.(Multi Layered Perceptron) 다층 퍼셉트론의 은닉층에서 좌표 평면이 왜곡되고 두 영역을 가르는 직선이 만들어진다. 로젠블랫은 다층 퍼셉트론을 설계했지만 학습 규칙을 만드는 데 실패했다.

 

출처: https://colah.github.io/posts/2015-09-NN-Types-FP/ 

Neural Networks, Types, and Functional Programming -- colah's blog

 

1980년대 후반 인공 신경망을 연구하던 과학자들에 의해 다층 퍼셉트론을 학습시킬 수 있는 역전파 알고리즘이 이 주목을 받기 시작했다. 역전파 알고리즘은 1974년 하버드 대학의 폴 워보스가 최초로 제안했다.