[마스터 알고리즘] 1-2장 마스터 알고리즘은 가능한가?

#마스터 알고리즘 the master algorithm  #페드로 도밍고스 Pedro Domingos

 

---

오늘 TIL 3줄 요약

• 마스터 알고리즘은 .. 뇌의 가소성을 현실화 하고 싶다는 것 같음. 
• 어떤 내요이든지 학습하며, 응용하고 예측하게 만든다는 것은........ 인간의 뇌를 만들고 싶다는 것으로 들림...흠.. 범용....까진 모르겠고 가까워질 수는 있을 듯. 아마도?
• 머신러닝의 학습이 .. 그냥 데이터를 넣는 게 아니라 더 큰 것(마스터 알고리즘.. 뇌?)을 보고 있다는 사실이 매우 흥미로웠음.
• 컴공의 '마스터 알고리즘'은 마치 심리학의 궁극적 목적인 '치매 치료제? 검사제(예방)'처럼 들림. 

TIL (Today I Learned) 날짜

2024. 06. 27

 

오늘 읽은 범위

1장. 머신러닝의 혁명이 시작됐다

2장. 마스터 알고리즘은 어떻게 탄생하는가

 

책에서 기억하고 싶은 내용 & 코멘트(-->)

• 머신러닝이 하는 일은 근본적으로 예측임. 
• 알고리즘: 컴퓨터가 수행할 일을 순서대로 알려 주는 명령어의 집합.
• -> 컴퓨터는 트랜지스터라 불리는 소형 스위치 수십억 개로 구성되고, 알고리즘은 이들 스위치를 1초에 수십억 번씩 켜고 끔.
• -> 트랜지스터 하나의 상태가 정보 비트 한 개로 켜지면, 1 아니면, 0 
• -> 논리연산자의 and 논리곱, or 논리합, not 부정 세 동작으로 복잡한 알고리즘이 모두 표현 가능함.  

 

--> 이 연산식이 상당히 재밌었음. 

--> 이렇게 생각해 본적이 없었는데 and를 논리곱이라고 하고 or을 논리합이라고 한다는 것도 직관적임

 

 

 

 

 

• 머신러닝의 5종족 있고 각각의 마스터 알고리즘이 있음.  --> 매우 처음 들어봤고 잘은 모르겠지만, 연결주의자, 진화주의자, 베이즈주의자가 말하는 게 뭔지 약간은 이해가 됨. 심리학 전공이 도움이 될줄은 꿈에도 몰랐음.
• 마스터 알고리즘: 이론상으로 어느 영역의 데이터에서도 지식을 발견해 내는 범용 학습 알고리즘 general-purpose leaner

1. 기호주의자 symbolists - 역연역법 inverse deduction
2. 연결주의자 connectionist - 역전파 backpropagation
3. 진화주의자 evolutionaries - 유전자 프로그래밍 genetic programming
4. 베이즈주의자 bayesians - 베이즈 추정 bayesian inference
5. 유추주의자 analogizers - 서포트 벡터 머신 support vector machine 

--> 어차피 챕터 별로 다룰 것. 각 이론에서 주장하는 방법이라고 여겨짐. 신기했던 것은 물론, 신경망 이론등의 이론에서 뇌과학을 상당히 차용했다는 것을 짐작하고 있었지만, 연결주의자나 진화주의자는 재밌는 관점이었음. 베이즈....도 오랜만이야 ^^ㅎㅎ..ㅎ 사실 심리학은 통계학이기 때문에 반가우면서도 결국 못 떠나구나 싶기도 하면서도. 재밌다. 

• 용어로 plasticity라고 표현하지는 않지만, 뇌의 가소성을 계속해서 언급함
• 예를 들어, 시신경을 청각피질에 연결시키면, 청각피질에서 시각을 처리하는 기능을 같게 된다 등을 통해서 뇌를 일종의 마스터 알고리즘으로 표현함. 
• 인간은, 정보를 다양한 창구(시각, 청각, 촉각 등)로 받아들이고, 다양하게 표현(동작, 언어, 글, 그림 등) 하니깐, 저자가 말하고 싶은 마스터 알고리즘인 것. + 인식하고 상상하는 것까지 전부 다 하니깐. 

--> 이런 생각 자체가 재밌는 듯. 가소성을 당연하게 배웠는데 이를 컴퓨터나 다른 프로그램에 적용할 ....생각따위 해본적도 없는데 굉장히 저자의 말처럼 .. 약간 '현자의 돌' 같이 재밌는 발상인듯. 어떻게 보면 '만능 줄기세포'같기도 하고...

--> 최근에 자주 드는 생각이지만,, 학문은 결국 코어는 하나인듯 싶다. 이 책이 주장하는 것도 같은 말이고. 

 

• P와 NP문제가 컴퓨터 과학에서 중요 하다고 하지만,,  정확하게 이해하지 못했음. 
• P: 문제를 효율적으로 풀 수 있으면 여기에 속함. 
• NP: 문제의 해답을 효율적으로 확인할 수 있으면 여기에 속함. 
• P = NP: 효율적으로 확인 가능한 문제를 효율적으로 풀 수 있는 가 라는 질문. 
• 컴퓨터 과학의 어려운 실제적인 문제로, NP-완전에 속하는 하나의 문제만 효율적으로 풀리는지 아닌 지 증명하는 것. 
• 우주가 멸망할 때까지 문제의 해답을 확인할 수 없다면 문제를 푸는 시도가 무슨 의미가 있냐는 질문임
• AI는 NP-완전 문제에 발견적 해결방법(복잡한 문제를 풀  때 시행착오를 반복 평가하여 자기 발견적으로 문제를 해결하는 방법)을 찾는 능력이기도 함. -> 주어진 논리 공식이 참일 수 있나? 자기 모순? -> 이러한 충족 가능성 문제를 해결 할 수 있는 머신러닝을 발명하면 마스터 알고리즘이 됨.

--> 완전히 이해한 거 같지 않은데.. 프로그래밍은 효율성이 전부이기 때문에 나온 말 같긴함. 코드는 여러 방식으로 짤수 있지만, 짧고 간단하며 누구나 이해할 수 있게 짜는 것이 best 임. 위의 말처럼 문제를 풀 수가 없으면, 해답을 효율적으로 확인하는 것도 필요가 없음. 

-->..... 지금 번역의 문제가 상당히 있는 것 같이 느껴짐. 원서가 해석이 더 쉬울 것 같음. 

--> 었쨌든 핵심은 인간과 같이 질문을 할 수 있냐는 것 같음. 단순히 입력 값만으로 하는  것이 아니라, 데이터의 상황을 판단하고 스스로 더 나은 방향으로 질문하며 나아갈 수 있냐니깐.....그냥 인간을 만들겠다는 것 같이 느껴지긴 함. 

 

• 2장은 마스터 알고리즘이 실제로 가능한 지, 그에 반대하는 지식공학(러프하게 컴퓨터는 인간이 입력한 지식을 바탕으로만 가능)의 주장을 반박함. 
• 자주 듣는 반대 의견은 "데이터는 인간의 직관intuition을 대체할 수 없다"라는 말이지만, 그 반대로 인간의 직관은 데이터를 대체할 수 없다고 이야기함. 직관은 사실을 모를 때 사용하는 것이고, 우리는 사실을 모르기에 직관이 소중한 것. so, 증거가 눈앞에 있으면 거부할 이유가 없다고 함. 

--> 촘스키씨 몰랐는데 상당히 빡빡하네.. 

--> 데이터가 없어서 직관을 사용한다는 말은 재밌지만,, 직관은.......인간의 데이터라고 생각하는 편이라 동의하진 않는다. 러프한 의미에서 직관을 단순히 감gut으로만 보는 것 같은데 인간의 유적적 프로그래밍은 위협과 같은 신호에 직관적으로 반응하게 되어 있음. 

--> 또한,,,,데이터는 이미 상당히 편향되어 있음. 전처리를 어떻게 하는지, 어떤 의도로 짜집기를 하는지, 더 나아가 그냥 데이터 자체가 수집부터 편향되어 있다. 이것은 채용장면의 AI 가 남성을 선호하는 것에서 확인가능함. 인간의 역사가 남성에게  유리하게 형성되었기 때문에 이를 학습한 ai 도 당연히 그러함. 

--> 너무....데이터를 맹신하는 듯 함. 

• 단순한 학습이 아닌 심오한 발견도 가능한 순간이 올 것임. 
• 과학은 브라헤brahe, 케플러 kepler, 뉴턴newton 3단계를 거침. 
• -> 타코 브라헤가 낮밤으로 행성의 위치를 기록한 것처럼 브라헤 단계에서는 많은 데이터를 모음. -> 빅데이터가 함
• -> 케플러가 행성 운동을 알아내기 위해 한 것처럼 여러 경험 법칙을 데이터에 끼워 맞춤 -> 머신러닝이 함
• -> 뉴턴처럼 심오한 원리를 발견함. -> 머신러닝 혹은 머신러닝과 과학자가 결합해서 할 듯. 

--> 과학을 설명한 3단계가 재밌었음. 경험적으로 아는 것이랄까. 연구를 하려면,,,,미친듯이 선행연구를 읽고 읽다가, 변인간의 관계성을 찾고 이리저리 맞춰보고 끼워보다가, 결과를 도출해내며 새로운 사실을 발견한다. 아주 드물게 

--> 머신러닝........이 진짜 할 수 있어질 것 같긴 함. 

 

• 데이터를 지배하는 자가 머신러닝을 지배한다. 인생을 데이터로 만드는 것에 반응하여 통나무집으로 숨어 들어가서는 안 된다. 숲도 센서로 가득하다. 대신 당신에게 중요한 데이터를 제어할 방안을 적극적으로 찾아야만 한다.  

--> 꽤 재밌는 문구인 것 같다. 

--> 급변하는 세상에 먹히지 말자고 이야기하는 것 같은데 비유가 신선해서 좋았다. 

 

• 세상만사를 설명하는 또 다른 만물이론을 말하는가? 즉, 더 필요한가?
• 이론은 세상이 어떤 모습으로 가능할지에 대한 제약들의 집합이지 세상에 대한 완전한 설명은 아니다. 완전한 설명을 얻으려면 이론과 데이터를 결합해야 한다.  ...
• 이론의 힘은 세상을 얼마나 간단하게 설명해 주는 가에 달려 있다. 마치, 뉴턴의 제2법칙인 힘은 질량과 가속도의 곱인것처럼. 상대성이론과 양자역학 끈이론은 모두 뉴턴의 법칙을 정교히 다듬은 것임
• 저자는 마스터 알고리즘이 필요하다고 한다. 저 이론들을 능가한다고. 
• 1) 세상에 데이터는 너무 많아서 세상을 완전히 이해하기에 충분한 데이터 확보가 불가능함. 
• -> 물리학에서 불확실성은 시간이 지나면서 더욱 커지므로, 법칙을 적용하려면 좁은 영역의 순간에만 가능할 뿐
• 2) 어느 시점에 대한 완전한 지식을 갖더라도 물리법칙은 세상의 과거와 미래는 알려주지 못함.
• -> 예측에 필요한 계산량은 어마무시함. 그냥 동일한 우주가 필요함. 또, 생물학, 심리학, 사회학과 경제학 이론은 물리 법칙의 당연하 귀결이 아님. 
• 3) 한 분야에만 강력한 이론과 달리 마스터 알고리즘은 모든 분야에서 강력함. 

--> 나는 이론을 꽤나 좋아한다. 강력하고 심플한 이론은 수많은 변형들에겐 없는 풍부한 설명력을 갖는다. 몇 십줄이 왜 필요한가, 논문에는 한 문장이면 된다. '이러한 이론에 의하면'. 과학이 재밌는 것은 이런 강력한 이론도 명제의 합이라고만 본다는 사실이다. 언제나 반증이 가능한 단지 오늘의 명제일 뿐이다.

--> 만물이론은 처음 들어봤는데, 약간....'이거면 다 돼' 같아서  ㅎ 현자의 돌같긴 하다. 근데 난 이미 익숙한 plasticity 라는 용어를 알기 때문에.... 뭐.. 그걸 현실화 하고 싶구나 정도로 받아들여져셔. 약간 내게는 이 마스터 알고리즘은.. 어.. '치매 치료제' 같이 들린다. 

--> 의학과 심리학의 궁극적인 목표랄까. 치매 치료제...노화를 막겠다는 말과 동급인.. 최대의 난제이자 모두가 매달리는 .. 그래서 아 뭔가 마스터 알고리즘이 컴공의 그런 것이구나 싶었다. 

 

• 기억과 마이크로프로세서는 저마다의 이유로 마스터 알고리즘 후보에서 실패함. 
• 각각 5개의 부족이 각자 나름의 마스터 알고리즘을 고민하는 중. 
• 재밌게도,각각이 다 단계마다 필요해서 5개를 다 합쳐야 마스터에 가까워진다고 표현함. 

--> ...... 내가 심리학을 얼마나 사랑했었는지가 느껴진달까....ㅎ 고작 석사인데 2년했을 뿐이고 병원 시험이나 1년반 준비했을 뿐인데.. 적어도 내 주변에서는 이렇게 연구를 응용해서 생각하는 사람은 없었다. 내가 연구를 꽤나 좋아했기 때문일테지만. 

--> 심리학도......결국 범용으로 가는 중이다. 오랫동안 사용했던 categorical한 진단 체계에서 벗어나서 transdiagnostic 으로 넘어가고 있고 사실상 증상이 너무 유사하고, 약물이 비슷한 기제에 적용되기 때문에 3가지 정도로만 나눠진달까. sign은 흡사한데 symptom만 달라지고 그것도 너무 겹치니깐. 

--> 결국 다 비슷한 것 같다. 열심히 분화하다가, 다시 합쳐지다가, 다시 분화하겠지. 언제나처럼 정반합으로.

 

오늘 읽은 소감? 떠오르는 생각

• 흠.....나는 확실히 이론을 배우는 것을 좋아한다.
• 뭐랄까, 실전에 필요없다고 생각하는 사람들도 있지만, 그렇지 않다는 것을 나는 경험적으로 알고 있다. 이론은 용어가 문어체라서 그렇지 실상은 경력자들의 오답 노트이자 해결방안이라고 생각한다. 당연히 거기서 더 발전해 갈 수 있고.
• 물론 내가 익숙한 분야가 아직 아니라서 모르는 내용이 너무 많지만, 언제나 그렇듯 핵심은 비슷하다는 인상을 받았다.
• 또,,..이젠 그만두기로 했지만, 아직도 더 익숙하고 많이 알고 있는 전공 생각도 났다..
• 새로 배울 것이 궁금하고 흥미로우면서도 내가 뭐하고 있지 싶어서 씁쓸한......굉장히 공존하는 마음이다.