AI는 어떻게 배우는가 — 머신러닝 학습 방법 4가지

머신러닝을 공부하다 보면 가장 먼저 마주치는 질문이 있습니다.

AI는 어떻게 배우는 걸까?

사람처럼 책을 읽는 것도 아니고, 누가 일일이 가르쳐주는 것도 아닌데 어느 순간 리뷰가 긍정인지 부정인지를 맞힙니다.
고양이 사진을 보고 고양이라고 합니다.

AI가 "어떻게 배우는가"는 정답을 어떻게 제공하느냐에 따라 크게 4가지로 나뉩니다.

1. 지도 학습 (Supervised Learning)

정답지를 주고 가르치는 방식입니다.

시험 문제와 정답이 함께 있는 교재로 공부하는 것과 같습니다.
AI는 수천 개의 (입력, 정답) 쌍을 보면서 "이런 패턴이 오면 이게 정답이구나"를 학습합니다.

입력 (문제)              정답 (라벨)
"배송이 늦었어요"    →   별점 1점 (부정)
"완전 만족해요!"     →   별점 5점 (긍정)
"그냥 그래요"        →   별점 3점 (중립)

학습이 끝난 모델은 한 번도 본 적 없는 새 리뷰를 받아도 별점을 예측할 수 있게 됩니다.

대표적인 활용 사례

• 이메일 스팸 분류
• 이미지 내 객체 인식
• 집값 예측

2. 비지도 학습 (Unsupervised Learning)

정답지 없이 스스로 패턴을 찾는 방식입니다.

처음 보는 외국어 단어장이 있는데, 뜻은 없고 단어만 잔뜩 있을 때 — 모양이 비슷한 것끼리 직접 묶어보는 것과 같습니다.

정답 없이 데이터만 주어짐

"신발 구매, 운동화 구매, 러닝 앱 사용"
        →  🏃 운동 관심 그룹

"요리책 구매, 식재료 구매, 요리 영상 시청"
        →  🍳 요리 관심 그룹

AI가 "이 데이터들이 비슷한 패턴을 가졌구나"를 스스로 판단해서 군집을 만들어냅니다. 넷플릭스 추천 알고리즘이 대표적인 예입니다. 어떤 사람인지 직접 알려준 적 없어도, 비슷한 시청 패턴을 가진 사람들과 묶어서 콘텐츠를 추천합니다.

대표적인 활용 사례

• 고객 세분화 (마케팅)
• 이상 거래 탐지
• 추천 시스템

3. 준지도 / 자기지도 학습 (Semi / Self-supervised Learning)

정답이 일부만 있거나, 스스로 문제를 만들어 푸는 방식입니다.

준지도 학습 (Semi-supervised)

고양이 사진 1만 장 중 100장만 "고양이"라고 표시되어 있을 때, 나머지 9,900장도 활용해서 학습하는 방식입니다.
레이블 작업은 비용이 크기 때문에, 현실에서는 라벨이 없는 데이터가 훨씬 많습니다. 준지도 학습은 그 간극을 메웁니다.

자기지도 학습 (Self-supervised)

GPT 같은 언어 모델이 대표적입니다. 별도의 정답 라벨 없이, 데이터 자체가 문제이자 정답이 됩니다.

원문: "나는 오늘 밥을 먹었다"

AI가 스스로 만든 문제:
  "나는 오늘 [?]을 먹었다"
           ↑
    AI가 빈칸을 만들고,
    원문에서 정답을 찾아 학습

정답: "밥"  ← 이미 원문에 있음

인터넷에 있는 수십억 개의 문장으로 이 과정을 반복하면서 언어의 구조와 맥락을 학습합니다.
ChatGPT가 이 방식으로 사전 학습되었습니다.

4. 강화 학습 (Reinforcement Learning)

시행착오로 배우는 방식입니다.

갓난아기가 걸음마를 배우는 것과 같습니다.
넘어지면 "실패", 앞으로 나아가면 "성공" 신호를 받으면서 점점 잘 걷게 됩니다.

행동 → 결과 → 보상/패널티 → 다음엔 더 잘하기

게임 AI 예시:
  왼쪽 이동 → 적에게 맞음 → -10점  →  "왼쪽은 위험하구나"
  오른쪽 이동 → 코인 획득 → +10점  →  "오른쪽이 좋구나"

수백만 번 반복하면서 보상을 최대화하는 전략을 스스로 터득합니다.

대표적인 활용 사례

• 게임 AI (알파고, OpenAI Five)
• 로봇 제어

정리: 4가지 학습 방식 한눈에 보기

결정 경계 (Decision Boundary)

AI가 분류를 할 때, "이쪽이면 A, 저쪽이면 B"라는 기준선을 긋는 것을 결정 경계라고 합니다.

  파란 점 = 긍정 리뷰   🔵
  빨간 점 = 부정 리뷰   🔴

  AI가 할 일: 둘을 나누는 선 긋기

  🔵 🔵 🔵 |  🔴 🔴
  🔵 🔵   |    🔴 🔴
  🔵      |  🔴 🔴 🔴
          ↑
       결정 경계

이 경계가 어떻게 그어지느냐에 따라 모델의 성능이 달라집니다. 그리고 여기서 중요한 문제가 등장합니다.

과적합 (Overfitting)

세 가지 상태

모델이 결정 경계를 어떻게 긋느냐에 따라 세 가지 상태가 나타납니다.

① 이상적인 상태 (일반화)

경계가 단순하고 부드럽습니다. 예외적인 점 몇 개는 쿨하게 무시하고 큰 덩어리로 구역을 나눕니다.

🔵 🔵 🔵 |  🔴 🔴
🔵 🔵   |    🔴 🔴
🔵      |  🔴 🔴 🔴
         ↑ 깔끔한 직선

→ 한 번도 본 적 없는 새 데이터가 와도 올바르게 예측할 확률이 높습니다.

② 과적합 진행 중

선이 점점 구불구불해집니다. 예외적인 점들까지 맞추려고 선이 억지로 휩니다.

🔵 🔵 🔵 ~|  🔴 🔴
🔵 🔵  ~  |  🔴 🔴
🔵   ~    |🔴 🔴 🔴
      ↑ 살짝 구불구불

③ 심각한 과적합

선이 비정상적으로 복잡하게 꼬입니다. 훈련 데이터에서는 100점이지만, 새로운 데이터에서는 형편없는 결과를 냅니다.

🔵🔵🔵 ~~~|🔴🔴
🔵🔵 ~~~~~|  🔴🔴
🔵~~~~~~~~~|🔴🔴🔴
       ↑ 기형적으로 복잡한 경계

연습 문제 답만 외우고 원리를 모르는 학생이 실전 시험에서 망하는 것과 같은 원리입니다.

왜 발생할까?

모델이 훈련 데이터의 예시와 정답을 너무 잘 외워버린 나머지, 그 이면의 패턴을 제대로 익히지 못했을 때 발생합니다.

어떻게 줄일까?

가장 직관적인 방법은 훈련 데이터의 양을 충분히 늘리는 것입니다.

데이터가 많아지면 모델이 일일이 외우는 전략으로 버틸 수 없게 됩니다. 결국 패턴을 학습할 수밖에 없습니다.

마치며

이 내용을 처음 접했을 때 가장 흥미로웠던 건 강화학습이었습니다. 누군가 정답을 알려주는 것도 아니고, 데이터를 잔뜩 쌓아두는 것도 아닌데 — 그냥 "잘하면 보상, 못하면 패널티"만으로 스스로 전략을 찾아낸다는 게 신기했습니다.

과적합은 생각보다 직관적이었습니다.
결국 "외운 것"과 "이해한 것"의 차이인데, 사람도 다르지 않다는 생각이 들었습니다.
시험 전날 벼락치기로 외운 공식이 응용 문제 앞에서 무너지는 것처럼요.

처음에는 AI가 뭔가 거대하고 복잡한 것처럼 느껴졌는데,
학습 방식의 구조를 이해하고 나니 조금 가까워진 느낌인 것 같습니다.