머신러닝 - 학습의 원리와 경사하강법 완전 정복
머신러닝 학습의 원리와 경사하강법 완전 정복
1. 머신러닝 학습의 목표
머신러닝 모델의 목표는 예측을 잘하도록 가중치(Weight, w)와 편향(Bias, b)를 적절한 값으로 찾는 것입니다.
이 과정을 수학적으로 표현하면, **비용 함수(Cost Function)**를 최소화하는 w와 b를 찾는 문제입니다.
2. 기초 용어 정리
| 용어 | 의미 | 쉬운 설명 |
|---|---|---|
| 가중치 (Weight, w) | 입력 데이터가 결과에 미치는 영향의 크기 | 친구 추천에서 “이 사람과의 친밀도” 점수 |
| 편향 (Bias, b) | 모델이 예측을 할 때 더하거나 빼주는 값 | 시험 점수에서 “기본 점수” 같은 개념 |
| 비용 함수 (Cost Function) | 예측값과 실제값의 차이를 수치로 표현한 함수 | 오답이 많을수록 점수가 높은 벌점표 |
| 기울기 (Gradient) | 비용 함수의 변화율 (미분값) | 산에서 서 있는 지점의 경사 방향과 기울기 정도 |
| 경사하강법 (Gradient Descent) | 기울기를 이용해 최소 비용을 찾는 방법 | 산 꼭대기에서 경사 방향으로 조금씩 내려가기 |
3. 학습 원리: “비용을 줄이는 방향으로 이동하기”
머신러닝 학습은 크게 다음의 흐름으로 진행됩니다.
-
초기값 설정
w와b를 아무 값이나 정합니다. -
예측 → 비용 계산 현재
w,b로 예측을 하고, 실제값과 비교해 비용 함수 값을 구합니다. -
기울기 계산 (미분) 비용 함수가 어느 방향으로 줄어드는지를 알기 위해 기울기를 계산합니다.
-
기울기의 반대 방향으로 이동 기울기가 양수면 왼쪽, 음수면 오른쪽으로 이동합니다.
-
반복 더 이상 비용이 줄어들지 않을 때까지 2~4단계를 반복합니다.
4. 쉬운 비유: “안개 낀 산에서 내려오기”
- 산의 높이 → 비용 함수 값
- 현재 위치 → 현재
w값 - 경사 방향 → 기울기
- 한 번에 내딛는 발걸음 크기 → 학습률(Learning Rate)
안개 때문에 정상에서 내려가는 길이 보이지 않는다고 상상해봅시다. 주변 경사(기울기)를 느끼면서 조금씩 내려가야 안전하게 계곡(최소값)에 도착할 수 있습니다. 발걸음이 너무 크면(학습률이 크면) 계곡을 지나쳐 반대편 산으로 가버리고, 발걸음이 너무 작으면(학습률이 작으면) 내려오는 데 시간이 오래 걸립니다.
5. 그래프로 보는 학습 과정
(1) w 값과 비용 함수
- U자형 곡선에서 가장 낮은 지점이 최적의
w - 그 위치가 예측이 가장 잘 되는 가중치 값
(2) b 값과 비용 함수
- 마찬가지로 최적의
b값이 곡선의 가장 낮은 지점
(3) 경사하강법 진행
- 빨간 점이 초기값에서 시작해 점점 최소값으로 이동하는 과정
- 화살표는 기울기의 반대 방향 이동을 의미
6. 핵심 정리
- 머신러닝 학습은 비용 함수 최소화 문제다.
- 경사하강법은 이를 해결하는 대표적인 방법이다.
- 기울기의 반대 방향으로 이동하며 최소값을 찾는다.
- 학습률(Learning Rate) 조절이 매우 중요하다.
댓글남기기