인공신경망

1. 인공신경망이란

인공신경망(Artificial Neural Network, ANN) 은 뇌의 뉴런 구조를 모방한 학습 모델.

• 입력 → 가중치 합 → 활성화 → 출력
• 여러 층 쌓아 복잡한 패턴 학습

2. 퍼셉트론(Perceptron)

단일 퍼셉트론

$$y = f(w_1 x_1 + w_2 x_2 + \cdots + b)$$

• $w$: 가중치
• $b$: 편향
• $f$: 활성화 함수

한계: XOR 같은 비선형 문제 못 풀음 → 다층으로 해결.

3. 다층 퍼셉트론(MLP)

입력층 → 은닉층(여러 개) → 출력층

• 은닉층에서 비선형 활성화
• 층이 깊을수록 표현력 ↑

4. 활성화 함수

함수	특징	용도
Sigmoid	0~1, 기울기 소실	이진 출력
Tanh	-1~1	은닉층(구버전)
ReLU	max(0, x)	은닉층 표준
Leaky ReLU	음수에도 작은 기울기	ReLU 사망 방지
Softmax	클래스 확률	다중 분류 출력층

5. 손실 함수

문제	손실
회귀	MSE, MAE
이진 분류	Binary Cross-Entropy
다중 분류	Categorical Cross-Entropy

6. 학습 원리 — 역전파(Backpropagation)

6-1. 순전파(Forward)

• 입력 → 예측

6-2. 손실 계산

• 예측과 정답 차이

6-3. 역전파

• 손실을 가중치에 대한 기울기로 전파
• 연쇄법칙(chain rule) 기반

6-4. 가중치 갱신

$$w \leftarrow w - \eta \cdot \dfrac{\partial L}{\partial w}$$

• $\eta$: 학습률(learning rate)

7. 최적화 알고리즘

방법	특징
SGD	배치 단위 기울기 하강
Momentum	관성 추가
Adam	적응적 학습률, 가장 널리 사용
RMSProp	최근 기울기 제곱 평균

8. 과적합 방지 기법

• Dropout: 학습 중 뉴런 일부 무작위 비활성
• L2 정규화: 가중치 감쇠
• Early Stopping: 검증 손실 증가 시 중단
• Batch Normalization: 층별 정규화
• 데이터 증강: 이미지 회전·반전·노이즈

9. 딥러닝의 주요 구조

구조	용도
CNN(Convolutional)	이미지, 시공간 데이터
RNN / LSTM / GRU	시계열, 자연어
Transformer	NLP·비전 전반 (BERT/GPT)
GAN	생성 모델(이미지 생성)
오토인코더	차원 축소·이상 탐지

10. 하이퍼파라미터

• 학습률(learning rate)
• 배치 크기(batch size)
• 은닉층 수·크기
• 드롭아웃 비율
• 에포크 수

11. 파이썬 예 (간단 MLP)

import tensorflow as tf
model = tf.keras.Sequential([
    tf.keras.layers.Dense(128, activation='relu', input_shape=(20,)),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid'),
])
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
model.fit(X_train, y_train, validation_split=0.2, epochs=20)

12. 출제 포인트

• 퍼셉트론의 한계와 MLP 등장
• ReLU·Sigmoid·Softmax 용도
• 역전파의 연쇄법칙 개념
• Dropout·정규화 등 과적합 방지
• CNN·RNN·Transformer 기본 용도

요약 체크리스트

• 단일 퍼셉트론 수식
• 활성화 함수 4종의 특징
• 역전파 4단계(순전파→손실→역전파→갱신)
• Dropout 작동 원리 설명