딥러닝 핵심 용어 정리: 과적합, 경사 하강법, 퍼셉트론, CNN

딥러닝 핵심 용어 정의 (Brief Definitions)

(i) Training, Validation, Testing Set

• Training Set: 모델의 가중치와 편향을 학습시키기 위해 사용하는 데이터셋입니다.

• Validation Set: 학습 과정 중 하이퍼파라미터 튜닝 및 모델의 성능을 검증하여 과적합 여부를 판단하는 데 사용되는 데이터셋입니다.

• Testing Set: 학습이 완전히 끝난 후, 모델의 최종 성능을 객관적으로 평가하기 위해 사용하는 데이터셋입니다.

(ii) Overfitting (과적합)

모델이 학습 데이터에 너무 과하게 최적화되어, 실제 새로운 데이터(Unseen data)에 대해서는 오차가 커지고 일반화 성능이 떨어지는 현상을 의미합니다.

(iii) Gradient Descent (경사 하강법)

함수의 기울기(Gradient)를 구하고, 경사가 가장 가파른 방향의 반대 방향으로 매개변수를 반복적으로 업데이트하여 함수의 최솟값(Loss function의 최소치)을 찾아가는 최적화 알고리즘입니다.

(iv) Artificial Neural Network (인공신경망, ANN)

생물학적 뇌의 신경망 구조에서 영감을 받아 학습 과정을 수학적으로 모델링한 알고리즘입니다. 입력층(Input), 은닉층(Hidden), 출력층(Output)으로 구성된 노드들이 연결되어 데이터를 처리합니다.

(v) Sigmoid (시그모이드)

S자 모양의 곡선을 갖는 활성화 함수로, 입력값을 0과 1 사이의 값으로 변환합니다. 주로 이진 분류(Binary Classification)의 출력층에서 확률 값을 나타낼 때 사용됩니다.

(vi) Perceptron (퍼셉트론)

다수의 신호를 입력받아 하나의 신호를 출력하는 가장 기본적인 형태의 인공 신경망 구조입니다. 입력 값에 가중치를 곱하고 편향을 더한 뒤, 활성화 함수를 통과시켜 최종 결과를 결정합니다.

(vii) CNN (Convolutional Neural Network, 합성곱 신경망)

데이터의 공간적 구조 정보를 유지하며 학습하는 신경망입니다. 주로 이미지 인식 및 처리에 특화되어 있으며, 필터(Kernel)를 이용해 특징을 추출하는 Convolution 레이어와 차원을 축소하는 Pooling 레이어로 구성됩니다.