퍼셉트론(Perceptron) 이란? (단층/다층 퍼셉트론)

사전적 정의 

[정보 통신]  시각과 뇌의 기능을 모델화한 학습 기계. 학습 기능과 지적 동작 기능을 가진 패턴 인식의 기계로서, 미국 코넬 대학의 로젠블랫이 만들었다. 

 

퍼셉트론 이란? 

신경망의 가장 작은 단위

하나의 뉴런 (뇌세포) 을 모방한 것 

 

퍼셉트론의 수학적 정의 

y = f(w₁x₁ + w₂x₂ + ... + wₙxₙ + b)

💡  : 학습 대상

• x₁, x₂, ..., xₙ: 입력값 (input features) : 외부에서 들어오는 데이터 (재료) 
• w₁, w₂, ..., wₙ: 가중치 💡 (weights) : 각 입력값이 결과에 주는 영향력(중요도). 어떤 자극에 더 예민하게 반응할지 결정하는 모델의 성격. 선의 기울기. 
• b: 편향 💡 (bias) : 뉴런이 얼마나 쉽게 활성화될지 조절하는 민감도. 입력값과 상관없이 결과를 0이나 1쪽으로 밀어주는 역할을 함. 
• f(): 활성화 함수 (activation function): 최종 점수를 받아 0으로 내보낼지, 1로 내보낼지(혹은 다른 값으로) 결정하는 필터. 
• y: 출력값 (output)

 

활성화 함수의 종류 

• 활성화 함수는 합계 점수가 들어왔을때, 이걸 다음 뉴런으로 보낼지 말지 결정하는 필터. 
• 역할: 입력값들의 총합을 최종 출력으로 변환. 모델에 비선형성(유연함)을 부여함. 

① 계단 함수 (Step Function) - 전통적인 퍼셉트론에서 사용하며, 단순 값의 전달 유무만을 결정함. 

 

• 특징: 0보다 크면 무조건 1, 아니면 무조건 0.
• 단점: 너무 딱딱함.  "0.0001점 차이로 1이냐 0이냐"가 갈리니까 중간 과정이 생략됨. AI 학습에 적합하지 않음. 
• 예시 : 현대 AI 에서는 거의 안씀. 초창기 논리 회로 (ex. 센서값이 50 넘으면 무조건 사이렌 울릴 것 등) 에 사용됨. 학습이 필요없는 딱딱한 규칙 기반 시스템에 쓰임. 

② 시그모이드 (Sigmoid) - S자 곡선 ** 부드럽게 휘어지는 S자 모양.

• 특징: 결과를 0.0에서 1.0 사이의 확률값으로 표. (곡선) 
• 장점: "이건 0.7 정도의 확률로 개(Dog)인 것 같아" 같은 유연한 표현이 가능해요.
• 단점: 층이 너무 깊어지면 학습이 잘 안 되는 '기울기 소실(vanishing gradient)' 문제가 생깁니다. 
• 즉, 미분한 값이 굉장히 작기 때문에 모든 레이어의 활성화 함수로 사용하기 부적합. 
• 예시: 결과가 예/아니요 딱 두가지 중 하나인 이진 분류 모델에 쓰임. 
• ex. 스팸 메일 차단기, 대출 승인 여부 판단 AI 등. 결과층에서 딱 하나의 확률값이 필요할때 쓰임. 여전히 잘 쓰임. 

③ 렐루 (ReLU, Rectified Linear Unit) **0에서 탁 꺾이는 니은(ㄴ)자 모양이 됨. 

• 특징: 0보다 작으면 무조건 0, 0보다 크면 그 숫자 (양수) 그대로 출력.
• 왜 쓸까? 1. 계산이 빠르다. (0보다 큰지만 보면 되니까!) 2. 층을 수백 층 쌓아도 학습이 아주 잘 됨. 3. 그래서 요즘 쓰는 대부분의 딥러닝 모델(Auri 프로젝트에 들어가는 LLM 포함)은 기본적으로 ReLU 계열을 씀. 
• 예시: 거의 모든 현대 딥러닝 모델에 사용됨. 
• ex. ChatGPT(LLM), 자율주행 자동차의 사물 인식, Auri 챗봇의 두뇌.
• 층을 수백개 쌓아야 하는 거대 ai 모델에서 중간 단계인 은닉층들은 99% 렐루 계열을 씀. 
• 복잡한 연산을 미친듯이 빨리 처리해야 하는 이미지 처리(CNN) 나, 자연어 처리(Transformer) 에 사용됨. 

④ Softmax 

• 출력값을 0~1 사이의 확률값으로 변환해주고, 변환된 값들의 합은 항상 1이되는 함수 
• 보통 분류(Classification)의 마지막 출력층에 사용하는 활성화 함수. 
• ex) 분류 작업시, 마지막 출력층에서 정답후보들에 대해 "정답률"을 확률로 바꿔줌. 
• 큰값은 더 크게, 작은값은 더 작게 만들어서 가장 가능성이 높은 후보를 확실하게 만들어주는 역할을 함 
• soft 하게 Max 해준다 = 부드럽게 최대치를 뽑아준다. 고 볼 수 있다. 
• 예시: 여러 후보중 하나를 골라야 하는 다중 분류(multi-class) 모델에 사용됨. 
• ex. 아이폰 페이스 ID(얼굴인식), 유튜브 추천 알고리즘 등 

⑤  Tanh (하이퍼볼릭 탄젠트) **시그모이드랑 비슷한데 좀 더 가파른 S자 모양.

• 시그모이드의 친척 이다 !!  
• 시그모이드 (Sigmoid): 0.0 ~1.0 사이 (전부 양수)
• 하이퍼볼릭 탄젠트 (tanh): -1.0 ~ 1.0 사이 (음수도 나옴)
• 왜 필요한가? 
• 중앙값 0이 생김으로써 음수/양수가 골고루 섞여나옴. 
• 이렇게 데이터의 중심이 0에 맞춰지면, AI 학습시 훨씬 빠르고 안정적으로 움직임. 

 

 

퍼셉트론으로 만드는 논리 회로 

• 단층 퍼셉트론으로 구현가능한 기본적인 논리 회로들 

게이트(Gate)	설명
AND	입력이 모두 1일 때만 1을 출력
NAND	AND의 반대 (모두 1일 때만 0을 출력)
OR	입력 중 하나라도 1이면 1을 출력

 

 

BUT

XOR 게이트(입력이 서로 다를 때만 1이 나오는 구조) 는 구현 불가능함. 

 

단층 퍼셉트론의 한계 

• 직선 하나로만 영역을 나눌 수 있음. 즉, 선형 분리만 가능함. 
• XOR 처럼 곡선이나, 여러개의 선이 필요한 문제는 해결 불가함. 
• 아무리 가중치 w와 편향(y 좌표 위치) b 값을 조절해도 "곧은 직선"에 불과함. 구부러진 모양, 곡선 안됨. 

 

단층 퍼셉트론 vs 다층 퍼셉트론 (MLP) 시각화 

 

다층 퍼셉트론

• 퍼셉트론을 여러 층으로 쌓은 구조. 
• 층을 쌓으면, 직선들을 조합해 곡선(비선형) 같은 복잡한 경계선을 만들 수 있음. 
• 즉, 렐루 함수를 사용할때, 
  • 렐루는 한쪽은 0(바닥), 한쪽은 직선으로 쭉 뻗는 'ㄴ'자 모양의 선을 만들음.
    • 은닉층의 1번 뉴런: 오른쪽 위로 꺾인 'ㄴ'자 선 하나.
    • 은닉층의 2번 뉴런: 왼쪽 위로 꺾인 'ㄴ'자 선 하나.
    • 뉴런이 1000개일때? 잘게꺾인 1000개의 선 조각들이 생기고 이를 이어 붙이면 매끄러운 곡선이나 원처럼 보이게됨. 
• 은닉층이 추가되면서 XOR 문제 해결 가능해졌음. 
• 의의: 단순한 선형 분류를 넘어, 복잡하고 비선형적인 데이터(이미지, 언어 등)를 처리할 수 있는 딥러닝의 기초가 됨. 

층 이름	역할
입력층 (Input)	데이터(x)가 처음 들어오는 곳. 별도 연산 없이 전달만 함.
은닉층 (Hidden)	입출력 사이의 층. 데이터를 비틀고 요약해서 특징을 추출. (일반적으로 은닉층이 3개 이상이면 Deep 이라 부름.)
출력층 (Output)	최종 판단(y)을 내보내는 곳. (ex. 분류 모델이라면 여기서 softmax 를 씀... )

 

다층 퍼셉트론이 XOR 를 해결하는 원리 

• 핵심: 단순한 판단을 여러개 조합하면, 복잡한 판단이 가능하다!
• 예시 
  • 1단계 (은닉층): 입력값(x1, x2)을 받아서 NAND 게이트(둘다 1일때 0) 와 OR 게이트(하나라도 1일때 1)를 동시에 돌림. (두 개의 서로 다른 시선으로 데이터를 봄)
  • 2단계 (출력층): 위에서 나온 두 결과를 다시 AND 게이트(둘다 1일때 1)에 넣음. 
  • 결과: x1, x2가 다를 때만 1이 나옴.