기술기술

1. 정의 오버피팅 방지 위해 서로 연결된 연결망(layer)에서 0부터 1 사이의 확률로 뉴런을 제거(drop)하는 과대적합 방지 기법 → 매 학습시 일정확률 p로 뉴런 제거하여 학습후, 추론시에 결과보상하여 추론하는 학습기법 특징) 과적합 문제 해결, 모델 간소화 2. 방법 및 효과 가. 방법 입력층과 은닉층의 임의 노드 선택 및 제거 임의 노드제거 상태에서 학습 수행(feed-forward / back propagation) 실제 테스트 시 제거 노드 복원 및 가중치 연산 가중치에 확률 p를 곱하여 결과 보상 나. 효과 - 오앙동배 투표 특정 셀로 가중치가 높아지는것을 방지 → 편향방지 → 오버피팅 방지 다수의 모델로 학습되는 효과(앙상블/voting/랜덤포레스트 같은 효과) 동조현상 회피(co a..

1. 정의 오버피팅 : 모델의 일반성이 떨어져 모델의 학습 오차가 매우 낮은데 비해 테스트 오차가 비정상적으로 높은 상태 , 복잡한 학습모델, 일반화 오류, 고분산 저편향 언더피팅: 학습 데이터가 불충분하거나 모델이 지나치게 단순하여 모델이 학습 데이터의 패턴을 잡아내지 못하는 상태(Decision Boundary) 단순한 학습모델, 성능부족 학습 오류, 저분산 고편향 2. 오버피팅의 발생원인 및 해결방안 가. 발생원인 - 노독복 노이즈, 독립변수, 모델 복잡성(차원의 저주-xponentially하게 증가), 나. 해결방안 - 정교차드조 정규화, 교차검증, 차원축소(PCA, ICA 등), Drop out, 조기 종료 3. 언더피팅의 발생원인 및 해결방안 가. 발생원인 - LG Less Feature(차원..

1. 정의 심층신경망의 역전파 알고리즘을 이용한 학습 시 앞쪽의 은닉층으로 오차가 거의 전달되지 않는 현상 2. 발생원인 및 해결방안 가. 발생원인 Layer(층) 깊이 측면 : 복잡한 문제 해결 위한 층 확장 국부해(Local Minimum) 수렴, 최적해 수렴 시 반복 계산 증가 활성함수 측면 : Sigmoid 함수의 “Squash” 특성, 역전파 시 최대 미분 값 0.25, 층 반복 시 0 수렴 나. 해결방안 - 효개 메사미음

1. 정의 함수의 최소값의 위치를 찾기 위해 경사가 하강하는 방향을 관찰하고 그 쪽으로 조금씩 이동 하면서 검토를 반복해 근사값을 찾는 최적화 알고리즘 미분의 개념을 최적화 문제에 적용, 에러 함수의 global minimum을 찾는 방법 2. 개념도 및 문제점 가. 개념도, 매커니즘 함수의 기울기를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서, 반복시켜서 최적화 알고리즘 손실함수 : 학습을 통해 얻은 데이터의 추정치가 실제 데이터와 얼마나 차이 나는지 평가하는 지표 -> 클수록 많이 틀렸음을 의미하며 0이면 '무손실' (완벽추정) 의미 나. 유형 - 확배미 확률적 경사하강법 : 하나의 학습 데이터마다 즉시 오차 계산하여 적용, 순차적 수행 필요 => 병렬컴퓨팅 효과 얻기 어려움 배치 경사하강법 : 모든..

1. 정의 뉴런 출력값에 대해 class 분류를 위하여 마지막 단계에서 출력값에 대한 정규화 해주는 함수 데이터를 분류 시 사용하는 활성함수가 소프트맥스 함수 [특징] 출력값은 0에서 1.0, 출력 총합 : 1 2. 수식, 주의사항 가. 수식 n : 출력층의 뉴런 수 yk : k번째 출력 exp : 지수함수 나. 주의사항 지수함수로 되어 있어 오버플로우(무한대 값 발생 가능) 문제가 발생 할 수 있음 오버플로우를 해결하기 위해 개선한 식 - 데이터를 분류하고자 할때 모든 입력 신호로부터 영향을 받으므로 사용하는 활성함수가 소프트맥스 함수임.

1. 정의 피처 값의 유형에 따라 새로운 피처를 추가해 고유 값에 해당하는 칼럼에만 1을 표시하고 나머지 칼럼에는 0을 표시하는 방법 2. 특징 및 주의사항 가. 특징 훈련 세트와 테스트 세트를 나누기 전에 데이터 변환 수행 각 값들은 서로 독립적으로 구성(단어의 속성이 벡터에 반영되지 않음) 차원의 저주 문제 발생 나. 주의사항 훈련 세트와 테스트 세트를 나누기 전에 데이터 변환 수행 각각을 분류 후 원핫인코딩 수행 시 두 세트에 각각 다른 인코딩이 적용 됨.

1. 정의 신경망 학습 모델의 input 값에서 output값을 도출할때, 임계치(threshold, Critical Point) 내에서 output 이 도출되도록 transfer 하는 함수 2. 활성화 함수 종류 - 단경시렐소 양항탄엘 계 구분 명칭 그래프 설명 단극성 경사함수 - 단극성 선형 연속 함수 Sigmoid - 로지스틱 함수, x값을 변화에 따라 0~ 출력 ReLU(Rectified Linear Unit) - x값이 음수일 땐 0 고정 - 기울기 소실 문제 발생 - 시그모이드보다 6배 빠름 Softmax 2차원 그래프 표현 불가 - 여러 입력값을 0~1로 나눠어 표현 - 마지막 출력층에서 결과값을 분리(SVM 유사) 양극성 항등함수 - 양극성 선형 연속 함수 - 입력의 가중합 출력 tanh ..

1. 파라미터 / 하이퍼파라미터 개요 2. 하이퍼 파라미터 튜닝 방법 가. 구성도 - 학습의 규모가 커질수록 탐색시간 기준 Bayesian Optimization이 가장 뛰어나지만 생성하려는 모델 수준 등을 고려할 때 상황에 맞는 튜닝방법을 선택하는것이 핵심 나. 구성요소 - 최근에는 Amazon SageMaker, Google Cloud ML 등에서 베이지안 최적화 튜닝을 사용 중

1. 정의 사람의 개입없이 능동적인 비지도 학습(unsupervised)이 결합돼 컴퓨터가 사람처럼 스스로 학습할 수 있는 인공지능 기술 등장 배경 ) 하드웨어 발전, CNN, RNN 진화, 비지도 학습 전처리 기술 발전 2. 개념도 및 주요 알고리즘 가. 개념도 나. 대표 알고리즘 심층 신경망(DNN) : 입력 계층(input layer)과 출력 계층(output layer) 사이에 복수개의 은닉 계층(hidden layer)들로 이뤄진 인공신경망 합성곱 신경망(CNN) : 최소한의 전처리를 사용하도록 설계된 다계층 퍼셉트론 (Multi-layer Percep tron)의 한 종류 순환 신경망(RNN) : 인공신경망을 구성하는 유닛사이의 연결이 Direct Cycle을 구성하는 신경망 3. 딥러닝 적용..

1. 정의 머신 러닝의 데이터 수집에서부터 전처리, 학습 및 학습된 모델의 배포와 서비스 적용까지 전 과정을 순차적으로 처리하도록 설계된 시스템 아키텍처 2. 머신러닝 파이프라인 구성도 및 구성요소 가. 구성도 나. 구성요소 - 흡준모예