기술기술

1. 정의 RNN의 장기의존성 문제 해결위해 Hidden Layer를 Input Gate, Output Gate, Forget Gate라는 세가지 게이트를 이용하여 해결한 알고리즘 2. 구성도 및 구성요소 가. 구성도 - 화살표 위오위오위오오 시시탄시탄 X+XX 나. 구성요소 - 셀포인아

1. 정의 Hidden Node가 방향을 가진 엣지로 연결된 순환구조(directed cycle)를 통해 음성, 문자 등 순차적 데이터 학습, 처리를 위한 딥러닝 알고리즘 신경망 연결에 순환구조를 넣은것 연속된 데이터 상에서 이전 순서의 히든 노드(hidden node)의 값을 저장 이후, 다음 순서의 입력 데이터로 학습할 때 이전에 저장해 놓은 값을 이용 2. 개념도 3. RNN 기울기 소멸 문제(Vanishing Gradient Problem) RNN은 하나의 네트워크가 여러 개 복사된 형태를 띄고 있고 각각의 네트워크는 다음단계로 정보를 넘겨줌 시간에 따라 학습이 진행됨에 따라 앞에서 인풋으로 받은 정보가 학습에 미치는 영향이 점검 감소하다가 결국 사라져 버림 은닉층이 깊어질수록 장기 의존성 문제에..

1. 정의 Convolution layer, Pooling layer, Fully connected layer 를 통해 feature(특징) 추출, 차원 축소 단계를 거쳐 이미지를 분류, 인식 가능한 신경망 알고리즘 pooling - 이미지 특징을 반영하며, 차원을 축소 2. 절차 및 구성요소 가. 절차 - 원컨풀컨풀전 원본이미지 -> 컨볼루션 -> 풀링 – 컨볼루션 -> 풀링 – 전체 연결된 신경망 나. 구성요소 - 컨폴풀피 컨볼루션 레이어(Convolution Layer) : 합성곱(Convolution) 사용 특징(Feature) 추출, 특징맵(Feature Map)구성 폴링 레이어(Pooling Layer) : Subsampling 차원축소, Max pooling, Average pooling, ..

1. 정의 오버피팅 방지 위해 서로 연결된 연결망(layer)에서 0부터 1 사이의 확률로 뉴런을 제거(drop)하는 과대적합 방지 기법 → 매 학습시 일정확률 p로 뉴런 제거하여 학습후, 추론시에 결과보상하여 추론하는 학습기법 특징) 과적합 문제 해결, 모델 간소화 2. 방법 및 효과 가. 방법 입력층과 은닉층의 임의 노드 선택 및 제거 임의 노드제거 상태에서 학습 수행(feed-forward / back propagation) 실제 테스트 시 제거 노드 복원 및 가중치 연산 가중치에 확률 p를 곱하여 결과 보상 나. 효과 - 오앙동배 투표 특정 셀로 가중치가 높아지는것을 방지 → 편향방지 → 오버피팅 방지 다수의 모델로 학습되는 효과(앙상블/voting/랜덤포레스트 같은 효과) 동조현상 회피(co a..

1. 정의 오버피팅 : 모델의 일반성이 떨어져 모델의 학습 오차가 매우 낮은데 비해 테스트 오차가 비정상적으로 높은 상태 , 복잡한 학습모델, 일반화 오류, 고분산 저편향 언더피팅: 학습 데이터가 불충분하거나 모델이 지나치게 단순하여 모델이 학습 데이터의 패턴을 잡아내지 못하는 상태(Decision Boundary) 단순한 학습모델, 성능부족 학습 오류, 저분산 고편향 2. 오버피팅의 발생원인 및 해결방안 가. 발생원인 - 노독복 노이즈, 독립변수, 모델 복잡성(차원의 저주-xponentially하게 증가), 나. 해결방안 - 정교차드조 정규화, 교차검증, 차원축소(PCA, ICA 등), Drop out, 조기 종료 3. 언더피팅의 발생원인 및 해결방안 가. 발생원인 - LG Less Feature(차원..

1. 정의 심층신경망의 역전파 알고리즘을 이용한 학습 시 앞쪽의 은닉층으로 오차가 거의 전달되지 않는 현상 2. 발생원인 및 해결방안 가. 발생원인 Layer(층) 깊이 측면 : 복잡한 문제 해결 위한 층 확장 국부해(Local Minimum) 수렴, 최적해 수렴 시 반복 계산 증가 활성함수 측면 : Sigmoid 함수의 “Squash” 특성, 역전파 시 최대 미분 값 0.25, 층 반복 시 0 수렴 나. 해결방안 - 효개 메사미음

1. 정의 함수의 최소값의 위치를 찾기 위해 경사가 하강하는 방향을 관찰하고 그 쪽으로 조금씩 이동 하면서 검토를 반복해 근사값을 찾는 최적화 알고리즘 미분의 개념을 최적화 문제에 적용, 에러 함수의 global minimum을 찾는 방법 2. 개념도 및 문제점 가. 개념도, 매커니즘 함수의 기울기를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서, 반복시켜서 최적화 알고리즘 손실함수 : 학습을 통해 얻은 데이터의 추정치가 실제 데이터와 얼마나 차이 나는지 평가하는 지표 -> 클수록 많이 틀렸음을 의미하며 0이면 '무손실' (완벽추정) 의미 나. 유형 - 확배미 확률적 경사하강법 : 하나의 학습 데이터마다 즉시 오차 계산하여 적용, 순차적 수행 필요 => 병렬컴퓨팅 효과 얻기 어려움 배치 경사하강법 : 모든..

1. 정의 뉴런 출력값에 대해 class 분류를 위하여 마지막 단계에서 출력값에 대한 정규화 해주는 함수 데이터를 분류 시 사용하는 활성함수가 소프트맥스 함수 [특징] 출력값은 0에서 1.0, 출력 총합 : 1 2. 수식, 주의사항 가. 수식 n : 출력층의 뉴런 수 yk : k번째 출력 exp : 지수함수 나. 주의사항 지수함수로 되어 있어 오버플로우(무한대 값 발생 가능) 문제가 발생 할 수 있음 오버플로우를 해결하기 위해 개선한 식 - 데이터를 분류하고자 할때 모든 입력 신호로부터 영향을 받으므로 사용하는 활성함수가 소프트맥스 함수임.

1. 정의 피처 값의 유형에 따라 새로운 피처를 추가해 고유 값에 해당하는 칼럼에만 1을 표시하고 나머지 칼럼에는 0을 표시하는 방법 2. 특징 및 주의사항 가. 특징 훈련 세트와 테스트 세트를 나누기 전에 데이터 변환 수행 각 값들은 서로 독립적으로 구성(단어의 속성이 벡터에 반영되지 않음) 차원의 저주 문제 발생 나. 주의사항 훈련 세트와 테스트 세트를 나누기 전에 데이터 변환 수행 각각을 분류 후 원핫인코딩 수행 시 두 세트에 각각 다른 인코딩이 적용 됨.

1. 정의 신경망 학습 모델의 input 값에서 output값을 도출할때, 임계치(threshold, Critical Point) 내에서 output 이 도출되도록 transfer 하는 함수 2. 활성화 함수 종류 - 단경시렐소 양항탄엘 계 구분 명칭 그래프 설명 단극성 경사함수 - 단극성 선형 연속 함수 Sigmoid - 로지스틱 함수, x값을 변화에 따라 0~ 출력 ReLU(Rectified Linear Unit) - x값이 음수일 땐 0 고정 - 기울기 소실 문제 발생 - 시그모이드보다 6배 빠름 Softmax 2차원 그래프 표현 불가 - 여러 입력값을 0~1로 나눠어 표현 - 마지막 출력층에서 결과값을 분리(SVM 유사) 양극성 항등함수 - 양극성 선형 연속 함수 - 입력의 가중합 출력 tanh ..