기울기소실 문제(Vanishing Gradient Problem)
컴퓨터시스템응용기술사 제122회 1교시 13번 문항으로, 과목은 AI/신기술입니다. ‘역전파’ 키워드는 컴퓨터시스템응용기술사 기출 5문항에 나왔습니다.
원문 문제
컴퓨터시스템응용기술사 제122회 13번. 기울기소실 문제(Vanishing Gradient Problem)
핵심 키워드
- 기울기 소실
- 역전파
- 활성화 함수
- LSTM
- Vanishing Gradient
- 가중치 업데이트
고득점 가이드 — 1. 개요
기울기 소실(Vanishing Gradient)은 깊은 신경망에서 역전파 시 출력층에서 입력층으로 갈수록 기울기가 0 에 수렴해 하위 계층 가중치가 거의 갱신되지 않는 현상이다. 학습이 정체되어 깊은 망의 표현력을 살리지 못하며, 특히 RNN 의 시계열 학습에서 장기 의존성 학습을 방해한다.
출제 이력
- 기울기 소실기출 2문항
- 역전파기출 5문항
- 활성화 함수기출 3문항
- LSTM기출 1문항
- Vanishing Gradient기출 1문항
- 가중치 업데이트기출 3문항
- 제128회 7번CNN(Convolutional Neural Network) 계층(Layer)AI1교시겹치는 키워드: 활성화 함수, 역전파무료
- 제119회 2번인공신경망의 오류 역전파(Backpropagation) 알고리즘AI1교시겹치는 키워드: 역전파, 가중치 업데이트무료
- 제110회 10번딥 러닝(Deep Learning : 심층학습)AI1교시겹치는 키워드: 역전파, 활성화 함수무료
- 제135회 4번몬테카를로 트리탐색(Monte Carlo Tree Search)AI1교시겹치는 키워드: 역전파무료
- 제120회 2번순환 신경망(Recurrent Neural Network : RNN)AI1교시겹치는 키워드: 기울기 소실무료
- 제119회 28번딥러닝(Deep Learning) 가중치 학습을 위한 경사하강법(Gradient Descent)AI4교시겹치는 키워드: 가중치 업데이트
같은 과목 문항
- 제122회 10번인공지능 데이터의 평가를 위한 고려사항1교시무료
- 제122회 12번생성적 적대 신경망(Generative Adversarial Networks : GAN)1교시무료
- 제122회 14번자율주행의 기술동향 및 핵심기술2교시
- 제122회 18번패션 의류용 이미지를 분류하는 다층 신경망 (의류용 이미지 10가지 유형 흑백이미지 32*32 pixels, 학습 이미지 48,000장, 완전연결 3계층, 은닉층 뉴런 100개)2교시
- 제122회 19번인공지능(AI) 윤리의 개념, 주요사례, 고려사항 및 추진방향2교시
- 제122회 21번블록체인기술3교시