Self-Attention 메커니즘
컴퓨터시스템응용기술사 제138회 1교시 5번 문항으로, 과목은 AI/신기술입니다.
원문 문제
컴퓨터시스템응용기술사 제138회 5번. Self-Attention 메커니즘
핵심 키워드
- Self-Attention
- Query Key Value
- 어텐션 스코어
- Softmax 정규화
- 다중 헤드 어텐션
고득점 가이드 — 1. 개요
Self-Attention 은 입력 시퀀스 내 각 토큰이 다른 모든 토큰과의 연관성을 동적으로 계산해 문맥 표현을 생성하는 어텐션 메커니즘이다. Transformer 아키텍처의 핵심 구성이며 RNN 의 순차 한계를 극복해 병렬 처리를 가능하게 한다.
출제 이력
- Self-Attention기출 1문항
- Query Key Value기출 1문항
- 어텐션 스코어기출 1문항
- Softmax 정규화기출 1문항
- 다중 헤드 어텐션기출 1문항
다른 회차에서 같은 키워드가 나온 문항이 아직 없어요.
같은 과목 문항
- 제138회 2번ADAS(Advanced Driver Assistance System)와 ADS(Automated Driving System)의 차이점1교시무료
- 제138회 6번TTFT(Time To First Token)와 TPOT(Time Per Output Token) 비교1교시무료
- 제138회 10번모라벡의 역설(Moravec's Paradox)1교시무료
- 제138회 30번스마트선박 관련 IMO 자율운항선박 자율화 등급, 선박 통합 네트워크(SAN: Ship Area Network), 통합항해시스템(INS: Integrated Navigation System)의 모듈 구조4교시무료
- 제137회 2번클라우드 AI와 온디바이스 AI의 개념 비교1교시무료
- 제137회 3번지능형 엣지 컴퓨팅1교시무료