트랜스포머(Transformer)와 MoE(Mixture of Experts)
정보관리기술사 제137회 1교시 7번 문항으로, 과목은 AI/신기술입니다. ‘트랜스포머’ 키워드는 정보관리기술사 기출 2문항에 나왔습니다.
원문 문제
정보관리기술사 제137회 7번. 트랜스포머(Transformer)와 MoE(Mixture of Experts)
핵심 키워드
- 트랜스포머
- MoE
- 어텐션 메커니즘
- 전문가 네트워크
- 조건부 계산
- 모델 확장성
고득점 가이드 — 1. 개요
Transformer는 셀프 어텐션을 기반으로 시퀀스 전체를 병렬 처리하는 신경망 구조이며, MoE(Mixture of Experts)는 입력별로 일부 전문가 네트워크만 선택적으로 활성화하는 희소 조건부 계산 구조다. 두 구조는 대규모 언어 모델의 성능과 효율을 견인하는 핵심 설계 원리로 자리잡았다.
출제 이력
- 트랜스포머기출 2문항
- MoE기출 1문항
- 어텐션 메커니즘기출 1문항
- 전문가 네트워크기출 1문항
- 조건부 계산기출 1문항
- 모델 확장성기출 1문항