자연어 언어모델에서의 PLM(Pre-trained Language Model)의 특성 및 최종 LLM(Large Language Model)으로 만들어지는 과정
정보관리기술사 제133회 2교시 17번 문항으로, 과목은 AI/신기술입니다. ‘자연어 처리’ 키워드는 정보관리기술사 기출 7문항에 나왔습니다.
원문 문제
정보관리기술사 제133회 17번. 자연어 언어모델에서의 PLM(Pre-trained Language Model)의 특성 및 최종 LLM(Large Language Model)으로 만들어지는 과정
핵심 키워드
- PLM
- LLM
- 사전 학습
- 미세 조정
- 임베딩
- 트랜스포머
- 자연어 처리
고득점 가이드 — 1. 개요
PLM(Pre-trained Language Model)은 대규모 비표시 코퍼스로 사전 학습된 언어 모델로, 트랜스포머 구조 기반 자기지도학습을 통해 자연어 일반 표현을 획득한다. LLM(Large Language Model)은 PLM의 파라미터 규모와 학습 데이터를 폭발적으로 확장하고 지시 학습·인간 피드백을 결합한 대형 언어 모델이다. 자사 도메인 특화 모델 구축 시 두 모델의 위치와 발전 과정을 정확히 이해해야 한다.
출제 이력
- PLM기출 1문항
- LLM기출 5문항
- 사전 학습기출 1문항
- 미세 조정기출 1문항
- 임베딩기출 3문항
- 트랜스포머기출 2문항
- 자연어 처리기출 7문항
- 제124회 26번인공지능(AI)을 이용한 자연어 처리 임베딩(Embedding) 기술AI4교시겹치는 키워드: 임베딩, 자연어 처리
- 제137회 7번트랜스포머(Transformer)와 MoE(Mixture of Experts)AI1교시겹치는 키워드: 트랜스포머무료
- 제137회 17번공공부문 초거대 AI 도입·활용 가이드라인 2.0AI2교시겹치는 키워드: LLM
- 제137회 19번TEXT2SQLAI2교시겹치는 키워드: LLM
- 제134회 13번RAG(Retrieval Augmented Generation)AI1교시겹치는 키워드: LLM무료
- 제132회 28번설비 예지정비(Predictive Maintenance) 시스템 구축 시 LangChain 프레임워크 활용 방안AI4교시겹치는 키워드: LLM
- 제130회 26번음성데이터 마이닝의 정의, 목적, 주요 기술, 활용 가능 분야, 발전 방향AI4교시겹치는 키워드: 자연어 처리
- 제111회 29번인공지능(AI) 콜센터 도입 시 인바운드, 아웃바운드, 녹취록 분석으로 구분한 구현 방안AI4교시겹치는 키워드: 자연어 처리