인공지능 생태계에서 벤치마크 데이터셋의 개요와 주요 역할
컴퓨터시스템응용기술사 제129회 4교시 29번 문항으로, 과목은 AI/신기술입니다. ‘성능 지표’ 키워드는 컴퓨터시스템응용기술사 기출 2문항에 나왔습니다.
원문 문제
컴퓨터시스템응용기술사 제129회 29번. 인공지능 생태계에서 벤치마크 데이터셋의 개요와 주요 역할
핵심 키워드
- 벤치마크 데이터셋
- 모델 평가
- 성능 지표
- 데이터셋 특성
- 표준화 평가
- AI 신뢰성
고득점 가이드 — 1. 개요
벤치마크 데이터셋은 AI 모델의 성능을 정량적·객관적으로 측정하고 서로 다른 알고리즘·모델 간 공정한 비교를 가능하게 하는 표준화된 평가용 데이터 집합이다. 영상 분류의 ImageNet, 자연어 이해의 GLUE·SuperGLUE·SQuAD, 음성 인식의 LibriSpeech, 코드 생성의 HumanEval, 멀티모달의 MMLU·MMMU처럼 도메인별 사실상 표준이 형성되어 있으며 모델 발전과 산업화의 공통 척도로 기능한다.
목차 조립 훈련
출제 이력
- 벤치마크 데이터셋기출 1문항
- 모델 평가기출 1문항
- 성능 지표기출 2문항
- 데이터셋 특성기출 1문항
- 표준화 평가기출 1문항
- AI 신뢰성기출 1문항