TTFT(Time To First Token)와 TPOT(Time Per Output Token) 비교
컴퓨터시스템응용기술사 제138회 1교시 6번 문항으로, 과목은 AI/신기술입니다. ‘처리량’ 키워드는 컴퓨터시스템응용기술사 기출 3문항에 나왔습니다.
원문 문제
컴퓨터시스템응용기술사 제138회 6번. TTFT(Time To First Token)와 TPOT(Time Per Output Token) 비교
핵심 키워드
- TTFT
- TPOT
- LLM 추론 지표
- 생성 지연
- 처리량
- 성능 트레이드오프
고득점 가이드 — 1. 개요
TTFT는 요청 후 첫 토큰 수신까지의 시간(Prefill 단계 지표), TPOT는 첫 토큰 이후 토큰 1개 생성당 시간(Decode 단계 지표)으로, LLM 추론 지연을 두 구간으로 분리해 측정하는 사용자 체감 품질 지표이다. 단일 지연 지표로는 사용자 인상 차이를 드러내기 어려워 두 지표를 분리한다.
출제 이력
- TTFT기출 1문항
- TPOT기출 1문항
- LLM 추론 지표기출 1문항
- 생성 지연기출 1문항
- 처리량기출 3문항
- 성능 트레이드오프기출 1문항
같은 과목 문항
- 제138회 2번ADAS(Advanced Driver Assistance System)와 ADS(Automated Driving System)의 차이점1교시무료
- 제138회 5번Self-Attention 메커니즘1교시무료
- 제138회 10번모라벡의 역설(Moravec's Paradox)1교시무료
- 제138회 30번스마트선박 관련 IMO 자율운항선박 자율화 등급, 선박 통합 네트워크(SAN: Ship Area Network), 통합항해시스템(INS: Integrated Navigation System)의 모듈 구조4교시무료
- 제137회 2번클라우드 AI와 온디바이스 AI의 개념 비교1교시무료
- 제137회 3번지능형 엣지 컴퓨팅1교시무료