빅데이터 스트림의 샘플링과 필터링 기법
컴퓨터시스템응용기술사 제116회 2교시 14번 문항으로, 과목은 데이터/DB입니다. ‘실시간 처리’ 키워드는 컴퓨터시스템응용기술사 기출 5문항에 나왔습니다.
원문 문제
컴퓨터시스템응용기술사 제116회 14번. 빅데이터 스트림의 샘플링과 필터링 기법
- 가. 샘플링 기법 중 랜덤샘플링에 대하여 설명하시오.
- 나. 필터링(학습기반, 비학습기반) 기법에 대하여 설명하시오.
핵심 키워드
- 스트림 샘플링
- 랜덤 샘플링
- 필터링 기법
- 학습 기반 필터링
- 비학습 기반 필터링
- 데이터 감소
- 실시간 처리
고득점 가이드 — 1. 개요
빅데이터 스트림은 무한·고속·시변 특성을 가져 메모리·연산 자원이 항상 부족하므로 처리 대상을 사전 축소하는 기법이 필수이다. 대표 기법은 데이터 양을 축소하는 샘플링과 가치 없는 데이터를 제거하는 필터링으로 구분되며, 두 기법은 분석 정확도·실시간성·자원 효율을 동시에 만족시키기 위해 다단 결합 적용된다. Kafka·Flink·Spark Streaming 등 현대 스트림 플랫폼은 두 기법을 파이프라인의 전처리 단계에 내장 지원한다.
출제 이력
- 스트림 샘플링기출 1문항
- 랜덤 샘플링기출 1문항
- 필터링 기법기출 1문항
- 학습 기반 필터링기출 1문항
- 비학습 기반 필터링기출 1문항
- 데이터 감소기출 1문항
- 실시간 처리기출 5문항