빅데이터 분산처리시스템인 하둡 MapReduce의 한계점을 중심으로 Apache Spark와 Apache Storm 비교
정보관리기술사 제105회 2교시 14번 문항으로, 과목은 데이터/DB입니다. ‘분산 처리’ 키워드는 정보관리기술사 기출 6문항에 나왔습니다.
원문 문제
정보관리기술사 제105회 14번. 빅데이터 분산처리시스템인 하둡 MapReduce의 한계점을 중심으로 Apache Spark와 Apache Storm 비교
핵심 키워드
- MapReduce
- Apache Spark
- Apache Storm
- 분산 처리
- 실시간 스트리밍
- 배치 처리 성능
고득점 가이드 — 1. 개요
하둡 MapReduce는 대용량 데이터를 분산 처리하는 디스크 기반 배치 프레임워크로 신뢰성과 확장성을 제공하나, 매 단계마다 중간 결과를 HDFS에 기록하는 구조적 한계로 반복 연산·실시간 처리에서 성능 병목이 발생한다. 이를 보완하기 위해 인메모리 일괄처리 엔진(Apache Spark)과 이벤트 기반 스트림 처리 엔진(Apache Storm)이 등장했으며, 처리 모델·지연·내결함성·활용 시나리오를 함께 검토한다.
출제 이력
- MapReduce기출 1문항
- Apache Spark기출 1문항
- Apache Storm기출 1문항
- 분산 처리기출 6문항
- 실시간 스트리밍기출 1문항
- 배치 처리 성능기출 1문항
같은 과목 문항
- 제105회 8번데이터베이스의 체크포인트(Checkpoint) 회복기법1교시무료
- 제105회 9번B-Tree와 비트맵(Bitmap) 인덱스 비교1교시무료
- 제105회 12번데이터베이스 튜닝(Tuning)의 3단계와 튜닝의 기대효과1교시무료
- 제105회 16번학사관리시스템에서 키(Key or Candidate Key), 주키(Primary Key), 외부키(Foreign Key), 슈퍼키(Super Key)의 정의 및 추출 과정과 방법2교시
- 제105회 20번함수종속도표(Functional Dependency Diagram) 작성, 키(Key) 도출, BCNF(Boyce-Codd Normal Form) 정의 및 테이블 설계3교시
- 제105회 22번데이터 마이닝에서 데이터를 분류(Classification)하는 의사결정나무(Decision Tree)의 설명, 형성과정과 장단점3교시