令和3年度秋期 データベーススペシャリスト 午前Ⅱ 問18

分散処理基盤の特徴を捉える視点

Apache Sparkがビッグデータ処理基盤としてどのような位置付けで使われるものかに注目し、単なる保存方式や個別製品の名称ではなく、処理基盤としての役割と設計上の観点を整理して考える。

この問題で問われていること

Sparkを、データを蓄積する仕組み・処理を実行する仕組み・分析を支援する仕組みのどこに位置付けるかという観点に絞り、基盤としての性質を抽象的に確認する。

視点

ビッグデータ基盤では、データの規模や処理の分散性、処理方式、周辺サービスとの関係などを分けて捉えることが重要です。Sparkについても、名称の印象ではなく、基盤が担う役割に着目して整理しましょう。

確認ポイント

• Sparkが担う役割の種類を整理する
• 保存と処理を混同していないか確認する
• 分散処理基盤としての位置付けに注目する

正解

イ

解説

Apache Sparkはビッグデータを分散処理するオープンソース基盤であり、RDDという分散データ集合に対する変換や処理を実行できる。単なるバッチ処理専用製品、メッセージング基盤、キーバリューストアではありません。

理由

Sparkでは、RDD（Resilient Distributed Dataset）という耐障害性を備えた分散データ集合を基本的な抽象化として扱い、その集合に対して変換などの処理を組み立てる。したがって、RDDに対して変換を行うという説明が特徴に合致する。

比較

Sparkはバッチ処理だけに特化したものではなく、ストリーム処理などにも利用される。Publish/Subscribe型メッセージングや、マスタノードをもたないキーバリューストアを説明する選択肢は、Sparkの基本的な特徴とは異なる。

選択肢ア

これは不正解だよ。SparkはMapReduceの考え方を利用できる分散処理基盤ではあるが、バッチ処理だけに特化しているわけではない。ストリーム処理などにも対応するため、「バッチ処理に特化」という限定が誤りである。

選択肢イ（正解）

これは正解だよ。Sparkでは、RDD（Resilient Distributed Dataset）と呼ばれる耐障害性を備えた分散データ集合を基本的なデータ抽象化として扱う。そのRDDに対して変換処理を適用できることは、Sparkの代表的な特徴である。

選択肢ウ

これは不正解だよ。Publish/Subscribe型は、送信者と受信者を分離してメッセージを配信するためのメッセージングモデルである。Sparkはこのモデルを中心とするメッセージング基盤ではなく、分散データ処理を行う基盤である。

選択肢エ

これは不正解だよ。キーバリューストアは、キーと値の組でデータを管理するデータベースの一種である。Sparkはそのようなデータストアではなく、RDDなどを用いてデータを分散処理するオープンソースの処理基盤である。

学習のポイント

分散処理基盤、RDD、変換処理、メッセージングモデル、データストアの違いを整理する。