MapReduce本身是一個框架，用於拆分數據，根據需要將數據改組到節點，然後在重新組合結果之前對數據的子集執行工作。讓我們舉一個例子，例如累計總瀏覽量。如果我們想在此基礎上利用MapReduce，我們會將瀏覽量分成4個單獨的存儲桶。我們可以這樣做：

for i = 1 to 4:

for page in pageview:

bucket[i].append(page)

現在，我們將有4個存儲桶，每個存儲桶都具有一組網頁瀏覽量。從這裡我們可以執行許多操作，例如搜索以找到每個存儲桶中最近的10個，或計算每個存儲桶中的綜合瀏覽量：

for i = 1 to 4:

for page in bucket:

bucket_count[i]++

現在，通過合併結果，我們可以獲得頁面瀏覽總數。如果將工作分配到四個不同的節點，則與使用一個節點的所有計算來執行計數相比，可以看到性能大約提高了4倍。

MapReduce作為一個概念

MapReduce在Hadoop生態系統中廣為人知，但您不必跳入Java來利用。 Citus本身有多個不同的執行器來處理各種工作負載，我們的實時執行器實質上與成為MapReduce執行器是同義的。

如果您在Citus中有32個分片並運行SELECT count（*），我們將其拆分並運行多個計數，然後將最終結果彙總到協調器上。但是，除了計數（*）以外，您還可以做更多的事情，而平均值呢。對於平均值，我們從所有節點和計數中獲得總和。然後，我們將總和與計數加在一起，並在協調器上進行最終數學運算，或者您可以將每個節點的平均值求和。實際上，它是：

SELECT avg(page), day FROM pageviews_shard_1 GROUP BY day; average | date ---------+---------- 2 | 1/1/2019 4 | 1/2/2019 (2 rows) SELECT avg(page), day FROM pageviews_shard_2 GROUP BY day; average | date ---------+---------- 8 | 1/1/2019 2 | 1/2/2019 (2 rows)

當我們將以上結果輸入表中，然後取它們的平均值時，我們得到：

average | date ---------+---------- 5 | 1/1/2019 3 | 1/2/2019 (2 rows)

請注意，在Citus中，您實際上不必運行多個查詢。 在後臺，我們的實時執行器可以處理它，實際上就像運行一樣簡單：

SELECT avg(page), day FROM pageviews GROUP BY day; average | date ---------+---------- 5 | 1/1/2019 3 | 1/2/2019 (2 rows)

對於大型數據集，MapReduce中的思路為您提供了無需費力即可獲得出色性能的途徑。 最好的部分可能是您不必編寫數百行來完成它，您可以使用與編寫相同的SQL來完成。 在幕後，我們負責繁重的工作，但是很高興知道它在幕後如何工作。

原文：https://www.citusdata.com/blog/2019/02/21/thinking-in-mapreduce-but-with-sql/

本文：http://jiagoushi.pro/node/926

討論：請加入知識星球或者微信圈子【首席架構師圈】

---

---

閱讀更多 首席架構師 的文章

關鍵字: Hadoop 2019你為誰驕傲 數據庫

---