Googleの検索ジョブの取り扱い

質問

グーグルは1つの検索ジョブを、多くのサーバに投げて、それをまた１つの結果にまとめて高速化を図っていると聞きました。

この、「１つの結果にまとめる」ところの仕組みを知りたいのですが、何かよい文献などはないでしょうか？

例えば、分割したジョブをどんどんDBにためていって、たまにタイマーでDBを覗いてみて、全部終わってたらジョブをまとめているのでしょうか？？？？

回答No.1

root139 · ベストアンサー

Google の分散処理(MapReduce)では、処理の割振り等を管理する「マスタ」サーバがあり、それがどの中間ファイルのデータをまとめるのか「Reduceワーカー」サーバに指示するようです。
詳しくは下記の文献に載っています。

Googleを支える技術
http://www.amazon.co.jp/dp/4774134325

参考URLにもMapReduceの簡単な解説が有ります。

参考URL：

http://www.atmarkit.co.jp/fjava/special/distributed01/distributed01_1.html