大家知道Google是世界上访问最大的网站之一,但有谁知道它每天处理多少数据呢?
这里可以告诉你一个大致的数据,约20PB(20000TB,1TB=1024GB).的确是非常惊人的一个数字.这些数据每天通过巨大的群集来处理,截至2007年9月,Google的集群数量已经达到11000台. 这些服务器的配置大多采用两颗英特尔至强(HT)处理器和4GB内存,两个160GB的硬盘,并采用以太网连接,每台大约在2400美元左右,以下是详细的统计表格.
MapReduce statistics for different months
| |
|
|
|
| Number of jobs (1000s) |
29 |
171 |
2,217 |
| completion time () completion time () |
634 |
874 |
395 |
| Machine years used |
217 |
2,002 |
11,081 |
map input data ()) |
3,288 |
52,254 |
403,152 |
map output data ()) |
758 |
6,743 |
34,774 |
reduce output data ()) |
193 |
2,970 |
14,018 |
| machines per job machines per job |
157 |
268 |
394 |
| Unique implementations |
map |
395 |
1,958 |
4,083 |
reduce |
269 |
1,208 |
2,418 |
[
本帖最后由 祺天小生 于 2008-1-10 12:15 编辑 ]
