TeraSort 基准测试和MalStone基准测试

见龙在天

Terasort：
hadoop自带有生成代码，每条记录100字节左右，前面10字节拿来做索引。在每个计算节点生成10GB数据，共处理N*10GB数据量。数据生成时间一般不计算在内。
TeraSort Sort09之后可能被Minute sort 替换。
计算过程就是做排序。

MalStone:
分为MalStone A-10和MalStone B-10基准。
用malgen生成100亿条记录，生成的数据带有时间戳，时间随机分布在一年里面。每条记录100字节左右。
记录格式：
Event ID | Timestamp | Site ID | Compromise Flag | Entity ID
计算过程算法伪代码如下：
for record in read( data )
    ( site, date, compromised_indicator ) = parse( record )
    group by site
for each site
    map:date --> timeslice
    total_compromised_to_date, total_seen_to_date = 0
    for each timeslice in sort ( timeslices )
        total_compromised_to_date += compromised_for_timeslice
        total_seen_to_date += seen_for_timeslice
statistic[site, timeslice] = 0 or total_compromised_to_date /
                             total_seen_to_date