MapReduce MapReduce案例:TopN 实例描述对数据文件中的数据取 top-n。数据文件中的每个都是一个数据。比如原始输入数据为:10 3 8 7 6 5 1 2 9 4 11 12 17 14 15 20 19 18 13 16输... 阅读全文 2017-01-06 蔺光岭 0 条评论
MapReduce MapReduce 案例:倒排索引 实例描述 通常情况下,倒排索引由一个单词(或词组)以及相关的文档列表组成,文档列表中的文档或者是标识文档的 ID 号,或者是指文档所在位置的 URL。 如下所示:单词 ... 阅读全文 2017-01-05 蔺光岭 0 条评论
MapReduce MapReduce案例:数据去重 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。数据去重 数据去重主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数... 阅读全文 2017-01-04 蔺光岭 0 条评论