SPARK

基于Zookeeper的Spark HA高可用集群配置

---

集群规划：node-01 zk-01 node-02 zk-02 node-03 zk-03下载spark安装包下载地址spark官网：http://spark.apache.org/downl...

---

阅读全文

2017-01-12 蔺光岭 0 条评论

SPARK

Spark集群配置

---

集群规划：node-01 node-02 node-03下载spark安装包下载地址spark官网：http://spark.apache.org/downloads.html这里我们使用 sp...

---

阅读全文

2017-01-12 蔺光岭 0 条评论

Scala

Scala编程知识点总结

---

1.课程目标1.1 目标1：熟练使用scala编写Spark程序1.2 目标2：动手编写一个简易Spark通信框架1.3 目标3：为阅读Spark内核源码做准备2.Scala概述2.1 什么是S...

---

阅读全文

2017-01-10 蔺光岭 0 条评论

Scala

scala中下划线(_)使用场景总结

---

1、方法转函数def m1(x: Int): Int = x * 10 val func1 = m1 _2、在集合中使用（表示集合中的每一个元素）val list1 = List(1, 2, 3...

---

阅读全文

2017-01-08 蔺光岭 0 条评论

MapReduce

MapReduce案例：TopN

---

实例描述对数据文件中的数据取 top-n。数据文件中的每个都是一个数据。比如原始输入数据为：10 3 8 7 6 5 1 2 9 4 11 12 17 14 15 20 19 18 13 16输...

---

阅读全文

2017-01-06 蔺光岭 0 条评论

MapReduce

MapReduce 案例：倒排索引

---

实例描述  通常情况下，倒排索引由一个单词（或词组）以及相关的文档列表组成，文档列表中的文档或者是标识文档的 ID 号，或者是指文档所在位置的 URL。 如下所示：单词 ...

---

阅读全文

2017-01-05 蔺光岭 0 条评论

MapReduce

MapReduce案例：数据去重

---

实例描述  对数据文件中的数据进行去重。数据文件中的每行都是一个数据。数据去重  数据去重主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数...

---

阅读全文

2017-01-04 蔺光岭 0 条评论

Scala

Scala高级特性之隐式转换和隐式参数

---

本文主旨：提供五个隐式转换案例，供读者参考并深入理解Scala高级特性之隐式转换和隐式参数。重要概念：隐式转换 Scala提供的隐式转换和隐式参数功能，是非常有特色的功能。是Java等编程语言所...

---

阅读全文

2017-01-03 蔺光岭 0 条评论