大数据/机器学习——路线

学习笔记 2015-09-10

第一阶段 Java语言编程基础

  • 主要课程大纲

    • 计算机基础:DOS常用命令;Java概述;JDK环境安装配置;环境变量配置;Java程序入门
    • 编程基础:常量与变量;数据类型;运算符;流程控制语句;方法;数组
    • 面向对象:面向对象思想;类与对象;成员变量和局部变量;封装;this关键字;构造方法
    • 常用类:Object类;Scanner类;Random类;String;StringBuilder类
    • 集合操作:集合概述;集合特点;ArrayList集合
    • IO操作:字符输入流;字符输出流;字符缓冲输入流;字符缓冲输出流;复制文件;集合与文件中数据相互读写
  • 能力养成

    • 能够掌握DOS系统常用基本命令;
    • 熟练使用eclipse编写java代码;
    • 熟练使用java语言的常用对象;
    • 使用java编写单机应用程序;
    • 掌握面向对象编程思想,为以后深入学习JavaEE就业课程打下坚实的基础。
  • 具备能力及市场价值

    • 能够完成B/S结构网站开发,具备了真实环境的项目部署能力,能够完成中小型企业管理系统等传统项目的开发。
    • 市场价值:继续努力学习

第二阶段 JavaWeb核心技术

  • 主要课程大纲

    • Java基础增强:多线程、网络编程、反射、注解及动态代理
    • 数据库操作:MySQL数据库、JDBC开发、数据库连接池、DBUtils、JDBC事务管理、表操作、索引
    • 前端技术基础:html、css、js、jQuery、BootStrap ajax、jQuery的ajax
    • JavaWeb核心:Tomcat、Servlet、Request和Response、Cookie和Session、jsp,el和jstl、Filter、Listener
    • Linux服务器:Linux常用操作、Redis安装部署、tomcat部署、nginx部署
    • javaWeb综合项目实战:缓存技术、JavaMail、在线支付、文件上传、Linux项目部署
  • 核心能力培养

    • 运用常用的网页开发技术设计网页;
    • 掌握WEB系统交互原理;
    • 掌握JavaWeb开发核心技术;
    • 运用JavaWeb核心技术完成简单功能实现;
    • 掌握JavaWeb高级技术,创建更好的Web应用程序;
    • 具备B/S结构软件开发能力。
  • 具备能力及市场价值

    • 能够完成B/S结构网站开发,具备了真实环境的项目部署能力,能够完成中小型企业管理系统等传统项目的开发。
    • 市场价值:继续努力学习

第三阶段 网站开发三大框架

  • 主要课程大纲

    • 项目构建及管理:Maven项目构建、管理、编译、仓库配置,SVN服务器部署、SVN客户端、自动化部署
    • 数据库操作框架:mybatis框架原理、mybatis入门案例、mybatis开发DAO方式、mybatis输入输出映射、动态sql、spring整合mybatis
    • Spring框架:applicationContext、xml配置文件编写、IoC思想、DI依赖注入、使用AspectJ切面编程、JdbcTemplate模板使用、声明式事务管理、SSH整合
    • SpringMVC框架:springmvc框架原理、springmvc入门案例、springmvc整合mybatis、参数绑定、json数据交互、拦截器
    • CRM项目实战:使用springmvc+spring4+mybatis+svn来开发项目、使用BootStrap 进行布局
  • 核心能力培养

    • 掌握SSM框架,使用SSH框架开发出结构清晰、可复用性好、维护方便的Web应用程序;
    • 掌握如何使用Maven管理项目工程;
    • 掌握数据库的相关技术;
    • 掌握系统开发中的性能、可扩展性及维护性的提升;
    • 通过项目实战熟练掌握SSM框架的使用;
  • 具备能力及市场价值

    • 能够使用SSH框架完成传统企业级项目开发,熟悉多种业务流程,丰富项目开发经验。
    • 市场价值:6000-8000

第四阶段 互联网搜索及爬虫

  • 主要课程大纲

    • 单机爬虫开发:网络爬虫基础、网络编程基础、HttpClient网络请求、Jsoup网络解析、自动登录系统
    • 爬虫高级开发:京东爬虫、浏览器debug、浏览器插件、Ajax数据获取、多线程线程池、并发包阻塞队列
    • 分布式爬虫:分布式爬虫架构、分布式爬虫开发、简单验证码识别、爬虫攻防技术、分部署爬虫部署
    • 搜索系统技术:搜索系统基础、倒排索引、创建索引库、查询索引库、中文分词、中文词库扩展及管理
    • 搜索系统框架:Solr基础、在Linux部署solr、创建搜索引擎核心Core、创建索引、查询索引
    • 分布式搜索系统:solr cloud集群、solr集群分片管理、solr集群副本管理、部署solr cloud,操作索引
  • 核心能力培养

    • 掌握网络爬虫开发技术、能够获取互联网数据。
    • 掌握中文分词,并能够进行词库维护及管理
    • 了解图片识别及验证码识别技术。
    • 掌握搜索技术,能够快速搭建企业级高性能搜索系统
    • 理解分布式核心思想的分片及副本机制
  • 具备能力及市场价值

    • 能够利用技术手段获取互联网的数据
    • 能够构建企业级搜索系统
    • 市场价值:8000-10000

第五阶段 分布式电商系统

  • 主要课程大纲

    • 电商基础知识、背景分析、项目需求分析
    • Dubbo、AngularJS、商家管理平台、网站管理平台
    • Dubbo、AngularJS、AngularJS 分页实现
    • Dubbo、AngularJS、商家入驻审核、按条件查询商家
    • 电商核心业务实现、图片上传、图片压缩、分布式图片服务器
    • 电商核心业务实现、规格管理、类型管理
    • 电商核心业务实现、商品分类管理(树形结构)
    • 电商核心业务实现、商品录入、商品审核、商品上架
    • 电商核心业务实现、商品展示、freemarker静态化
    • 电商核心业务实现、freemarker静态化、首页轮播图管理、首页楼层管理
    • 电商核心业务实现、Solr、商品及店铺搜索
    • 电商核心业务实现、Solr、商品及店铺搜索+ 选择区
    • 电商核心业务实现、登录、单点登录(SSO)、我的品优购首页
    • 电商核心业务实现、购物车的实现
    • 电商核心业务实现、ActiveMQ消息队列、收货地址管理 、订单生成
    • 电商核心业务实现、支付宝系统对接 ActiveMQ消息队列
    • 电商核心业务实现、订单查询、我的收藏
    • Nginx、Hudson、、Solr Cloud
    • Nginx、Keepalived、负载均衡、反向代理、高并发
    • Redis Cluster、FreeMarker页面静态化、高并发
    • Mycat 数据库分库分表方案、高并发
    • Docker容器部署、热部署、高并发
  • 核心能力培养

    • 电商网站核心业务开发:商家管理、商品管理、库存管理、购物车、订单、支付、物流等
    • 高性能网站技术:静态化技术、缓存技术、分库分表技术、服务化治理技术
    • 使用分布式服务化治理框架Dubbox开发微服务系统
    • 使用静态化技术、缓存技术、分库分表技术提高系统性能
  • 具备能力及市场价值

    • 能够独立完成中小型网站整体架构,承载百万级并发访问
    • 能够独立完成电商网站核心业务系统开发
    • 市场价值:10000-12000

第六阶段 大数据离线计算

  • 主要课程大纲

    • 基础增强:Linux增强、zookeeper与网络通信、网络编程增强
    • 大数据平台:Hadoop介绍、集群规划及部署
    • 数据收集:大数据生态概念、用户网络日志收集系统、Flume数据收集
    • 数据存储:Hadoop HDFS基本操作、Hadoop HDFS原理、 Hadoop HDFS应用开发
    • 数据计算:Hadoop MapReduce、MapReduce入门、MapReduce深入
    • 数据管理:数据管理、数据仓库、Hive数据仓库工具
    • 案例分析:网站日志分析系统(上)、采集预处理、工作流调度器
    • 数据分析:网站日志分析系统(下)、ETL、统计分析、Sqoop数据导出、数据可视化
    • 核心增强:MapReduce核心、YarnMapReduce核心机制课程设计
    • 核心提高:Hadoop新特性、元数据、安全模式、HA、Federation、Hadoop Archives、CDH
  • 核心能力培养

    • 掌握离线数据收集、数据存储、数据计算、任务调度、数据导入导出、数据报表开发技术
    • 掌握用户日志分析系统(业务分析、编码实现、调度配置、数据导出、数据可视化)
    • 掌握数据仓库管理、元数据管理、数据稽查等常见处理技术
    • 掌握Hadoop高可用配置及管理
  • 具备能力及市场价值

    • 能够胜任离线相关工作,包括ETL工程师、任务调度工程师、Hive工程师、数据仓库工程师等。
    • 市场价值:12000-14000

第七阶段 大数据实时计算

  • 主要课程大纲

    • 实时数据储存:Kafka基础、Kafka分片及副本机制、Kafka消息不丢失、offset管理、FLume基础
    • 实时数据计算:Storm基础、Storm架构、Storm编程模型、Storm消息不丢失机制、Storm核心原理
    • 实时计算案例:互联网行为数据分析(flume+kafka+storm+redis+mysql+管理),任务定时更新机制
    • 实时计算案例:用户看板/互联网交易风险控制系统(flume+kafka+storm+redis+mysql+管理)
    • 实时数据存储:Hbase部署、原理、常用操作;Redis集群部署、一致性Hash算法、布隆过滤器算法
    • 实时数据查询:ELK基础、ElasticSearch分布式搜索系统、创建索引、查询索引、ELK集成操作
    • 推荐系统开发:推荐系统架构、协同过滤算法、猜你喜欢推荐模型开发、推荐引擎开发、推荐系统展现
  • 核心能力培养

    • 掌握实时数据收集、数据存储、数据计算、任务调度、数据导入导出、数据报表开发技术
    • 掌握互联网行为数据分析/用户看板/互联网交易风险控制系统案例(业务知识、技术开发、实时架构)
    • 掌握实时数据数据存储(Hbase/Redis),查询操作(ElasticSearch)等技术。
    • 掌握推荐系统开发整体架构、数据清洗、数据调度、数据导入导出、推荐引擎开发。
  • 具备能力及市场价值

    • 能够胜任实时相关工作,包括ETL工程师、Storm工程师、搜索系统工程师、初级推荐系统工程师等。
    • 市场价值:13000-15000

第八阶段:大数据内存计算

  • 主要课程大纲

    • Scala语言基础:Scala基础语法、Scala高级特性、Scala的Akka编程实战
    • Spark基础:Spark概述、Spark集群安装部署、Spark运行架构、Spark编程模型
    • Spark RDD:RDD概述、RDD特征、RDD算子操作、RDD依赖、RDD缓存、Spark任务调度、checkpoint、RDD编程实战
    • Spark SQL:Spark SQL概述、DataFrame、DataFrame常用操作、DataSet介绍、SparkSQL整合JDBC、Spark on Yarn
    • Spark Streaming:概述、与Storm的对比、Spark Streaming原理、DStream操作实战、开窗函数、整合Flume、整合Kafka
    • 项目实战阶段:互联网电商用户画像建模、开发、数据导入、数据存储(Hbase+Phoenix)、可视化
  • 核心能力培养

    • 掌握Spark基础、Spark RDD、Spark SQL、Spark Streaming开发技术
    • 掌握互联网电商用户画像建模、开发、可视化(业务知识、技术开发、架构)
    • 掌握数据数据存储及存储(Hbase+Phoenix)
  • 具备能力及市场价值

    • 能够胜任Spark相关工作,包括ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师等
    • 目前企业急缺Spark相关人才。
    • 市场价值:15000+

第九阶段:机器学习基础

  • 主要课程大纲

    • 机器学习基础概念:机器学习基础、环境搭建、Scikit-learn机器学习库、第一个机器学习任务
    • 机器学习决策树模型:决策树的实例、决策树的基本概念和算法、电商实例ID3算法详解、经典案例
    • 机器学习KNN模型:KNN实例、KNN分类算法入门、KNN算法步骤详解、KNN算法实战
    • 机器学习SVM支持向量机:SVM实例、SVM分类算法入门、算法步骤详解、SVM实战手写体识别案例
    • 机器学习感知机与BP神经网络:感知机模型、BP神经网络模型、神经网络算法实战、经典案例
  • 核心能力培养

    • 了解机器学习基本概念、流程、常见算法。
    • 能够使用算法解决简单的业务问题(特征提取、模型设计、代码开发、效果评测)
  • 具备能力及市场价值

    • 机器学习入门,能够解决简单的业务问题。
    • 市场价值:17000+

每一个成功的背后都有无数个无人知晓的黑夜。

因为

夜晚,是超越对手的最佳时机。

===================== 码农1024 =====================#蔺光岭#


本文由 蔺光岭 创作,采用 知识共享署名 4.0,可自由转载、引用,但需署名作者且注明文章出处。

还不快抢沙发

添加新评论