大数据开发工程师
进阶 80小时 298人学习 100%好评
在步入大数据殿堂之前,先带领大家快速掌握大数据的必备技能:Linux的操作使用,为后面学习大数据技术打下坚实基础。预习资料传送门:http://suo.im/613aVS 提取码:bbbb
Hadoop是大数据开创者,引领者,学习大数据必经之路,本周带领大家了解Hadoop,以及Hadoop集群的安装部署。预习资料:http://suo.im/5SMmAO 提取码:bbbb
通过生活场景"小明租房"案例引入HDFS核心架构,掌握HDFS的常见Shell操作以及Java代码操作,对以后实现海量数据的存储打下基础。
通过对HDFS中核心进程NameNode、SecondaryNameNode、DataNode进行详细分析,帮助大家更好的理解HDFS的底层原理
通过"计算扑克牌中的黑桃个数"案例引入MapReduce的思想,详细分析了MapReduce的执行流程,并且通过开发WordCount案例加深理解。
详细分析了小文件的解决方案、数据倾斜的解决方案、YARN调度器的使用、以及Hadoop在CDH和HDP中的使用。
Flume是一个分布式、高可靠、高可用的系统,能够有效的收集、聚合、移动大量的日志数据,在数据采集领域,属于中流砥柱,在这里通过原理、实战、监控、优化等层面对Flume进行学习。
频繁的开发MapReduce是非常繁琐的,并且很多业务人员是不懂代码的,如何让他们也可以很方便的操作HDFS中的海量数据呢?Hive的横空出世,解决了这一难题。
Scala的函数式编程受到很多框架的青睐,例如Kafka、Spark、Flink等框架都是使用Scala作为底层源码开发语言,下面就带着大家7天极速掌握Scala语言。
Spark是目前企业中应用最广泛的计算引擎,盘它!实际案例详细分析Spark中的Transformation算子和Action算子使用,RDD持久化,共享变量使用,最后通过一个综合案例加深理解。
通过对Spark中的宽依赖、窄依赖、Stage、Shuffle机制进行详细分析,加深对Spark的理解,以及对Spark中的checkpoint机制通过源码层面进行深度剖析。
整合各个业务线数据,为各个业务系统提供统一&规范的数据出口。通过对项目的由来,需求、技术进行分析和选型,实现用户行为数据数仓开发。
基于商品订单数据开发数仓,详细分析了拉链表的由来和具体实现。使用数据可视化工具Zepplin实现数据展现,使用Azkaban调度器实现任务依赖调度。
Kafka是一个支持高吞吐、持久性、分布式的消息队列,非常适合海量数据的实时生产和消费,详细分析了Kafka的核心原理、代码实战、性能优化,以及Kafka的企业级应用。
Redis是一种面向键值对的NoSQL内存数据库,可以满足我们对海量数据的读写需求,在这里我们学习Redis中的五种常用数据类型以及Redis中的一些高级特性,达到快速上手使用。
快速了解Flink的基本原理和核心特点,掌握Flink中流数据和批数据的编程思路和代码实战,Flink中Standalone集群、ON YARN集群的安装部署,以及Flink中核心API的使用。
详细剖析Window和Time的使用,Watermark的实战应用,并行度的设置,Kafka Connector的具体应用,以及SparkStreaming的特性和使用。
构建直播平台用户三度关系推荐系统,详细分析数据采集/数据分发/数据存储/数据计算/数据展现等功能,完整复现互联网企业大数据项目从0~1,从1~N的开发过程。
分析V1.0架构存在的问题及弊端,重新设计整体架构方案,进行迭代优化,基于最新的架构方案重新实现核心功能代码,开发数据接口,优化数据传输逻辑,提高数据安全性。
掌握一线互联网企业数据中台构建流程,了解巨头企业的项目架构,理解巨型项目的思想,掌握数据中台之数据加工总线子系统的底层实现。
评价 好评100%
lwolw
这个课程绝对值!!!我说下我的经历,我是9月底购买的课程,然后期间花了一个半月的时间学习,两周的时间准备面试,一共面了4次,期间没有一次当场pass掉,最后进了大型银行。期间老师负责任的态度真的是我见过最好最好的,包括面试的全过程,老师几乎全程陪同,给我打气鼓励以及让我总结经验。太谢谢老师了,要入手的真的不用犹豫了,绝对值!而且我今天回过头再去看spark英文文档,有一种秒懂的感觉。
讲师回复: 非常感谢同学对课程的认可!!本套课程可以给大家提供强有力的学习捷径,剩下的就是需要大家跟着课程,努力学习啦,相信,最终定会取得满意的成绩!!大家加油!!
qq_腐烂的苹果_0
超级好评,讲的非常仔细,老师回答问题也非常及时,这波不亏
讲师回复: 感谢同学对课程的认可,咱们这套课程为了更好的帮助大数据零基础的同学快速进入职场,所以讲的比较细致,也尽可能包含到大家需要掌握的方方面面。大家在学习中遇到的问题,老师都会争取第一时间解答,针对复杂的环境问题,老师也会通过远程桌面的方式帮助大家解决问题。
君不止
非常好的课程,学到了很多,在上面学两个月比我在大学学两年的知识还要多,遇到自己解决不了的问题可以问课程老师,比在那些xxx交流群问大佬有用多了,而成这个课程有一个非常详细的电子教程,详细到看文档好像在看视频,当然,视频还是要看的,可以说买文档送视频,这钱花值了,加油,打工人
讲师回复: 感谢同学对课程的认可,咱们这套课程是紧贴企业的,选取的都是目前企业中实际需要的知识,为的就是能够让大家学完之后可以快速适应企业中的工作。针对课程提供的配套电子书,更是老师呕心沥血之作,和视频内容是完全对应的,不仅可以帮助大家后期复习时快速的查漏补缺,避免再去重复看视频消耗不必要的时间,也可以作为一套工具书方便随时查看。
预售规则
1. 定金支付成功后,可在“我的订单”-“未支付”栏查看所要支付尾款的订单。
2. 尾款支付开启后,请在规定时间内支付尾款,若超出尾款支付时间,订单将自动关闭。请关注短信、慕课网平台及慕课网微信号等渠道推送的提醒消息。
3. 定金可在课程原价基础上抵扣页面显示金额,具体数额及计算方式见详情页。
4. 定金可退,已支付定金但未在规定时间支付尾款的用户,请联系kf@imooc.com退定金。
5. 如您对预售活动有其它疑问,请联系客服:kf@imooc.com。