搜公众号
推荐 原创 视频 Java开发 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库
Lambda在线 > 北风网 > 揭秘|你不知道大数据学什么?金牌讲师告诉你

揭秘|你不知道大数据学什么?金牌讲师告诉你

北风网 2018-03-13
举报
揭秘|你不知道大数据学什么?金牌讲师告诉你
很多人都会有个疑问,零基础能学好大数据吗?零基础怎样才能高效的学习大数据呢?零基础当然是可以学好大数据的,年薪百万也都是从基层一层层渐渐走向高处的。所以今天我们就来探讨探讨那些大数据分析师是怎样从零基础走到资深行家的。
揭秘|你不知道大数据学什么?金牌讲师告诉你
揭秘|你不知道大数据学什么?金牌讲师告诉你


北风网金牌张老师具有五年数据分析、数据挖掘经验。参与过大型互联网、网游、金融等行业的数据挖掘工作,熟悉电子商务数据分析与挖掘,擅长基于客户关系管理的数据挖掘、数据可视化、文本挖掘。


揭秘|你不知道大数据学什么?金牌讲师告诉你

张老师本人

张老师精通SPSS、Excel等数据分析软件,获得首批教师资质考核认证。


接下来欢迎张老师的分享:

揭秘|你不知道大数据学什么?金牌讲师告诉你


首先,在你什么都不懂的情况下,打好基础很重要,而大数据的基础包含以下十几个学习重点:


1、Bloom Filter过滤器数据分片与路由:挑一个典型的分区算法去学习,比如一致性哈希算法。


2、备份机制与一致性


3、学习CAP理论


4、幂等性:现在很多的分布式系统状态管理的基石。


5、各种一致性模型,例如:强一致性、弱一致性、最终一致。


6、备份机制:主从的叫法已经不怎么流行了,当前更cool的叫法7、是Leader-Follower模式。


7、共识协议:在咱们国家通常翻译成一致性协议。只要学习常见的几种就可以:Paxos或者Raft。


8、算法和数据结构。


9、LSM:学习和B+树的区别以及优势。


10、压缩算法:1,找一个主流的压缩算法进行了解,例如Snappy, LZ4。


11、Bloom Filter过滤器


不止这些,还要学习统计学的至少八项知识:


1、集中趋势(Central Tendency)


2、变异性(Variability) 


3、归一化(Standardizing)


4、正态分布(Normal Distributions)


5、抽样分布(Sampling Distributions) 


6、估计(Estimation) 


7、假设检验(Hypothesis testing) 


8、T检验(T-test)


看了以后是不是觉得头都大了?没关系接着看下去将会告诉你如何将课程简单化学习。以上基础知识不管你是想成为一个大数据分析师还是大数据科学家都必须掌握。

揭秘|你不知道大数据学什么?金牌讲师告诉你

图片from网络

揭秘|你不知道大数据学什么?金牌讲师告诉你

在掌握基础知识以后你就可以选择一个发展方向,大数据行业分为两大方向发展:


1、大数据分析

2、大数据工程


这两种角色相互产生交集又独立运作,如果没有大数据超级工程,大数据分析这个角色便无任何意义;没有大数据分析,大数据工程也没有存在的意义和理由。这就相当于结婚和恋爱,恋爱的最终是目标就是结婚,不以结婚为目的的恋爱就是是耍流氓,道理都一样。


大数据工程需要的是处理数据的定义、收集、计算与保存工作,所以大数据建设者们在设计和部署这样的系统时首先考虑的应该是数据高可用的问题,这段话可以理解为大数据工程系统需要随时地为分析系统提供数据服务。


大数据分析角色的定位于如何利用数据,可以理解成从大数据工程系统中接收到的数据之后,如何为企业提供数据分析,并且能够帮助到企业或者公司进行业务改善和提升服务水平的目的,因此对于大数据分析师来说,首要解决的问题是发现并且利用数据的价值,具体包括:趋势分析、模型建立以及预测分析等。


揭秘|你不知道大数据学什么?金牌讲师告诉你

图片from网络

揭秘|你不知道大数据学什么?金牌讲师告诉你

当你想成为一名资深大数据分析师,以下就是必备技能:


1、数学功底:微积分是严格要掌握的。一元微积分是必须要熟练掌握并使用的。线性代数要精通,矩阵的运算、向量空间、秩等概念。


2、回顾同济版《高等数学》,有能力的可以去Coursea学习宾夕法尼亚大学的微积分课程。


3、推荐学习Strang的线性代数:《Introduction to Linear Algebra》


4、数理统计:概率论和各种统计学方法要做到基本掌握,找一本《概率论》重新学习下。


5、交互式数据分析框架:这里指的是Apache Hive或Apache Kylin这样的分析交互框架,首先学习Hive,有时间的话了解一下Kylin以及背后的数据挖掘思想。


6、机器学习框架:我建议可以从机器学习算法的原理来进行学习,看到机器学习的框架,我觉得大家应该能想到很多种,比如TensorFlow、Caffe8、Keras9、CNTK10、Torch711等,这里领衔的是TensorFlow。建议大家选取其中的一个框架进行学习。


7、入门级的机器学习课程。


8、学习Python的scikit-learn。


吴恩达的书:《Machine Learning Yearning》

推荐理由:浓缩的精华,干货十足

揭秘|你不知道大数据学什么?金牌讲师告诉你

图片from网络

揭秘|你不知道大数据学什么?金牌讲师告诉你

当你想成为一名大数据工程师,以下是必备技能:


1、一门JVM系语言 ,建议先学习Java或Scala。


2、计算处理框架:严格来说,这分为离线批处理和流式处理,建议学习Flink、Spark Streaming或Kafka Streams中的一个。


3、分布式存储框架:建议学习HDFS


4、资源调度框架:建议学习YARN


5、分布式协调框架:建议学习Zookeeper——太多大数据框架都需要它了,比如Kafka, Storm, HBase等。


6、KV数据库:典型的就是memcache和Redis了,特别是Redis简直是发展神速,建议学习Redis,如果C语言功底好的,最好熟读源码,反正源码也不多。


7、列式存储数据库:建议学习HBASE,这是目前应用最广泛的开源列式存储。


8、消息队列:大数据工程处理中消息队列作为“削峰填谷”的主力系统是必不可少的,当前该领域内的解决方案有很多,包括ActiveMQ,Kafka等。


建议学习Kafka,不仅仅好找工作,还能触类旁通进一步理解基于备份日志方式的数据处理范型。

揭秘|你不知道大数据学什么?金牌讲师告诉你

图片from网络



基础知识+研究深入学习+多年从业经验=大数据分析师/大数据工程师


但是还不够达到年薪60万的标准。对数据分析师来说30W就是一个坎,当你的经验值达到了这个坎,很快就会跨越到60W第二个坎,这个经验值就是工龄


你从事行业的时间越久,就会得到更多项目的锻炼,在这个基础上你还保持着不断学习的精神,其实就不止停留于60W这个坎了,所谓活到老学到老。


根据领英统计的数据显示,有21.7%的数据分析师收入在2万到3万元,18.1%的月收入在1万到1.5万,并且薪资是随着工龄而增加,增幅逐年上涨,时间越长,差距越大。

小北送给大家一句话:“学习大数据分析只有在互动、交流、项目实战中你才能与时俱进,而不是画地为牢只会啃书本。”


文末福利:

原上海交通银行数据分析实物项目专家

北风网大数据分析师金牌美女讲师张璇老师主讲


授课主题:《大数据分析师之大数据可视化》

授课开始时间:3月13号晚20:30

授课内容:大数据金融分析项目、数据可视化展示等


课程详情及报名方式:


点击【阅读原文】:

填写申请表即可获取由张老师主讲价值99元大数据分析师内部课程链接,限额50名速速申请,名额有限。


推荐阅读:




版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《揭秘|你不知道大数据学什么?金牌讲师告诉你》的版权归原作者「北风网」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

举报