搜公众号
推荐 原创 视频 Java开发 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库
Lambda在线 > Spark学习技巧 > 大数据人员必会的linux性能调优

大数据人员必会的linux性能调优

Spark学习技巧 2018-12-14
举报

最近发现知识付费泛滥成灾,很多人买了很多课程,但是真正能看完的没有几个课程,比如大数据从业人员,工具还没用熟,就去学习数据结构,机器学习等,不是瞧不起你的学习能力,人的精力有限,而且成长也要稳扎稳打,大数据都是培训入门的,没有两三年的积累,根本就是一坨屎,还想着贪多,最后肯定是一塌糊涂,不要只着眼于眼前。

建议先把,我下面的两篇文章完全掌握,然后再去做其他延伸,整理出自己的一套大数据学习经验,这个很重要。


关于大数据从业人员,估计目前很少像浪尖这有三四年的linux经验的,所以还是需要补充,至于为啥需要Linux基础呢?

主要有以下三点:

  1. 安装部署必会。当然,大部分都是用CM等搭建,只需要简单配置一下yum源,那么随口问一句,yum依赖哪种语言呢?

    其实,企业中稍微有规模的都是自研大数据平台,直接使用apache的,然后这个时候部署就需要自己写Linux部署脚本了,还有简单的shell监控脚本。所以要补充一下linux知识。

  2. 故障排查也许要Linux

    主要是网络故障,磁盘故障,需要了解网络和磁盘指令,比较全,如dstat。

    还包括网络是否通常,进程是否存活,端口是否存活等

  3. 性能调优也需要Linux

    这个也主要是文件句柄,Linux缓存等性能,网络,磁盘,cpu等负载高的发现,定位,比如耗CPU的top10,耗内存的top等。

本来想自己整理一套完整的教程,后来发现真是精力有限,所以像平台安装,linux基础估计会放到最后。

内容的话可以参考下面的目录:

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《大数据人员必会的linux性能调优》的版权归原作者「Spark学习技巧」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

举报