搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 河北凝讯科技订阅号 > hadoop和linux命令大全

hadoop和linux命令大全

河北凝讯科技订阅号 2018-09-23

Linux的命令
 
 source /etc/profile   文件生效命令 -->jsp(java)的检测
 bin/hadoop checknative   //查看hadoop的支持状态
 echo $HADOOP_HOME    //查看hadoop的安装的目录
 mysql service start   //启动MySQL的服务
 /etc/init.d/mysqld start   //远程的mysql 的服务启动
 hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-00000
 drop database 【dblab】 cascade; //强制删除dblab的库在hive中 
 ls -al  //查看隐藏文件 
 df -lh  //查看磁盘使用空间
 free -m  //查看内存剩余
 scp -r /export/servers/zookeeper-3.4.9/ node02:/export/servers/     //安全复制文件夹 到另一个虚拟机
 scp -r /conf node03:$PWD   //拷贝文件到相同文件的目录
 ll |grep impala   //查看impala的文件是否是文件夹的形式 是否加-r 
 invalidate metabata (在impala-shell中执行) 在hive中创建数据库在impala中不能直接查看 通过吗命令执行后可以  
 
flume : 启动方式
    bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name a1 -Dflume.root.logger=INFO,console
kafka:启动方式
    ./kafka-server-start.sh ../config/server.properties
    nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &    后台启动命令

后端启动hive 
    /export/servers/hive-1.1.0-cdh5.14.0
    nohup bin/hive --service hiveserver2  &
链接hive
    beeline连接hiveserver2
    bin/beeline
    beeline> !connect jdbc:hive2://node03.hadoop.com:10000
    
在数据库中授予权限
    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'admin' WITH GRANT OPTION;
    FLUSH PRIVILEGES;
 
启动集群的命令
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/
    sbin/start-dfs.sh
    sbin/start-yarn.sh
    sbin/mr-jobhistory-daemon.sh start historyserver

ha集群缓存清理的命令
    sync
    echo 1 > /proc/sys/vm/drop_caches  默认0不清理缓存–不释放  1 – 释放页缓存
    echo 2 > /proc/sys/vm/drop_caches    2 – 释放dentries和inodes
    echo 3 > /proc/sys/vm/drop_caches    3 – 释放所有缓存
    
分个启动

    cd /export/servers/hadoop-2.6.0-cdh5.14.0/
    sbin/hadoop-deamon.sh start namenode   //单个机器启动
    sbin/hadoop-deamons.sh start namenode   //多台机器同时启动namenode
    sbin/mr-jobhistory-daemon.sh start historyserver
impala 的启动  保证 启动hive的两个进程开启的状态下  以及 metastore的开启 进行开启impala
    主节点node03启动以下三个服务进程
        service impala-state-store start
        service impala-catalog start
        service impala-server start
    从节点启动node01与node02启动impala-server
        service  impala-server  start
        ps -ef | grep impala   //查看进程服务


 rz:     //文件上传
 dd:       //删除当前行     非编辑模式    
 pwd       //打印当前目录
 useradd  //添加用户
 passwd  hadoop //    密码   
 hadoop All = (All)  All   //用户的切换 
 netstat –nlpt    //获取进程名、进程号以及用户 ID
 mv zookeeper zookeeper-3   //改文件名
 shell  脚本中只有变量名与等号间没有空格  ``//表示执行里面的命令 ''字符串
  
 rm -rf /var/log/httpd/   //将会删除/var/log/httpd目录以及其下所有文件、文件夹
 rmr /    //删除文件夹
 ls /     //显示当前的所有项目    
 rpm -e [package name] --nodeps    //忽略依赖关系直接卸载    空格可以多个一起删除 -e 橡皮擦
 df -lh   //磁盘的查看
 tar -zxvf zookeeper-3.4.9.tar.gz -C ../servers/      //解压到指定的目录
 unzip    aaa   //解压zip的压缩包aaa的文件
 mkdir -p /export/servers/zookeeper-3.4.9/zkdatas/    //创建多级文件

hdfs  dfsadmin  -safemode  设置集群的安全期  enter  leave  get  wait
           
hive 的语句
 desc: 查看更详细的信息库和表
    service mysqld start  开启sql之前 要先启动 sql 的服务
  
创建管理表:指定字段至今的分隔符,指定数据的文件存储格式,指定表的数据存放位置
    create  table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t' stored as textfile location '/user/stu2';
    
根据查询结果创建表,并且将查询结果的数据放到新建的表里面去
    create table stu3 as select * from stu2;
    
进行表的修复,说白了就是建立我们表与我们数据文件之间的一个关系映射
    msck  repair   table  score4;
    
内部分区表load data  
    load data local inpath '/export/servers/hivedatas/score.csv' into table score partition(month='201809');


版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《hadoop和linux命令大全》的版权归原作者「河北凝讯科技订阅号」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注河北凝讯科技订阅号微信公众号

河北凝讯科技订阅号微信公众号:gh_c0ab07056ff5

河北凝讯科技订阅号

手机扫描上方二维码即可关注河北凝讯科技订阅号微信公众号

河北凝讯科技订阅号最新文章

精品公众号随机推荐