vlambda博客
学习文章列表

后端开发仔,必备小技巧!

大家好,我是小贺。

作为一名后端开发仔,和 Linux 系统打交道,经常要用到一些命令是不可避免的了。

Linux 系统的提供了很多小而美的工具,集成了管道符、重定向、强大的命令等等,处理工作起来可以说是非常的优雅,可以将很多复杂的工作自动化。

本文就介绍一些基本的 Linux shell 技巧,有了这些,开发效率杠杠滴!

开启守护进程

一般后端服务,都是开启守护进程,其命令类似如下

ps aux | grep start.sh | grep -v "grep --color=auto start.sh" | awk '{print $2}'  | xargs kill -9 || echo ok > log
nohup start.sh &> log  &

而执行 sh start.sh & 只是开启了后台进程。

后台进程和守护进程的区别?

最大的区别有几点:

  • 守护进程已经完全脱离终端控制台了,而后台程序并未完全脱离终端;
  • 守护进程在关闭终端控制台时不会受影响,而后台程序会随用户退出而停止,需要在以nohup command & 格式运行才能避免影响;
  • 守护进程的会话组和当前目录,文件描述符都是独立的。后台运行只是终端进行了一次 fork,让程序在后台执行。

解释一下,下面的命令是用 awk 提取进程 ID

ps -aux|grep chat.js| grep -v grep | awk '{print $2}'

查看到进程 id 之后,使用 netstat 命令查看其占用的端口

netstat -nap|grep 7779

三大利器 GREP,SED,AWK

Linux 三大利器 grep,sed,awk,熟练掌握其中常见的用法,开发效率杠杠滴。

grep 匹配二进制文件

grep 如果碰到 \000 NUL 字符,就会认为文件是二进制文件,而 grep 匹配默认忽略二进制数据。

使用 grep -a 属性:不忽略二进制的数据。grep 的 -a 或 --text 参数功能:将 binary 文件以 text 文件的方式搜寻数据。

grep -a file_name

grep --text file_name 

grep 匹配或排除多个关键字

grep -E "word1|word2|word3" file.txt
#满足任意条件(word1、word2和word3之一)将匹配。
grep word1 file.txt | grep word2 |grep word3
#必须同时满足三个条件(word1、word2和word3)才匹配。
grep -v 'abc\|efg' log.txt
#排除 log.txt 中的 abc efg 关键字

awk /sed 分割或去重

使用 tab 键分割文件

awk 'BEGIN{IFS='\t'}{print $1}' a.log

按分隔符去重以某列重复的行

cat ios_gupai_only_new.txt | awk -F '|' '!a[$1]++{print}' > ios_gupai_one.txt

sed 文件首尾添加引号

sed -i 's/^/"/;s/$/"/'  log.txt

sed 文件尾添加逗号

Sed -i 's/$/,/'  txt

其它 shell 小技巧

输入相似文件名太麻烦

用花括号括起来的字符串用逗号连接,可以自动扩展,非常有用,直接看例子:

$ echo {one,two,three}file
onefile twofile threefile

$ echo {one,two,three}{1,2,3}
one1 one2 one3 two1 two2 two3 three1 three2 three3

花括号中的每个字符都可以和之后(或之前)的字符串进行组合拼接,注意花括号和其中的逗号不可以用空格分隔,否则会被认为是普通的字符串对待。

这个技巧有什么实际用处呢?最简单实用的就是给 cp,mv,rm 等命令扩展参数:

$ cp /search/code/file{,.bak}
# 给 file 复制一个叫做 file.bak 的副本

$ rm file{1,3,5}.txt
# 删除 file1.txt file3.txt file5.txt

$ mv *.{c,cpp} src/
# 将所有 .c 和 .cpp 为后缀的文件移入 src 文件夹

输入路径名称太麻烦

用 cd - 返回刚才的目录,直接看例子吧:

$ pwd
/search/code/moyu
$ cd # 回到家目录瞅瞅
$ pwd
/home/herongwei
$ cd - # 再返回刚才那个目录
$ pwd
/search/code/moyu

特殊命令 !$ 会替换成上一次命令最后的路径,直接看例子:

没有加可执行权限

$ /usr/bin/script.sh
zsh: permission denied: /usr/bin/script.sh

$ chmod +x !$
chmod +x /usr/bin/script.sh

特殊命令 !* 会替换成上一次命令输入的所有文件路径,直接看例子:

创建了三个脚本文件

$ touch script1.sh script2.sh script3.sh

给它们全部加上可执行权限

$ chmod +x !*
chmod +x script1.sh script2.sh script3.sh

输入重复命令太麻烦

使用特殊命令!!,可以自动替换成上一次使用的命令:

[@root]# yum install python
E: Could not open lock file - open (13: Permission denied)

[@root]# !!
yum install python

有的命令很长,一时间想不起来具体参数了怎么办?

对于 bash 终端,可以使用 Ctrl+R 快捷键反向搜索历史命令,之所以说是反向搜索,就是搜索最近一次输入的命令。

比如按下 Ctrl+R 之后,输入 cp,bash 就会搜索出最近一次包含 cp 的命令,你回车之后就可以运行该命令了:

(reverse-i-search)`': cp config/app_search_rule.json{,.bak}

但是这个方法有缺点:该功能似乎只有 bash 支持,而 zsh 作为 shell 终端,就用不了;

第二,只能查找出一个(最近的)命令,如果我想找以前的某个命令,就没办法了。

对于这种情况,常用的方法是使用 history 命令配合管道符和 grep 命令来寻找某个历史命令比如:

过滤出所有包含 yum 字段的历史命令

[@root]# history | grep 'yum'
  334  2021-08-30 14:36:27 yum install devtoolset-3-gcc.x86_64 devtoolset-3-gcc-c++.x86_64
  336  2021-08-30 14:44:31 yum list | grep rdkafka
  337  2021-08-30 14:44:57 yum list | grep kafka
  435  2021-08-31 15:50:22 yum list | grep sasl2
  778  2021-09-16 16:40:55 yum install -y libffi-devel
  849  2021-09-16 16:56:49 yum install pip3

一行代码验证 JSON 格式是否正确

执行命令:

cat a.json | python -m json.tool | wc -l 

原理

  • 要验证的文件 a.json
  • 如果返回结果一行数字,则表示 a.json 文件格式正确
  • 否则返回 a.json 文件中错误的行号及错误信息

一旦 JSON 文件格式不对,或者文件内容缺失或者其他问题,就会导致 python -m 命令无法格式化,正是利用这一点,我们可以做一个 JSON 的验证。

比如说你在线修改了一个 JSON 数据,但是又不能粘贴出来查看是否修改正确了,直接执行这个命令比较方便,或者也可以用 VIM 命令的 % 命令来匹配中括号和大括号。

删除 0 字节文件或垃圾文件

find . -type f -size 0 -delete
find . -type f -exec rm -rf {} \;
find . -type f -name "a.out" -exec rm -rf {} \;
find . type f -name "a.out" -delete
find . type f -name "*.txt" -print0 | xargs -0 rm -f

自动分割大文件为多个小文件

使用  split 命令,比如:

命令:split -l 10000 -d -a 3 nameall.txt name 将 nameall.txt 文件按照 10000 行分割成前缀 name+数字三位的小文件。

MySQL 终端显示格式化

在 SQL 语句最后加上一个  \G , 比较推荐这个用法,把行转化成列显示。

sl 命令输出小火车

后端开发仔,必备小技巧!

说个题外话

昨天尝试了一下视频号直播,有小伙伴看到了我头发,问我是怎么保持发量如此茂盛的?其实还真没啥特殊的秘诀。

大家都说程序员容易脱发,到我这,好像并没有这个烦恼,哦,我并没有凡尔赛,发量确实还行。

如果实在是要说的话,那就是

定期健身+保持规律作息+不抽烟不喝酒+心情愉快。

四字发量箴言。

程序员朋友们,且行且珍惜。

为什么要开始直播了呢,主要是想尝试一些新的平台吧,和读者朋友们聊聊天,拉进一下距离。

以后也会不定期直播聊天,欢迎大家来唠嗑~

扫码关注我的视频号。

后端开发仔,必备小技巧!

我是小贺,我们下期再见。

·················END·················

你好,我是 herongwei ,一个精神小伙& 五道口程序猿,热爱编程,热爱生活,热爱分享,在平凡的人生中追求一点不平凡 欢迎关注,一起加油,点击下方名片,了解更多。