fengjiachun/useful-shells

useful shells

useful-shells

把平时有用的手动操作做成脚本，这样可以便捷的使用。

有自己用的好的脚本 或是 平时常用但没有写成脚本的功能，欢迎提供（提交Issue)和分享（Fork后提交代码）！

下载使用

下载整个工程的脚本

直接clone工程

使用简单、方便更新，不过要安装有git。

git clone git://github.com/oldratlee/useful-shells.git

cd useful-shells

# 使用Release分支的内容
git checkout release

# 更新脚本
git pull

包含2个分支：

• master：开发分支
• release：发布分支，功能稳定的脚本

当然如果你不想安装git,github是支持svn的：

svn co https://github.com/oldratlee/useful-shells/branches/release

cd useful-shells

# 更新脚本
svn up

PS：

我的做法是把useful-shells checkout到$HOME/bin/useful-shells目录下，再把$HOME/bin/useful-shells配置到PATH变量上，这样方便我本地使用所有的脚本。

打包下载

下载文件release.zip：

wget --no-check-certificate https://github.com/oldratlee/useful-shells/archive/release.zip

unzip release.zip

下载和运行单个文件

以show-busy-java-threads.sh为例。

curl文件直接用bash运行

curl -sLk 'https://raw.github.com/oldratlee/useful-shells/release/show-busy-java-threads.sh' | bash

下载单个文件

wget --no-check-certificate https://raw.github.com/oldratlee/useful-shells/release/show-busy-java-threads.sh
chmod +x show-busy-java-threads.sh

./show-busy-java-threads.sh

show-busy-java-threads.sh

在排查Java的CPU性能问题时(top us值过高)，要找出Java进程中消耗CPU多的线程，并查看它的线程栈，从而找出导致性能问题的方法调用。

PS：如何操作可以参见@bluedavy的《分布式Java应用》的【5.1.1 cpu消耗分析】一节，说得很详细：top命令开启线程显示模式、按CPU使用率排序、记下Java进程里CPU高的线程号；手动转成十六进制（可以用printf %x 1234）；jstack，grep十六进制的线程id，找到线程栈。查问题时，会要多次这样操作，太繁琐。

这个脚本的功能是，打印出在运行的Java进程中，消耗CPU最多的线程栈（缺省是5个线程）。

用法

show-busy-java-threads.sh -c <要显示的线程栈数>
# 上面会从所有的Java进程中找出最消耗CPU的线程，这样用更方便。

show-busy-java-threads.sh -c <要显示的线程栈数> -p <指定的Java Process>

示例

$ show-busy-java-threads.sh 
The stack of busy(57.0%) thread(23355/0x5b3b) of java process(23269) of user(admin):
"pool-1-thread-1" prio=10 tid=0x000000005b5c5000 nid=0x5b3b runnable [0x000000004062c000]
   java.lang.Thread.State: RUNNABLE
	at java.text.DateFormat.format(DateFormat.java:316)
	at com.xxx.foo.services.common.DateFormatUtil.format(DateFormatUtil.java:41)
	at com.xxx.foo.shared.monitor.schedule.AppMonitorDataAvgScheduler.run(AppMonitorDataAvgScheduler.java:127)
	at com.xxx.foo.services.common.utils.AliTimer$2.run(AliTimer.java:128)
	at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
	at java.lang.Thread.run(Thread.java:662)

The stack of busy(26.1%) thread(24018/0x5dd2) of java process(23269) of user(admin):
"pool-1-thread-2" prio=10 tid=0x000000005a968800 nid=0x5dd2 runnable [0x00000000420e9000]
   java.lang.Thread.State: RUNNABLE
	at java.util.Arrays.copyOf(Arrays.java:2882)
	at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:100)
	at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:572)
	at java.lang.StringBuffer.append(StringBuffer.java:320)
	- locked <0x00000007908d0030> (a java.lang.StringBuffer)
	at java.text.SimpleDateFormat.format(SimpleDateFormat.java:890)
	at java.text.SimpleDateFormat.format(SimpleDateFormat.java:869)
	at java.text.DateFormat.format(DateFormat.java:316)
	at com.xxx.foo.services.common.DateFormatUtil.format(DateFormatUtil.java:41)
	at com.xxx.foo.shared.monitor.schedule.AppMonitorDataAvgScheduler.run(AppMonitorDataAvgScheduler.java:126)
	at com.xxx.foo.services.common.utils.AliTimer$2.run(AliTimer.java:128)
	at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
...

上面的线程栈可以看出，CPU消耗最高的2个线程都在执行java.text.DateFormat.format，业务代码对应的方法是shared.monitor.schedule.AppMonitorDataAvgScheduler.run。可以基本确定：

• AppMonitorDataAvgScheduler.run调用DateFormat.format次数比较频繁。
• DateFormat.format比较慢。（这个可以由DateFormat.format的实现确定。）

多个执行几次show-busy-java-threads.sh，如果上面情况高概率出现，则可以确定上面的判定。
# 因为调用越少代码执行越快，则出现在线程栈的概率就越低。

分析shared.monitor.schedule.AppMonitorDataAvgScheduler.run实现逻辑和调用方式，以优化实现解决问题。

贡献者

silentforce改进此脚本，增加对环境变量JAVA_HOME的判断。

tcp-connection-state-counter.sh

统计各个TCP连接状态的个数。

像Nginx、Apache的机器上需要查看，TCP连接的个数，以判定

• 连接数、负荷
• 是否有攻击，查看SYN_RECV数（SYN攻击）
• TIME_WAIT数，太多会导致TCP: time wait bucket table overflow。

用法

tcp-connection-state-counter.sh

示例

$ tcp-connection-state-counter.sh
ESTABLISHED	290
TIME_WAIT	212
SYN_SENT	17

parseOpts.sh

提供命令行选项解析函数parseOpts，支持选项的值有多个值（即数组）。
# 自己写一个命令行选项解析函数，是因为bash的buildin命令getopts和加强版本命令getopt都不支持数组的值。

用法

parseOpts函数的第一个参数是要解析的选项说明，后面跟实际要解析的输入参数。

选项说明可以长选项和短选项，用逗号分隔，如a,a-long。不同选项的说明间用坚号分隔，如a,a-long|b,b-long:。

选项说明最后可以有选项类型说明：

• -： 无参数的选项。即有选项则把值设置成true。这是 缺省的类型。
• :： 有参数的选项，值只有一个。
• +： 有多个参数值的选项。值列表要以;表示结束。
  注意，;是Bash的元字符（用于一行中多个命令分隔），所以加上转义写成\;（当然也可以按你的喜好写成";"或';'）。

实际要解析的输入参数往往是你的脚本参数，这样parseOpts函数调用一般是:

parseOpts "a,a-long|b,b-long:|c,c-long+" "$@"
# "$@" 即是回放你的脚本参数

通过约定的全局变量来获取选项和参数：

• 选项名为a，通过全局变量_OPT_VALUE_a来获取选项的值。
• 选项名为a-long，通过全局变量_OPT_VALUE_a_long来获取选项的值。
  即，把选项名的-转_，再加上前缀_OPT_VALUE_对应的全局变量来获得选项值。
• 除了选项剩下的参数，通过全局变量_OPT_ARGS来获取。

示例

# 导入parseOpts.sh
source /path/to/parseOpts.sh

parseOpts "a,a-long|b,b-long:|c,c-long+" -a -b bv -c c.sh -p pv -q qv arg1 \; aa bb cc
# 可以通过下面全局变量来获得解析的参数值：
#	_OPT_VALUE_a = true
#	_OPT_VALUE_a_long = true
#	_OPT_VALUE_b = bv
#	_OPT_VALUE_b_long = bv
#	_OPT_VALUE_c = (c.sh -p pv -q qv arg1) ，数组类型
#	_OPT_VALUE_c_long = (c.sh -p pv -q qv arg1) ，数组类型
#	_OPT_ARGS = (aa bb cc) ，数组类型

cp-svn-url.sh

拷贝当前svn目录对应的远程分支到系统的粘贴板，省去CTRL+C操作。

用法

cp-svn-url.sh # 缺省使用当前目录作为SVN工作目录
cp-svn-url.sh /path/to/svn/work/directory

示例

$ cp-svn-url.sh
http://www.foo.com/project1/branches/feature1 copied!

贡献者

ivanzhangwb提供此脚本。

参考资料

拷贝复制命令行输出放在系统剪贴板上，给出了不同系统可用命令。

swtrunk.sh

svn工作目录从分支（branches）切换到主干（trunk）。

命令以SVN的标准目录命名约定来识别分支和主干。 即，分支在目录branches下，主干在目录trunk下。 示例：

• 分支： http://www.foo.com/project1/branches/feature1
• 主干： http://www.foo.com/project1/trunk

用法

swtrunk.sh # 缺省使用当前目录作为SVN工作目录
cp-svn-url.sh /path/to/svn/work/directory
cp-svn-url.sh /path/to/svn/work/directory1 /path/to/svn/work/directory2 # SVN工作目录个数不限制

示例

$ swtrunk.sh
# <svn sw output...>
svn work dir . switch from http://www.foo.com/project1/branches/feature1 to http://www.foo.com/project1/trunk !

$ swtrunk.sh /path/to/svn/work/dir
# <svn sw output...>
svn work dir /path/to/svn/work/dir switch from http://www.foo.com/project1/branches/feature1 to http://www.foo.com/project1/trunk !

$ swtrunk.sh /path/to/svn/work/dir1 /path/to/svn/work/dir2
# <svn sw output...>
svn work dir /path/to/svn/work/dir1 switch from http://www.foo.com/project1/branches/feature1 to http://www.foo.com/project1/trunk !
# <svn sw output...>
svn work dir /path/to/svn/work/dir2 switch from http://www.foo.com/project2/branches/feature1 to http://www.foo.com/project2/trunk !

svn-merge-stop-on-copy.sh

把指定的远程分支从刚新建分支以来的修改合并到本地SVN目录或是另一个远程分支。

用法

svn-merge-stop-on-copy.sh <来源的远程分支> # 合并当前本地svn目录
svn-merge-stop-on-copy.sh <来源的远程分支> <目标本地svn目录>
svn-merge-stop-on-copy.sh <来源的远程分支> <目标远程分支>

示例

svn-merge-stop-on-copy.sh http://www.foo.com/project1/branches/feature1 # 缺省使用当前目录作为SVN工作目录
svn-merge-stop-on-copy.sh http://www.foo.com/project1/branches/feature1 /path/to/svn/work/directory
svn-merge-stop-on-copy.sh http://www.foo.com/project1/branches/feature1 http://www.foo.com/project1/branches/feature2

贡献者

姜太公提供此脚本。

find-in-jars.sh

在当前目录下所有Jar文件里，查找文件名。

用法

find-in-jars.sh 'log4j\.properties'
find-in-jars.sh 'log4j\.xml$' -d /path/to/find/directory
find-in-jars.sh log4j\\.xml
find-in-jars.sh 'log4j\.properties|log4j\.xml'

注意，后面Pattern是grep的 扩展正则表达式。

示例

$ ./find-in-jars 'Service.class$'
./WEB-INF/libs/spring-2.5.6.SEC03.jar!org/springframework/stereotype/Service.class
./rpc-benchmark-0.0.1-SNAPSHOT.jar!com/taobao/rpc/benchmark/service/HelloService.class

参考资料

在多个Jar(Zip)文件查找Log4J配置文件的Shell命令行

echo-args.sh

在编写脚本时，常常要确认输入参数是否是期望的：参数个数，参数值（可能包含有人眼不容易发现的空格问题）。

这个脚本输出脚本收到的参数。在控制台运行时，把参数值括起的括号显示成 红色，方便人眼查看。

示例

$ ./echo-args.sh 1 "  2 foo  " "3        3"
0/3: [./echo-args.sh]
1/3: [1]
2/3: [  2 foo  ]
3/3: [3        3]

使用方式

需要查看某个脚本（实际上也可以是其它的可执行程序）输出参数时，可以这么做：

• 把要查看脚本重命名。
• 建一个echo-args.sh脚本的符号链接到要查看参数的脚本的位置，名字和查看脚本一样。

这样可以不改其它的程序，查看到输入参数的信息。

console-text-color-themes.sh

显示Terminator的全部文字彩色组合的效果。

脚本中，也给出了colorEcho和colorEchoWithoutNewLine函数更方便输出彩色文本，用法：

colorEcho <颜色样式> <要输出的文本>...
colorEchoWithoutNewLine  <颜色样式> <要输出的文本>...

# 输出红色文本
colorEcho "0;31;40" "Hello world!"
# 输出黄色带下划线的文本
colorEchoWithoutNewLine "4;33;40" "Hello world!" "Hello Hell!"

console-text-color-themes.sh的运行效果图如下：

贡献者

姜太公提供循环输出彩色组合的脚本。

参考资料

• utensil的在Bash下输出彩色的文本，这是篇很有信息量很钻研的文章！

xpl and xpf

• xpl：在文件浏览器中打开指定的文件或文件夹。
  # xpl是explorer的缩写。
• xpf: 在文件浏览器中打开指定的文件或文件夹，并选中。
  # xpf是explorer and select file的缩写。

用法

xpl
# 缺省打开当前目录
xpl <文件或是目录>...
# 打开多个文件或目录

xpf
# 缺省打开当前目录
xpf <文件或是目录>...
# 打开多个文件或目录

示例

xpl /path/to/dir
xpl /path/to/foo.txt
xpl /path/to/dir1 /path/to/foo1.txt
xpf /path/to/foo1.txt
xpf /path/to/dir1 /path/to/foo1.txt

贡献者

Linhua Tan修复Linux的选定Bug。