Go语言模糊测试工具:Go-Fuzz
本文为看雪论坛优秀文章
看雪论坛作者ID:ZxyNull
一
go环境配置
① 下载二进制包,本次使用的是 go1.14.4.linux-amd64.tar.gz。
② 将下载的二进制包解压至指定目录,比如 /usr/local目录。
$ tar -C /usr/local -xzf go1.14.4.linux-amd64.tar.gz
③ 配置环境变量,进入.bashrc 配置:
$ vim ~/.bashrc
④ 在最后面添加如下代码:
# GOROOT:go的安装路径export GOROOT="/usr/local/go"# GOPATH:go的开发路径(自定义就好)export GOPATH="/home/xxx/gowork"# GOBIN:go工具程序存放路径export GOBIN=$GOPATH/binexport PATH=$PATH:${GOPATH//://bin:}/bin:/usr/local/go/bin
⑤ 保存,退出,使环境变量生效:
$ source ~/.bashrc
⑥ 查看环境变量是否生效:
$ go env
⑦ 接着在开发目录创建文件夹:
cd /home/xxx/goworkmkdir bin # bin是生产目录mkdir src # src 是开发目录mkdir pkg # pkg 是包目录
完成,之后构建的go项目源代码就放到src下面, 生成的安装包会自动放在bin目录下,生成过程中的中间文件会放在pkg下面。
二
go-fuzz安装
2.1 使用 go get 安装
$ go get github.com/dvyukov/go-fuzz
2.2 源码安装
创建/home/xxx/gowork/src/github.com/dvyukov/目录,手动下载 zip 包上传到该目录进行安装,解压文件:
$ unzip go-fuzz-master.zip
路径是
$GOPATH/src/github.com/dvyukov/go-fuzz
接下来下载 go-fuzz提供的语料库(https://github.com/dvyukov/go-fuzz-corpus)。存放路径是
$GOPATH/src/github.com/dvyukov/go-fuzz-corpus
下载的东西准备好了,执行安装:
$ go install $GOPATH/src/github.com/dvyukov/go-fuzz/go-fuzz$ go install $GOPATH/src/github.com/dvyukov/go-fuzz/go-fuzz-build
三
go-fuzz基本流程
① 准备待测试程序,将待测试程序下载到本地。并分析待测程序,确定测试对象。
② 根据待测对象编写Fuzz函数。
go-fuzz规定在执行fuzz时要创建一个开启fuzz的go文件, 这是 go-fuzz 中要求的,并且对内容的格式有规定。函数 func Fuzz(data []byte) int{} 是固定的写法,它是 fuzzer 的入口点;
Fuzz 函数的参数 data 是 go-fuzz生成的随机输入;返回值是一个整数,如果输入是有效的,则返回1,否则返回0。该文件需要位于待测文件夹下。作者给出了简单的对于image/png包的Fuzz函数实例:
package pngimport ("bytes""image/png")func Fuzz(data []byte) int {png.Decode(bytes.NewReader(data))return 0}
③ 构建fuzz包
利用 go-fuzz-build 创建 fuzzing zip 文件 ,执行完命令后会在当前文件下生成一个zip文件。
④ 构建语料库
新建文件夹为corpus,并向中添加种子文件,fuzz引擎会自动从中获取种子。
⑤ 执行fuzz
-bin :指定测试对象的zip
-workdir:指定工作目录
$GOPATH/bin/go-fuzz -bin=./mypackage-fuzz.zip -workdir= .
⑥ 查看Fuzz进度,fuzz开始后,终端每隔几秒钟就会打印以下形式的stderr:
2015/04/25 12:39:53 workers: 500, corpus: 186 (42s ago), crashers: 3,restarts: 1/8027, execs: 12009519 (121224/sec), cover: 2746, uptime: 1m39s
workers :并行运行的测试数量(-procs参数指定)
四
go-fuzz项目实战
4.1 ase
项目简介
用于解码和编码 ASE (Adobe Swatch Exchange) 文件的 Golang 包, ASE 包公开了 Decode 和 Encode 方法,只需将 io.Reader 接口传递给 ase.Decode,它将返回解码数据的 ASE 结构 ,我们可以将Decode作为我们的Fuzz目标。
Fuzz 流程
① 首先将下载项目到本地,并重置git到漏洞修复点之前
$ go get github.com/arolek/ase$ cd `go list -f '{{.Dir}}' github.com/arolek/ase`$ git reset --hard b1bf7d7a70445821722b29395f07fcd13e940f8c
② 编写Fuzz.go
// +build gofuzzpackage aseimport "bytes"func Fuzz(data []byte) int {if _, err := Decode(bytes.NewReader(data)); err != nil {return 0}return 1}
③ Build
$ go-fuzz-build github.com/arolek/ase
④ 创建工作文件夹,语料库选择作者给出的samples,并开始Fuzz
$ mkdir -p workdir/corpus$ cp samples/*.ase workdir/corpus$ go-fuzz -bin=ase-fuzz.zip -workdir=workdir
⑤ Fuzz执行过程中的显示,下面表明并行运行的数量为2,语料库中有3个有效种子,发现了1个crash 等。
2022/03/10 18:01:40 workers: 2, corpus: 3 (1m15s ago), crashers: 1, restarts: 1/11, execs: 299360 (3991/sec), cover: 221, uptime: 1m15s
Crash 分析
此时workdir文件夹下多了两个目录:crashers和suppressions。查看crashers中的内容, 崩溃以输入的 sha1 命名,导致崩溃的实际数据是没有扩展名的文件,如下面的19cd42975df835d9a41f76a1ae4dd2d17916ea9。“.quoted”文件是作为字符串常量的数据,因此可以轻松地将其添加到测试文件中。'.output' 文件是 panic() 或一些 go-fuzz 确定崩溃的输出。
null@ubuntu:~/gowork/src/github.com/arolek/ase/workdir$ ll crashers/total 20drwxrwx--- 2 null null 4096 Mar 10 05:33 ./drwxrwxr-x 5 null null 4096 Mar 10 05:32 ../-rw-rw---- 1 null null 20 Mar 10 05:33 919cd42975df835d9a41f76a1ae4dd2d17916ea9-rw-rw---- 1 null null 885 Mar 10 05:33 919cd42975df835d9a41f76a1ae4dd2d17916ea9.output-rw-rw---- 1 null null 42 Mar 10 05:33 919cd42975df835d9a41f76a1ae4dd2d17916ea9.quoted
查看919cd42975df835d9a41f76a1ae4dd2d17916ea9.output的内容。
panic: runtime error: slice bounds out of range [:-1]goroutine 1 [running]:github.com/arolek/ase.(*Color).readName(0xc000058050, 0x4e6600, 0xc00005a150, 0x59a7c0, 0x4a8080)/home/null/gowork/src/github.com/arolek/ase/color.go:67 +0x21fgithub.com/arolek/ase.(*Color).read(0xc000058050, 0x4e6600, 0xc00005a150, 0x0, 0x0)/home/null/gowork/src/github.com/arolek/ase/color.go:33 +0xfegithub.com/arolek/ase.Decode(0x4e6600, 0xc00005a150, 0x44d9c9, 0x1160437af97c4, 0x191f107c, 0x191f107c00000000, 0x6229fe1c, 0xc000074e98, 0x46c526, 0x6229fe1c, ...)/home/null/gowork/src/github.com/arolek/ase/ase.go:56 +0x69egithub.com/arolek/ase.Fuzz(0x7f5cadcdf000, 0x14, 0x14, 0x4)/home/null/gowork/src/github.com/arolek/ase/fuzz.go:7 +0xb5go-fuzz-dep.Main(0xc000074f70, 0x1, 0x1)go-fuzz-dep/main.go:36 +0x1admain.main()github.com/arolek/ase/go.fuzz.main/main.go:15 +0x52
根据堆栈跟踪,查看color.go内容源码,可以看到如下代码,很明显对name[:len(name)-1])的切面访问导致了越界错误。
color.Name = string(utf16.Decode(name[:len(name)-1]))
接着,我们使用 919cd42975df835d9a41f76a1ae4dd2d17916ea9.quoted中的数据编写测试代码重现该漏洞,编写fuzz_test.go,内容如下:
package aseimport ("strings""testing")func TestFuzzCrashers(t *testing.T) {var crashers = []string{"ASEF00\x00\x000000\x00\x010000\x00\x00",}for _, f := range crashers {Decode(strings.NewReader(f))}}
go test 启动测试,很容易发现此时的len(name) = 0 , 因此 len(name)-1 不是有效的切片索引。
$ go test--- FAIL: TestFuzzCrashers (0.00s)panic: runtime error: slice bounds out of range [:-1] [recovered]panic: runtime error: slice bounds out of range [:-1]goroutine 6 [running]:testing.tRunner.func1.1(0x5354e0, 0xc000012340)/usr/local/go/src/testing/testing.go:940 +0x2f5testing.tRunner.func1(0xc00008e120)/usr/local/go/src/testing/testing.go:943 +0x3f9panic(0x5354e0, 0xc000012340)/usr/local/go/src/runtime/panic.go:969 +0x166github.com/arolek/ase.(*Color).readName(0xc0000580a0, 0x570720, 0xc00000c0c0, 0x66d3c8, 0x511340)/home/null/gowork/src/github.com/arolek/ase/color.go:67 +0x1bagithub.com/arolek/ase.(*Color).read(0xc0000580a0, 0x570720, 0xc00000c0c0, 0x0, 0x0)/home/null/gowork/src/github.com/arolek/ase/color.go:33 +0x9egithub.com/arolek/ase.Decode(0x570720, 0xc00000c0c0, 0x4c0b40, 0x603090, 0x630840, 0x0, 0x1, 0xc000030748, 0x451fd9, 0x16b13735d06, ...)/home/null/gowork/src/github.com/arolek/ase/ase.go:56 +0x4e3github.com/arolek/ase.TestFuzzCrashers(0xc00008e120)/home/null/gowork/src/github.com/arolek/ase/ase_test.go:15 +0xdftesting.tRunner(0xc00008e120, 0x550370)/usr/local/go/src/testing/testing.go:991 +0xdccreated by testing.(*T).Run/usr/local/go/src/testing/testing.go:1042 +0x357exit status 2FAIL github.com/arolek/ase 0.006s
4.2 iprange
项目简介
10.0.0.110.0.0.0/2410.0.0.*10.0.0.1-1010.0.0.1, 10.0.0.5-10, 192.168.1.*, 192.168.10.0/24
iprange的使用方法示例:
package mainimport ("log""github.com/malfunkt/iprange")func main() {list, err := iprange.ParseList("10.0.0.1, 10.0.0.5-10, 192.168.1.*, 192.168.10.0/24")if err != nil {log.Printf("error: %s", err)}log.Printf("%+v", list)rng := list.Expand()log.Printf("%s", rng)}
该示例中,调用了 ParseList 函数 ,该函数十分合适作为我们Fuzz的对象。该函数来自于 iprange/y.go 文件中,下为该函数源码,这个函数的功能是:ParseList接收一个目标规格的列表,并返回一个范围列表。
// ParseList takes a list of target specifications and returns a list of ranges,// even if the list contains a single element.func ParseList(in string) (AddressRangeList, error) {lex := &ipLex{line: []byte(in)}errCode := ipParse(lex)if errCode != 0 || lex.err != nil {return nil, errors.Wrap(lex.err, "could not parse target")}return lex.output, nil}
Fuzz 流程
① 下载项目到本地,并执行hard reset。
$ go get github.com/malfunkt/iprange$ git reset --hard 3a31f5ed42d2d8a1fc46f1be91fd693bdef2dd52
② 准备Fuzz函数,在项目文件夹下创建文件Fuzz.go。
package iprangefunc Fuzz(data []byte) int {_, err := ParseList(string(data))if err != nil {return 0}return 1}
③ 编译,编译成功后,会在当前文件夹下生成iprange-fuzz.zip。
$ go-fuzz-build ~/gowork/src/github.com/malfunkt/iprange
④ 准备语料库, 为了进行有意义的 fuzz,我们需要尽可能提供格式正确的样本。可以直接从iprange 项目 README文件中复制示例,并创建一下3个文件,放入corpus文件夹。
test1
10.0.0.1, 10.0.0.5-10, 192.168.1.*, 192.168.10.0/24
test2
10.0.0.1-10,10.0.0.0/24,10.0.0.0/24
test3
10.0.0.*, 192.168.0.*, 192.168.1-256
⑤ 运行Fuzz
Crash 分析
发现crash后,查看crasher文件夹下出现了3个文件,打开.out文件查看堆栈跟踪:
panic: runtime error: index out of range [3] with length 0goroutine 1 [running]:encoding/binary.bigEndian.Uint32(...)/usr/local/go/src/encoding/binary/binary.go:112github.com/malfunkt/iprange.(*ipParserImpl).Parse(0xc0000af800, 0x53db40, 0xc000064ff0, 0x0)/home/null/gowork/src/github.com/malfunkt/iprange/y.go:504 +0x29d7github.com/malfunkt/iprange.ipParse(...)/home/null/gowork/src/github.com/malfunkt/iprange/y.go:306github.com/malfunkt/iprange.ParseList(0xc000043e78, 0xa, 0xa, 0xa, 0xc000043e78, 0xa, 0xc000043e98)/home/null/gowork/src/github.com/malfunkt/iprange/y.go:61 +0x127github.com/malfunkt/iprange.Fuzz(0x7f2a2627b000, 0xa, 0xa, 0x3)/home/null/gowork/src/github.com/malfunkt/iprange/fuzz.go:4 +0x7dgo-fuzz-dep.Main(0xc000043f70, 0x1, 0x1)go-fuzz-dep/main.go:36 +0x1admain.main()github.com/malfunkt/iprange/go.fuzz.main/main.go:15 +0x52
首先是encoding/binary/binary.bigEndian.Uint32,它是 go 的标准库,定位到源码 /usr/local/go/src/encoding/binary/binary.go:112
111 func (bigEndian) Uint32(b []byte) uint32 {112 _ = b[3] // bounds check hint to compiler; see golang.org/issue/14808113 return uint32(b[3]) | uint32(b[2])<<8 | uint32(b[1])<<16 | uint32(b[0])<<24114 }
_ = b[3] 这一句很是可疑, 注意到它的注释中提到“给编译器的边界检查提示”,根据它提到的链接,去看看是什么情况 https://github.com/golang/go/issues/14808。在 issues 中讲到了边界检查,这是为了检查输入是否有足够的字节,如果没有,它将在字节被访问时发生 panic 异常。这说明这句可能存在漏洞。
于是构造下面这一小段可以引起 panic 的代码来测试下:
// Small program to test panic when calling Uint32(nil).package mainimport ("encoding/binary")func main() {_ = binary.BigEndian.Uint32(nil)}
发现错误和之前的很相似,那么漏洞位置基本确定了。
$ go run test.gopanic: runtime error: index out of range [3] with length 0goroutine 1 [running]:encoding/binary.bigEndian.Uint32(...)/usr/local/go/src/encoding/binary/binary.go:112main.main()/home/null/gowork/src/test.go:9 +0x1aexit status 2
接下来再看看这个漏洞的触发前提,即调用 bigEndian.Uint32 的函数iprange.Parse。查看github.com/malfunkt/iprange/y.go:504附近代码:
case 5:ipDollar = ipS[ippt-3 : ippt+1]//line ip.y:54{mask := net.CIDRMask(int(ipDollar[3].num), 32)min := ipDollar[1].addrRange.Min.Mask(mask)maxInt := binary.BigEndian.Uint32([]byte(min)) +0xffffffff -binary.BigEndian.Uint32([]byte(mask))maxBytes := make([]byte, 4)binary.BigEndian.PutUint32(maxBytes, maxInt)maxBytes = maxBytes[len(maxBytes)-4:]max := net.IP(maxBytes)ipVAL.addrRange = AddressRange{Min: min.To4(),Max: max.To4(),}}
传入 bigEndian.Uint32 的参数是 min,min 来自于 mask,而mask 又来自于 net.CIDRMask。
查看 net.CIDRMask 的解释,https://golang.org/pkg/net/#CIDRMask
在 go 源码中可以查看到 CIDRMask 的源码:
// CIDRMask returns an IPMask consisting of `ones' 1 bits// followed by 0s up to a total length of `bits' bits.// For a mask of this form, CIDRMask is the inverse of IPMask.Size.func CIDRMask(ones, bits int) IPMask {if bits != 8*IPv4len && bits != 8*IPv6len {return nil}if ones < 0 || ones > bits {return nil}// removed}
可以发现如果ones 无效,函数将会返回nil。Mask 为 nil 便是会是我们想要的结果,为了研究如何使 ones 无效,我们可以通过修改iprange包的源码,把 ipDollar[3] 打印出来看看。
case 5:ipDollar = ipS[ippt-3 : ippt+1]//line ip.y:54{fmt.Printf("ipdollar[3]: %v\n", ipDollar[3].num) // print ipdollar[3]mask := net.CIDRMask(int(ipDollar[3].num), 32)fmt.Printf("mask: %v\n", mask) // print maskmin := ipDollar[1].addrRange.Min.Mask(mask)fmt.Printf("min: %v\n", min) // print minmaxInt := binary.BigEndian.Uint32([]byte(min)) +0xffffffff -binary.BigEndian.Uint32([]byte(mask))maxBytes := make([]byte, 4)binary.BigEndian.PutUint32(maxBytes, maxInt)maxBytes = maxBytes[len(maxBytes)-4:]max := net.IP(maxBytes)ipVAL.addrRange = AddressRange{Min: min.To4(),Max: max.To4(),}}
代码修改完毕后,接着用 fuzz时导致 crash 的输入复现一下,代码在之前 fuzz 程序的基础上稍加改动即可,创建文件test2.go,内容如下:
// Small program to investigate a panic in iprange for invalid masks.package mainimport "github.com/malfunkt/iprange"func main() {_ = Fuzz([]byte("0.0.0.0/50")) //.quoted的内容}func Fuzz(data []byte) int {_, err := iprange.ParseList(string(data))if err != nil {return 0}return 1}
运行
$ go run test2.goipdollar[3]:50mask:<nil>min:<nil>panic: runtime error: index out of range [3] with length 0goroutine 1 [running]:encoding/binary.bigEndian.Uint32(...)/usr/local/go/src/encoding/binary/binary.go:112github.com/malfunkt/iprange.(*ipParserImpl).Parse(0xc0000b6000, 0x515080, 0xc0000800a0, 0x0)yaccpar:354 +0x1e8egithub.com/malfunkt/iprange.ipParse(...)yaccpar:153github.com/malfunkt/iprange.ParseList(0xc00003ef58, 0xa, 0xa, 0xa, 0xc00003ef58, 0xa, 0x4063df)ip.y:93 +0xdfmain.Fuzz(...)/home/null/gowork/src/test2.go:10main.main()/home/null/gowork/src/test2.go:6 +0x75exit status 2
可以看出,程序中将 50 传递给 net.CIDRMask ,会导致 mask 为 nil ,进而导致 min 也为 nil,这样的 min 再作为参数传入bigEndian.Uint32 便会出现越界索引 。
4.3 gocmpp
项目简介
gocmpp 是一个实现中国移动点对点(cmpp)协议的库 , 可以使用该库来实现任何在客户端和服务器端都使用 cmpp 协议的应用程序、工具或系统。gocmpp中的每种协议包都实现了Packer接口,其中的Unpack尤其适合模糊测试。
Fuzz 流程
下载项目到本地, 并在gocmpp下专门建立fuzztest目录,用于存放fuzz test的代码,将各个协议包的fuzz test分到各个子目录中:
$ go get github.com/bigwhite/gocmpp
github.com/bigwhite/gocmpp/fuzztest]$tree.├── fwd│ ├── corpus│ │ └── 0│ ├── fuzz.go│ └── gen│ └── main.go└── submit├── corpus│ ├── 0├── fuzz.go└── gen└── main.go
先说说每个fuzz test单元(比如fwd或submit)下的gen/main.go,这是一个用于生成初始语料的可执行程序,我们以submit/gen/main.go为例:
package mainimport ("github.com/dvyukov/go-fuzz/gen")func main() {data := []byte{0x00, 0x00, 0x00, 0x17, 0x00, 0x00, 0x00, 0x00,0x00, 0x00, 0x00, 0x00, 0x01, 0x01, 0x01, 0x01, 0x74, 0x65, 0x73, 0x74, 0x00, 0x00, 0x00, 0x00,0x00, 0x00, 0x02, 0x31, 0x33, 0x35, 0x30, 0x30, 0x30, 0x30, 0x32, 0x36, 0x39, 0x36, 0x00, 0x00,0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x08, 0x39, 0x30, 0x30, 0x30, 0x30,0x31, 0x30, 0x32, 0x31, 0x30, 0x00, 0x00, 0x00, 0x00, 0x31, 0x35, 0x31, 0x31, 0x30, 0x35, 0x31,0x33, 0x31, 0x35, 0x35, 0x35, 0x31, 0x30, 0x31, 0x2b, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x39, 0x30, 0x30, 0x30, 0x30,0x31, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,0x01, 0x31, 0x33, 0x35, 0x30, 0x30, 0x30, 0x30, 0x32, 0x36, 0x39, 0x36, 0x00, 0x00, 0x00, 0x00,0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x1e, 0x6d, 0x4b, 0x8b, 0xd5, 0x00, 0x67, 0x00, 0x6f, 0x00,0x63, 0x00, 0x6d, 0x00, 0x70, 0x00, 0x70, 0x00, 0x20, 0x00, 0x73, 0x00, 0x75, 0x00, 0x62, 0x00,0x6d, 0x00, 0x69, 0x00, 0x74, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,}gen.Emit(data, nil, true)}
在这个main.go中,我们借用submit包的单元测试中的数据作为fuzz test的初始语料数据,通过go-fuzz提供的gen包将数据输出到文件中:
$cd submit/gen$go run main.go -out ../corpus/$ll ../corpus/total 8drwxr-xr-x 3 tony staff 102 12 7 22:00 ./drwxr-xr-x 5 tony staff 170 12 7 21:42 ../-rw-r--r-- 1 tony staff 181 12 7 22:00 0
该程序在corpus下生成了一个文件“0”,作为submit fuzz test的初始语料。
接下来我们看看submit/fuzz.go: submit/fuzz.go:
// +build gofuzzpackage cmppfuzzimport ("github.com/bigwhite/gocmpp")func Fuzz(data []byte) int {p := &cmpp.Cmpp2SubmitReqPkt{}if err := p.Unpack(data); err != nil {return 0}return 1}
接下来就是go-fuzz-build和go-fuzz登场。
$cd submit$go-fuzz-build github.com/bigwhite/gocmpp/fuzztest/submit$go-fuzz -bin=./cmppfuzz-fuzz.zip -workdir=./
参考链接
看雪ID:ZxyNull
https://bbs.pediy.com/user-home-921173.htm
# 往期推荐
1.
2.
3.
4.
5.
6.
球分享
球点赞
球在看
点击“阅读原文”,了解更多!
