Go模糊测试

本文翻译自《Go Fuzzing》。

从Go 1.18开始,Go的标准工具链支持模糊测试。OSS-fuzz支持原生的Go模糊测试。

尝试一下教程:模糊测试入门

概览

模糊测试是一种自动测试,它不断地操纵程序的输入来发现Bug。Go的模糊测试使用覆盖率导向来智能地遍历被模糊测试的代码,以查找Bug并向用户报告。由于模糊测试可以触及程序员经常错过的边缘情况,因此它对于发现安全漏洞和Bug尤其有用。

下面是一个模糊测试的例子,突出显示了它的主要组件。

编写模糊测试

要求

以下是模糊测试必须遵循的规则:

  • 模糊测试必须使用一个名为FuzzXxx的函数,它只接受一个*testing.F参数,并且没有返回值。
  • 模糊测试的代码必须放在*_test.go文件中才能运行。
  • 模糊测试的目标必须是对(*testing.F).fuzz方法的调用,该方法接受*testing.T作为第一个参数,然后是用于模糊测试的参数,没有返回值。
  • 每个模糊测试必须只有一个目标。
  • 所有种子语料库的条目,都必须匹配模糊测试的目标函数的参数的类型,并且顺序也要相同。对(*testing.F).Add和模糊测试的testdata/fuzz目录中的任何语料库文件的调用都是如此。
  • 模糊测试的参数只能是以下类型:string, []byte、int, int8, int16, int32/rune, int64、uint, uint8/byte, uint16, uint32, uint64、float32, float64、bool

建议

以下是一些建议,可以帮助你充分利用模糊测试:

  • 模糊测试的目标函数应该是能快速运行完毕的和结果确定的,这样模糊测试的引擎才能有效地工作,Bug和代码覆盖率可以很容易地再现。
  • 由于模糊测试的目标函数是在多个工作线程之间以不确定的顺序并行执行的,因此模糊测试的目标函数的状态不应持续到每次调用结束,其行为也不应依赖于全局状态。

运行模糊测试

有两种运行测试的模式:使用单元测试(默认的go test),或者使用模糊测试(go test -fuzz=FuzzTestName)。

默认情况下,模糊测试的运行方式与单元测试非常相似。每个种子语料库条目都将针对模糊测试的目标函数进行测试,在退出之前报告任何发现的Bug。

要启用模糊测试,请使用-fuzz标志运行go test,提供一个匹配单个模糊测试函数的正则表达式。默认情况下,该包中的所有其他测试都将在模糊测试开始之前运行。这是为了确保模糊测试不会报告任何现有测试已经发现了的问题。

请注意,运行模糊测试的时间长短由你决定。如果模糊测试的执行没有发现任何错误,那么它很有可能无限期地运行下去。未来将支持使用OSS fuzz等工具持续运行这些模糊测试,请参阅Issue#50192

注意:模糊测试应该在支持代码覆盖率检测的平台上运行(目前AMD64和ARM64平台都支持),这样语料库就可以在运行时有意义地增长,并且在模糊测试的同时可以覆盖到更多的代码。

命令行输出

当模糊测试正在运行时,模糊测试的引擎生成新的输入数据,并使用模糊测试的目标函数运行它们。默认情况下,它会继续运行,直到找到一个导致测试失败的输入数据,或者用户终止测试程序(例如使用组合键Ctrl^C)。

输出将如下所示:

~ go test -fuzz FuzzFoo
fuzz: elapsed: 0s, gathering baseline coverage: 0/192 completed
fuzz: elapsed: 0s, gathering baseline coverage: 192/192 completed, now fuzzing with 8 workers
fuzz: elapsed: 3s, execs: 325017 (108336/sec), new interesting: 11 (total: 202)
fuzz: elapsed: 6s, execs: 680218 (118402/sec), new interesting: 12 (total: 203)
fuzz: elapsed: 9s, execs: 1039901 (119895/sec), new interesting: 19 (total: 210)
fuzz: elapsed: 12s, execs: 1386684 (115594/sec), new interesting: 21 (total: 212)
PASS
ok      foo 12.692s

第一行显示了“基线代码覆盖率”,是在模糊测试开始之前收集的。

为了收集基线代码覆盖率,模糊测试的引擎会执行种子语料库生成的语料库,以确保没有错误发生,并了解到现有语料库已经提供的代码覆盖率是多少。

以下几行信息提供了对模糊测试的执行过程的深入了解:

  • elapsed:测试开始后过去的时间。
  • execs:针对模糊测试的目标函数运行的输入数据总数(后面括号里的数据是统计每秒运行了多少数据)。
  • new interesting:在模糊测试执行期间添加到生成的语料库中的“interesting”输入数据的总数(整个语料库的总大小)

为了让输入数据变得“interesting”,它必须将代码覆盖范围扩展到现有的语料库(种子语料库和之前生成的语料库)所能达到的范围之外。通常情况下,新的interesting的数据在测试的一开始时快速增长,最终放缓,随着新的代码分支的发现,偶尔会爆发式增长。

随着语料库中的数据开始覆盖更多的代码行,你应该会看到新的interesting数字随着时间的推移逐渐减少,如果模糊测试的引擎找到了新的代码路径,interesting数字偶尔会爆发式增长。

导致测试失败的输入数据

模糊测试时可能会出现失败,原因有以下几种:

  • 代码或测试中引发panic
  • 模糊测试的目标函数里面调用了t.Fail函数,可以直接调用,也可以通过t.Errort.Fatal等函数简介调用。
  • 出现不可恢复的错误,例如os.Exit或堆栈溢出。
  • 模糊测试的目标函数花了太长时间才完成。目前,执行目标函数的超时时间是1秒。这可能是由于死锁或无限循环,或者代码就是要执行很长时间。这就是为什么我们在上文建议你的目标函数执行得要快的原因之一。

如果发生了一个错误,模糊测试的引擎将尝试将输入数据最小化到尽可能小、人类最容易读的值,这个值仍然会引发这个错误。要对此进行配置,请参阅下文自定义设置小节。

最小化完成后,模糊测试的引擎将记录错误消息,输出将以以下内容作为结束信息:

 Failing input written to testdata/fuzz/FuzzFoo/a878c3134fe0404d44eb1e662e5d8d4a24beb05c3d68354903670ff65513ff49
    To re-run:
    go test -run=FuzzFoo/a878c3134fe0404d44eb1e662e5d8d4a24beb05c3d68354903670ff65513ff49
FAIL
exit status 1
FAIL    foo 0.839s

模糊测试的引擎会将这个导致测试失败的输入数据写入模糊测试的种子语料库,现在它将被go test命令默认运行,在修复这个Bug后用作回归测试。

你的下一步将是诊断这个Bug并修复,通过重新运行go test命令来验证是否修复成功。如果修复成功,就与对应的测试数据文件(作为回归测试)一起提交补丁。

默认的go命令的设置应该适用于模糊参数的大多数用例。因此,通常情况下,在命令行上执行模糊参数应该如下所示:

$ go test -fuzz={FuzzTestName}

但是,go命令在运行模糊测试时确实提供了一些设置,在cmd/go软件包的文档中进行了说明。

以下几个设置值得关注:

  • -fuzztime:模糊测试的目标函数在退出之前执行的总时间或迭代次数,默认为无限期。
  • -fuzzminimizetime:在每次最小化尝试期间,执行模糊测试的目标函数的时间或迭代次数,默认为60秒。你可以通过设置-fluzzminimizetime 0来完全禁用最小化。
  • -parallel:每一次运行模糊测试时的进程数,默认为$GOMAXPROCS。目前,在模糊测试期间设置-cpu标志没有任何效果。

语料库文件的格式

语料库文件以一种特殊的格式编码。种子语料库程序生成的语料库都使用相同的格式。

以下是语料库文件的一个示例:

go test fuzz v1
[]byte("hello\\xbd\\xb2=\\xbc ⌘")
int64(572293)

第一行用于通知模糊测试的引擎,语料库文件使用的编码的版本。尽管目前还没有计划编码格式的未来版本,但设计时必须支持这种可能性。

下面的每一行都是组成语料库条目的值,如果需要,可以直接复制到Go代码中。

在上面的例子中,我们有一个[]byte,后面跟一个int64。这些类型必须按顺序与模糊测试的目标函数的参数完全匹配,如下所示:

f.Fuzz(func(*testing.T, []byte, int64) {})

指定自己的种子语料库的条目的最简单方法是使用(*testing.F).Add方法。在上面的例子中,看起来是这样的:

f.Add([]byte("hello\\xbd\\xb2=\\xbc ⌘"), int64(572293))

然而,你可能有一些大的二进制文件,不希望将其作为代码复制到测试中,而是保留为testdata/fuzz/{FuzzTestName}目录中的单个种子语料库的条目。golang.org/x/toolscmd/file2fuzz上的file2fuzz工具可用于将这些二进制文件转换为[]byte编码的语料库文件。下载然后安装这个工具:

$ go install golang.org/x/tools/cmd/file2fuzz@latest

查看帮助:

$ file2fuzz -h

资源

教程:

文档:

  • testing包的文档描述了测试,包括编写模糊测试时使用的testing.F类型。
  • cmd/go包的文档描述了与模糊相关联的标志。

技术细节:

术语

语料库条目(corpus entry):语料库中的一个输入,可以在进行模糊测试时使用。这可以通过一个特殊格式的文件给出,也可以通过调用 (*testing.F).Add函数添加。

覆盖率导向(coverage guidance):一种模糊测试方法,它根据代码覆盖率是否扩展来确定哪些语料库条目值得保留以备将来使用。

失败的输入数据(failing input):失败的输入数据是指一个语料库条目,让模糊测试的目标函数再运行时导致运行出错或引发panic

模糊测试的目标函数(fuzz target):模糊测试的目标函数,在进行模糊测试时执行语料库条目和模糊测试的引擎生成的测试数据。把函数传递给 (*testing.F).Fuzz,就变成了模糊测试的目标函数。

模糊测试(fuzz test):测试文件中的一个函数,形式为FuzzXxx(*testing.F),可用于模糊测试。

模糊测试的过程(fuzzing):一种自动测试,它不断地操纵程序的输入,以发现代码里可能的Bug或容易受到攻击的漏洞等问题。

模糊测试的参数(fuzzing arguments):将传递给模糊测试的目标函数并由变异器(mutator)进行变化的参数值。

模糊测试的引擎(fuzzing engine):一个管理模糊测试的工具,功能包括维护语料库、调用变异器、识别新的代码覆盖率和报告发现的Bug。

生成的语料库(generated corpus):由模糊测试的引擎在进行模糊测试时随时间维护的语料库,以跟踪测试进度。它存储在$GOCACHE/fuzz目录中。这些条目仅在模糊测试时使用。

变异器(mutator):模糊测试时使用的一种工具,在将语料库条目传递给模糊测试的目标函数之前,随机地修改它们。

(package):同一个目录中的Go源文件的集合,这些文件被编译在一起。请参阅Go语言规范中的Packages部分

种子语料库(seed corpus):用户提供的用于模糊测试的语料库,用于引导模糊测试的引擎。它由f.Add函数添加的语料库条目,以及testdata/fuzz/{FuzzTestName}目录中的文件组成。默认情况下,无论是否模糊测试,这些条目都会被go test运行。

测试文件(test file):xxx_test.go文件,可能包含普通测试、基准测试、示例和模糊测试等代码。

漏洞(vulnerability):代码中对安全性敏感的弱点,可被攻击者利用。

反馈

如果你遇到任何问题或对某个功能有想法,请提交一个issue

对于有关该功能的讨论和一般性反馈,你也可以参加Gophers Slack中的#fuzzing频道

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注