漫谈软件成分分析(SCA)安全测试技术

1、什么是SCA
SCA（Software Composition Analysis）软件成分分析，通俗的理解就是通过分析软件包含的一些信息和特征来实现对该软件的识别、管理、追踪的技术。我们知道在当今软件开发中，引入开源软件(注1)到你的项目中，避免重复造轮子是大家都再熟悉不过的了，比如开源库中开源软件按每年21%速度在增长(来源Forrester报告)，开源安全威胁成为企业组织无法回避的话题，而应用SCA技术对应用程序进行安全检测，实现安全管理是最行之有效的方法之一。
2、基本原理
1.SCA理论上来说是一种通用的分析方法，可以对任何开发语言对象进行分析，Java、C/C++、Golang、Python、JavaScript等等，它对关注的对象是从文件层面的文件内容，以及文件与文件之间的关联关系以及彼此组合成目标的过程细节。从SCA 分析的目标程序形式上分，既可以是源代码也可以是编译出来的各种类型的二进制文件，分析的数据对象对程序架构，编译方式都是不敏感的，比如：类名称、方法/函数名称、常量字符串等等，不管目标程序运行在x86平台还是ARM平台，不管是windows程序还是Linux程序，都是一样的，简而言之SCA 是一种跨开发语言的应用程序分析技术。
2.SCA分析过程：首先对目标源代码或二进制文件进行解压，并从文件中提取特征，再对特征进行识别和分析，获得各个部分的关系，从而获得应用程序的画像—–组件名称+版本号，进而关联出存在的已知漏清单。
3.由于SCA分析过程中不需要把目标程序运行起来，因此具有分析过程对外部依赖少，分析全面，快捷、效率高的优点；
3、业界TOP SCA工具分析
根据Forrester最新SCA报告，Forrester通过10个维度(注3)对不同工具进行打分，最后根据综合得分评选出如下业界TOP 10 SCA工具魔力象限图)：


注：图片和数据引用来自Forrester报告
3.1工具概览分析
1.TOP 10 SCA工具中有5款支持软件包(注2)开源软件SCA检查能力(synopsys/Sonatype/Veracode/Jfrog/GitLab)，其他工具只支持源代码SCA检查能力。
2.5款支持软件包SCA检查工具中，对C/C++、Java、.Net语言支持的比较好，但对Golang、python、JavaScript语言支持能力偏弱，比如：synopsys支持的组件对象中前面3种语言占大头90%+，相应的检测率也高，而Golang语言的组件检出率则低很多。
3.SCA已从主要用作对开源软件的检测向应用程序的典型编码问题检测趋势扩展，比如Veracode工具，它能提供了对诸如缓冲器溢出、命令行注入、死锁、重复释放、整形数溢出、UAF、格式化字符串漏，SQL注入等典型编码问题的检测能力。
4、影响SCA分析准确性的因素分析
1.从SCA原理可以知道影响分析准确性的因素分两个方面：其一是SCA工具支持组件的数量和检测算法，其二是应用程序引用开源软件的方式。
2.因为SCA工具是根据样本组件特征来匹配被测程序中的特征来判断应用程序是否引用该组件的，因此支持组件的数量越多，那么检测率也就越高，支持的组件数量越少，越会导致检测遗漏；另外检测算法和特征设计是否合理也直接影响到分析的准确性和分析效率，不同SCA工具厂商有不同的解决方案，就好比在手机上识别指纹/人脸一样，不同厂商识别的灵敏度和准确度都不一样。
3.应用程序在引用开源软件时，不同的应用程序即使引用同一个组件也存在引用不同的功能，引用功能的多少也各不相同，这样带来的结果就是在应用程序中包含该组件的特征数量也是大小不同的，引用功能多包含的特征一般也多，引用的功能少包含的特征也少。而应用程序包含组件特征的多少直接影响到SCA工具的检测的准确性，组件特征越少SCA工具检测越困难，因此即使两个不同应用都引用了相同组件，可能一个应用可以检测到，另外一个应用则无法检测出该组件。这种场景对SCA工具检测二进制文件尤其明显。
4.由于存在上述SCA分析准确性，在极限情况下如果无法检测出组件，那么也就无法知道应用程序中是否存在该组件的漏了。
5、总结：
1.不管是源代码文件的SCA检测工具还是二进制文件的SCA检测工具，他们是一种互补的关系，各有各的优缺点，比如二进制文件的SCA检测能发现构建过程中工具链引入的安全问题，而源代码的SCA则不能，SolarWinds事件就很好的说明了这一点。
2.目前SCA工具检测开源软件的已知漏是基于组件名称+版本号来关联出已知漏的，对部分编译场景（只有部分组件代码被编译到二进制文件中）和patch打补丁场景（漏已修复），误报率高。
3.SCA工具扫描效率和准确性是一对矛盾体，这是工具厂商需要权衡考虑的地方，而既能提升准确率又不会降低扫描效率的技术永远是SCA工具厂商研究的课题和追求的目标。
注1：Top 10开源软件编程语言：JavaScript(51%)、C++(10%)、Java(7%)、Python(7%)、Ruby(%5)、Go(4%)、C(4%)、PHP(4%)、TypeScript(4%)、C#(3%)、Perl(2%)、Shell(1%)
注2：软件包是指产品用来安装、运行的发布包，里面包含了产品编译好的可以运行的二进制文件，比如.so/.jar/.exe/.dll/.pyc