Google推出“Project Naptime”以提升LLM漏洞研究能力

关键要点

Google 的 Project Zero 团队开发了“Project Naptime”框架，旨在使大型语言模型LLMs能够自主进行基本的漏洞研究。该框架显著提高了 LLMs 在安全漏洞评估中的表现，尤其在内存漏洞和缓冲区溢出测试中。Naptime 架构提供了一套工具，使 LLMs 能够模仿人类研究人员的工作流程进行漏洞发现和利用。

最近的一篇博客文章解释了“Project Naptime”框架如何建立在 Meta 的研究基础上，该研究为 LLMs 发现和利用内存漏洞设定了基准，主要涉及高级内存损坏和缓冲区溢出缺陷。

该项目试图解决 LLMs 在评估安全缺陷方面的根本短板。在 Meta 进行的实验中，称为“CyberSecEval 2”，LLMs 在基本漏洞发现能力上的得分较低，且没有一个模型能够接近“通过”基准挑战。

然而，Google 的 Project Zero 研究人员发现，Naptime 框架提升了 LLMs 在 CyberSecEval 2 测试中的表现，最高可提高 20 倍。

Project Naptime为LLMs提供工具以模仿人类工作流程

Project Zero 设计的 Naptime 架构包括一套工具，包含调试器、代码浏览器、Python 工具和报告工具，这些工具增强了 LLMs 自主评估代码、利用漏洞并验证成功利用的能力。

例如，代码浏览器使 LLMs 能够像人类研究人员使用 Chromium Code Search 一样浏览目标程序的源代码，更好地识别引用函数或变量的位置。

Python 工具允许 LLMs 在沙箱中运行 Python 脚本，以执行精确计算并生成复杂输入，从而对目标程序进行文本和漏洞利用。

调试器赋予 LLMs 更好地观察、记录和理解目标程序对不同输入反应的能力，而报告工具则提供了一种机制，让 LLM能够向控制器报告其进展，控制器将验证是否达成成功条件，例如程序崩溃。

Naptime 框架还旨在使 LLMs 更加像人类研究人员一样工作，给予它们使用“推理”过程的灵活性。例如，该框架鼓励 LLMs 为其决策提供详尽的解释，这已被证明可以提高准确性。

GPT 4 Turbo、Gemini 15 Pro在基础漏洞研究中表现卓越

Project Zero 发布的 Naptime 测试结果显示，GPT 4 Turbo 在 CyberSecEval 2 缓冲区溢出测试中表现最佳，该测试要求利用缓冲区溢出漏洞触发程序输出超出程序“正常”执行的情况，而 Gemini 15 Pro 在高级内存损坏测试中得分最高，该测试通过触发程序崩溃来表示成功。

在缓冲区溢出测试中，GPT 4 Turbo 是唯一获得“通过”评分的 LLM，得分为 100，Gemini 15 Pro 紧随其后，得分为 099，共进行了 20 次测试。

海鸥加速器6.5.1下载

在高级内存损坏测试中，研究人员发现 LLMs 通过发现和利用目标程序中一个意外、易于利用的漏洞，取得了意想不到的高成功率，其中 GPT 4 Turbo 取得了最佳结果。

但当这个意外缺陷被移除，只保留原始目标漏洞时，Gemini 15 Pro 在进行了 20 次测试后以 058 的得分取得了第一名。

其他被测试的模型包括 GPT 35 Turbo 和 Gemini 15 Flash，在缓冲区溢出测试中的最高得分分别为 021 和 026，在高级内存损坏测试中的最高得分分别为 056 和 053。

研究人员表示：“当提供合适的工具时，当前的 LLMs 确实可以开始进行尽管相对基本的漏洞研究！”

然而，Project Zero 团队承认，LLMs 离在现实漏洞研究场景中自主帮助研究人员的能力还很遥远，因为实际情况涉及比 CyberSecEval 2 基准