TOFU是一款专为评估大型语言模型遗忘性能而设计的AI工具。它提供了一个包含200位虚构作者问答对的独特数据集,用于测试模型在真实任务中的遗忘能力。TOFU采用问答格式,适用于Llama2、Mistral等主流聊天模型,也可扩展到其他语言模型。其代码库支持多种模型,便于研究人员进行灵活适配。
TOFU主要面向AI研究人员、模型开发者和聊天机器人训练团队。它可用于评估不同规模遗忘集上的模型性能,训练可遗忘的聊天机器人,以及测试各类模型的遗忘特性。通过TOFU,用户可以更好地理解和改进模型的遗忘机制,提高AI系统的安全性和隐私保护能力,为构建更可靠、更安全的AI应用奠定基础。
