亮点
本研究建立了一个全面的基因扰动计算基准测试框架，在四种生物学场景下系统性地评估了十种 AI 方法，旨在实现标准化评估并推动计算药物发现。
概述
理解基因表达对扰动的响应是解码细胞功能和识别治疗靶点的基础。虽然像 Perturb-seq 这样的高通量技术极大地推动了该领域的发展，但由于成本和生物学的限制，要在所有细胞类型中对每一个基因扰动进行实验测试，在实际操作中是不可行的。因此，用于计算扰动的 AI 模型应运而生，成为预测细胞反应的一种有效方案。然而，以往的方法通常只在有限的数据集和不一致的评估指标上进行测试，制约了模型的开发与迭代。
基准测试框架与场景
为了应对这一挑战，我们引入了一个系统性的基准测试框架，在四个不同的生物学相关场景下对多种方法进行了评估：
未见扰动迁移 (Unseen Perturbation Transfer)：预测已知细胞类型中新扰动的影响。
未见细胞类型迁移 (Unseen Cell Type Transfer)：预测已知扰动在先前未观测细胞类型中的影响。
零样本迁移 (Zero-shot Transfer)：在没有特定任务训练数据的情况下，应用模型来预测扰动效应，并通过 bulk RNA-seq (CMAP) 数据集进行验证。
细胞状态转换预测 (Cell State Transition Prediction) ：评估模型预测诱导特定生物学状态之间转换的关键基因驱动因子的能力。
为支持这一框架，我们整理并标准化了 17 个单细胞 RNA 测序 (scRNA-seq) 数据集，涵盖了约 984,000 个细胞和 3,190 个基因扰动。我们还设计了一套严格的评估指标，包括 Pearson 相关系数和差异表达基因的方向准确性，以确保性能评估的客观性。
主要发现
我们对 10 种不同的方法进行了基准测试，包含从线性基线模型到如 scGPT 和 scFoundation 等先进的单细胞基础模型。我们的分析表明，没有任何单一方法能够在所有场景中始终保持领先：
基础模型：在“未见扰动迁移”场景中，大型预训练模型（scGPT、scFoundation）表现出了卓越的性能，当拥有充足的训练数据时，它们能够有效捕捉到显著的基因表达变化。
泛化挑战：在“未见细胞类型迁移”场景中，先进的深度学习模型常常难以超越简单的基线方法（如 DirectTransfer），这凸显了模型在跨越不同细胞谱系进行泛化时面临的巨大困难。
零样本局限性：“零样本迁移”场景仍然是该领域面临的一大挑战，与随机基线相比，目前大多数方法在这个场景下的预测能力都非常有限。
状态转换：在预测细胞状态转换方面，基于相关性的方法和 CellOracle 在处理连续轨迹时最为有效，而预测离散状态的转换对所有测试架构来说仍然是一个难题。
开源资源
这项工作为计算生物学界提供了关键的参考，明确了当前 AI 方法的能力边界和局限性。为了促进未来的研究，我们开源发布了 Python 模块 CellPB，研究人员可以轻松访问这些基准测试数据集并评估自有模型。该框架为连接计算预测与实验验证提供了基础，将支撑高鲁棒性药物发现AI工具的后续开发。