CASP:把答案先藏起来的考场
13.1答案先藏起来
Prediction Center 的目标页面上,最先吸引目光的是一串编号:T1201、T1210、T1218-D1。旁边还有释放时间、到期时间、预测提交入口和已经关闭的目标状态。页面告诉所有参赛者同一件事:序列可以看,规则可以看,真实实验结构暂时不能看。屏幕上有提交表单和待上传模型文件,少的正是最想偷看的答案。
这就是 CASP 的入口。CASP 是 Critical Assessment of Techniques for Protein Structure Prediction,通常译作蛋白质结构预测技术的关键评估。它的核心不在比赛气氛,而在顺序:目标先发布,实验结构暂时不公开,预测模型先提交,答案公开后再由统一评估把模型和实验结构放到一起比较。顺序一固定,事后挑例子和补解释的空间就小了很多。
前面的多序列比对表已经给预测方法带来不少线索。保守列提示哪些位置长期不能乱改,共变亮点提示哪些远距离位置可能在空间里靠近,接触图把这些怀疑画成方格。线索越多,方法也越容易讲出一个顺畅故事:某些比对更干净,某些过滤更合理,某些统计模型更能抓长程关系。问题随之出现:这些故事能不能面对同一批隐藏答案?
CASP 把这个问题变成公共程序。实验组提供即将公开、但预测阶段还不能公开坐标的目标;组织者发布目标序列、规则、提交格式和截止时间;预测团队在窗口关闭前上传模型;结构坐标公开以后,评估者把模型和实验结构逐一比较。每个环节都在保护同一个原则:预测必须先于答案,解释必须晚于对照。
目标编号让这种原则变得具体。一个编号可能对应一条单链,也可能后来被切成几个结构域分别评估;一个目标可能同源模板很多,也可能亲戚很远;有些目标的实验状态还会让评估者重新划分边界。参赛团队在提交前不知道麻烦会从哪里来,只能按当时的证据和流程交出模型。上传窗口一关,文件名和坐标就成了那一刻判断的记录。
目标页面还会把时间变成可检查的对象。释放日期说明所有人从什么时候开始知道这条序列,到期时间说明模型最晚什么时候必须进入系统,关闭状态说明这道题已经不能再补交。许多科学比较的问题,最后都落在这些看似普通的时间栏里:谁在答案公开前做出判断,谁在规则允许的窗口内提交,谁的模型能追溯到当时那份文件。
这套制度把家族暗号推到了更硬的地方。MSA、共变、模板、片段、能量近似或人工检查都可以进入预测流程,可它们最后都要面对同一批目标、同一条截止线和同一套评估。开头那串目标编号因此不只是列表,它是一种约束:谁都可以带着自己的线索进场,谁也不能先翻到实验答案。
13.2漂亮案例为什么不够
结构预测很容易被漂亮案例说服。一个团队可以展示最顺手的家族,挑一张最清楚的叠合图,把预测模型和实验结构摆在同一角度;另一个团队可以展示一个长程接触被抓住的例子,再配上合理的解释。单个案例有价值,却很难说明方法在陌生目标、弱同源目标、复杂结构域或局部环区上是否同样可靠。
这类问题并非某个团队故意夸大。科学方法常常先从好例子里露头,论文也需要把结果讲清楚。麻烦在于,结构预测的失败常常藏在选择过程里:哪些目标没有展示,哪些比对被换掉,哪些模型在最后筛选中被丢弃,哪些局部错误被一张整体叠合图遮住。没有公共程序时,外人很难判断一个方法是普遍进步,还是只在某类对象上好看。
CASP 从 1994 年开始,正是为了给这种比较建立共同地面。它是 community-wide experiment,公共共同体实验,不是某个实验室的内部测验。Prediction Center 官网把 CASP 描述为通过 blind prediction 进行客观测试的机制,目标是判断结构预测方法的当前水平、进步和瓶颈。盲测这两个字很关键:预测者提交模型时,实验结构还没有公开。
大体每两年一轮的节奏也有意义。若只做一次评测,结果可能受那一批目标影响很大;若连续多年保留相似的公共程序,方法的变化就能放进时间线上看。某些路线会在一类目标上进步,另一些路线会在另一类目标上卡住。公共记录让这些变化不再只靠印象传播,而能回到目标、模型、评分和复盘材料里。
漂亮案例还会遮住失败的形状。一个预测模型整体看起来接近,某个结构域方向可能偏了;骨架大致对上,活性位点附近的环区可能仍然错;单体模型不错,复合体界面可能完全没有解决。CASP 的价值不只是挑出谁排在前面,它会把这些失败分门别类,让共同体知道哪些问题已经缓解,哪些仍然顽固。
单个团队还可能使用不同的准备方式。有人保留更多远亲序列,有人只信高质量模板,有人重视物理近似,有人把统计信号放在前面。每一种选择都可能在某类目标上占便宜,也可能在另一类目标上露出短板。没有共同目标时,这些差异很容易变成各说各话;有了同一批隐藏答案,差异才会变成能比较的实验变量。
公共程序还要照顾难度差异。亲戚很多的目标、模板稀少的目标、结构域重新摆放的目标、界面复杂的目标,考验的能力并不相同。若所有结果混在一起,只看一个总榜,方法的强项和弱点都会被抹平。把目标分组、把结构域拆开、把错误类型写进评估报告,才能说明一个方法到底在哪些地方可靠。
同一张表也让沉默的失败有了位置:没有提交、格式错误、局部偏差、目标拆分,都会留在公共记录里。
所以 CASP 的制度逻辑,比排行榜本身更重要。排行榜只是结果的一种显示方式,真正有用的是隐藏答案、统一目标、统一截止、独立评估和公开复盘共同形成的约束。一个方法想要说服共同体,不能只拿出最漂亮的一张图,还要在陌生目标上留下可比较的记录。
13.3同一批目标,同一条截止线
目标从实验组开始。晶体学、NMR、冷冻电镜或其他结构实验团队在合适阶段提供目标信息,这些结构预计会公开,但在预测窗口内仍保持隐藏。组织者把可发布的序列、目标说明和提交规则放到目标页面上。参赛者看见的是可以建模的材料,看不见的是实验坐标。
这种隐藏的目的,是保住判断顺序。实验团队知道样品、数据和模型建立过程,预测团队知道公开序列和规则,评估团队等到坐标公开后再比较两边。不同角色掌握的信息并不相同,时间安排也不同。CASP 把这种不对称安排成制度,让预测模型先独立留下痕迹,再让实验结构来检验它。
目标页面不是普通公告。它会记录目标编号、释放时间、提交窗口、目标类别和后续状态;有些页面还会出现结构域编号,例如一个完整目标被评估成 D1、D2 或更多部分。结构域拆分听起来像技术细节,实际很关键。一个模型可能把单个结构域折得不错,却把两个结构域的相对方向放错;分开评估能让错误位置更清楚。
提交格式也在保护比较的公平性。模型需要按规定格式上传,目标编号、模型编号和坐标要能被评估流程识别。若每个团队都用自己的表达方式,后续对齐、评分和公开结果会变成杂乱的文件整理。统一格式让不同方法的输出进入同一套机器和人工检查流程,也让失败更容易追溯到具体目标和模型。
截止时间则保护时间顺序。CASP 的目标列表会显示释放和到期信息,参赛者必须在窗口关闭前提交。过了这条线,实验结构如果公开,或者有人听到额外线索,模型也不能再回头修改。科学比较最怕答案露出以后再改推理,截止时间把这种风险挡在程序外面。
评估阶段把所有模型带回实验结构。真实坐标公开以后,评估者或评估流程会把预测模型与实验结构对齐,计算多种指标,检查局部和整体差异。官方页面也能看到目标结果、结构域结果、GDT 图和可下载数据。一个结果因此不只是“像”或“不像”,而是一组可以追问的差异:哪里贴近,哪里偏开,哪类目标更难。
有时,评估还要把原本的一条目标拆成更适合比较的部分。一个蛋白可能由多个结构域组成,预测模型也许能把每个结构域内部折出来,却把它们之间的角度放错;另一个目标可能有长插入或柔性片段,整体对齐会遮住核心结构的真实表现。把结果拆开,并非降低难度;它让错误发生的层级变得更清楚。
独立评估者的角色也不能省略。CASP 页面会列出不同类别的 assessors,评估者不能同时参与相关预测任务。这个安排让模型提交和结果判断之间保持距离。预测团队提供方法输出,实验组提供隐藏参照,组织者维护规则和数据,评估者比较模型与实验。多个角色互相限制,公共考场才不靠单方自证。
到这一步,预测已经从单个项目的演示变成可复盘的公共事件。同一批目标防止挑顺手对象,同一条截止线防止事后修补,统一格式防止结果无法比较,独立评估防止自我裁判。CASP 的可信度,正是这些看似繁琐的动作共同撑起来的。
13.4一把尺子也有边界
答案藏起来以后,还需要能比较模型的尺子。CASP 不只使用一个指标,但 GDT_TS 是常被提到的骨架相似性指标之一。GDT_TS 来自 Global Distance Test Total Score,可以粗略理解为:预测模型的主链骨架中,有多少残基能在几个距离阈值内和实验结构对上。若更多残基在更严格距离内对齐,分数就会更高。
官方说明里,GDT_TS 会把几个距离阈值下能够对齐的残基比例合起来看。通俗地说,它不只问“有没有一小段特别像”,也不只问“平均偏差是多少”,而是看模型里有多少骨架位置能在不同宽严程度的距离范围内贴近实验结构。这样的设计让它适合比较整体折叠质量,尤其适合把许多团队的模型放到同一张表里。
这个解释必须带着边界读。GDT_TS 关注的是模型和实验结构的空间接近程度,尤其是整体骨架是否贴近。它不能证明蛋白有活性,不能判断一个药物口袋是否真的能结合分子,也不能说明蛋白在细胞里处于哪种构象。一个分数把复杂结构折成可比较数字,同时也会丢掉许多局部问题。
高分模型仍可能有危险细节。长环区可能摆错,末端可能太柔,结构域之间的朝向可能偏,界面侧链可能没有排好,活性位点附近的几颗残基可能离真实位置有明显距离。若研究目标是理解催化、结合、变构或复合体形成,研究者还要放大局部区域,看电子密度、突变读数、结合实验和功能测量。CASP 分数让模型可以比较,却不会替这些问题作答。
低分也不总是简单失败。有时目标本身很难,几乎没有可用同源信息;有时实验结构包含多个状态,预测模型靠近其中一部分却错过另一部分;有时某个结构域很好,整体装配失败。评估要把这些情况分开。CASP 中的结构域拆分、类别划分和多指标评估,就是为了避免一个总分把错误类型抹平。
评估表因此要和结构图一起读。分数能让人快速排序,对齐图能显示偏差集中在哪里,局部检查能告诉人错误是否落在功能相关区域。若一个模型在大部分骨架上很好,却在配体附近错开,做结构预测的结论和做功能解释的结论就不能相同。CASP 的表格给出比较起点,后续生物学判断还要回到具体位置。
这也是公共评测成熟的地方。它不会把评分当作绝对裁判,而是把评分当作共同语言。一个团队可以说自己的模型在某类目标上改进明显,评估表会追问这种改进出现在哪些目标、哪些结构域、哪些局部区域。另一个团队可以质疑某个指标不适合某类问题,公开数据会让这种质疑回到具体模型上,而不是停在口号里。
一把尺子有边界,不会削弱 CASP,反而让它更可靠。若评分被写成万能判断,任何局部失败都会被误读成制度失败;若评分被放回自己的适用范围,它就能稳稳承担比较骨架模型的工作。结构预测要成为公共问题,既需要可计算的分数,也需要知道分数没有管到哪里。
13.5失败怎样变成公共材料
CASP 最有用的材料,常常来自失败。一个目标没做好,不再只是某个团队硬盘里的文件;它会进入公开结果、评估报告、方法比较和下一轮准备。模板选错、比对错位、远程同源识别失败、结构域装配失败、局部环区偏移、评分函数偏爱错误构象,这些错误一旦被命名,就能进入方法改进。
失败复盘会先问模型有没有看见正确区域。若提交的一批模型都远离实验结构,问题可能出在采样、模板选择或演化信号读取上;若某些模型接近真实结构,却被打分排在后面,问题可能出在模型筛选和能量判断上;若整体不错而局部界面错,下一轮就要更细地处理侧链、界面和结构域方向。公共材料让这些判断不再只靠经验。
另一类失败来自“看起来合理”的错误。模型可能拥有整齐的二级结构、紧凑的疏水核心和漂亮表面,却把长程连接放到错误一侧;也可能把一个模板套得很顺,却忽略目标序列里真正改变构象的插入片段。公开复盘会把这种错误从图像魅力里拆出来,让人看见漂亮模型怎样偏离实验结构。
这对 Rosetta 这样的路线尤其重要。一个预测流程若能生成许多候选模型,还必须知道哪些候选值得相信。CASP 的隐藏答案和公开复盘,会把候选生成、采样范围、打分函数和人工筛选都放到同一批目标下检查。每次失手都可能变成下一轮规则调整的材料:该扩大搜索,还是该修正评分;该重看比对,还是该重新处理结构域边界。
排名因此不是终点。某一轮名次靠前,说明当时那批目标上表现较好;连续几轮减少同一类错误,才更能说明方法真的变稳。反过来,一个方法在少数漂亮目标上很好,却在隐藏答案面前反复输给同一类错误,研究者就会把它当作候选假设工具,而不会把它当成实验替代品。
公共记录还有一个慢作用。几年以后回看,研究者能看到一代方法在哪些目标类型上进步,在哪些对象上长期困难。模板丰富目标、远程同源目标、结构域重排、界面、局部环区、辅助实验数据,每一类都可能显示不同曲线。CASP 把“进步”这个词拆成更具体的问题:进步发生在哪里,对哪些对象有效,失败还剩什么。
公开数据还会影响日常研究的信任方式。研究者要不要采用某个预测工具,通常不会只看论文里的代表图,而会问它在公共评测中哪些对象稳、哪些对象弱。若一个方法在模板丰富目标上可靠,在弱同源目标上摇摆,它仍然可以用来提出假设,却不能替代实验裁决。CASP 把方法宣传翻译成更具体的风险地图。
这种材料也保护了后来的强方法。任何新方法都可以带着更好的数据、更大的模型或更复杂的工程进入结构预测,但只靠宣传和漂亮图不够。它仍要面对隐藏答案、共同目标、截止时间和公开评估。CASP 给共同体留下的核心遗产,是一种长期有效的检验方式。
13.6从公共考场到反过来写蛋白
回到开头的目标页面,那串编号已经变了意思。T1201、T1210、T1218-D1 已经超过待建模对象本身,代表一套共同约束:实验结构先隐藏,提交文件先进入系统,截止时间关上窗口,公开坐标再把预测拉回现实。目标编号、隐藏答案、上传文件和到期时间合在一起,形成了结构预测共同体可以信任的公共环境。
这个环境把两条路线都往前推。一条路线继续追问怎样更准地读序列、家族线索和结构模板,怎样在隐藏答案前交出更可靠的模型。另一条路线开始出现反向问题:如果一个流程能够判断某条序列会不会接近某种形状,能不能反过来寻找一条序列,让它主动折向目标形状?这个问题不靠排行榜突然出现;一张张提交文件、候选模型表、失败分类和规则修改,让它慢慢变得可问。
Rosetta 和 Baker lab 会在这个问题上变得重要。它们接住的不是一个抽象口号,接住的是 CASP 留下的实际压力:候选模型要生成,候选要排序,失败要回到规则里,实验结构会在最后裁决一部分判断。预测先学会在公共考场里交卷,设计才有机会把箭头调转,问一条新序列能不能被写出来、做出来、再被结构检查。
结尾仍要守住边界。CASP 没有自动给出设计蛋白的办法,也没有替任何方法证明功能和实验成功。它做的是更基础的事:让结构预测有了共同目标、隐藏答案、提交记录、评估尺子和失败清单。这个基础足够坚硬,后面的 Rosetta 线才不会像凭空出现的灵感,而像一条从公共检验中长出来的路线。
目标页面上的提交入口最终会关闭,实验坐标随后公开,评估表和复盘材料留下来。真正有价值的,不是某个队伍一时排第几,是那些失败怎样回到候选、采样、打分和实验反馈里。沿着这条路,结构预测的问题会转成另一个更大胆的问法:能不能反过来写蛋白。