场景:整个搜索产品层面的大迭代
1)构建标注数据集:根据TPM序列按照一定比例进行数据抽取
2)每个query给出一个整体的GSB标注,这是与迭代前进行对比给出的,另外需要标注每个query下5条结果的打分(-2到2之间)
分子:X1+X2-(Y1+Y2)
分母:原来结果为-1和-2的总和
-2 → -1,0,1,2,无结果 值为X1
-1 → 0,1,2,无结果 值为X2
无结果,-1,0,1,2 → -2 值为Y1
无结果,0,1,2 → -1 值为Y2