型下的模型每组问题

Joitarani9o

方案从文本中提取一些信息回答有关文本的问题摘要总结浓缩文本突出要点分类回答具有多个答案选项的请求来自提示工程师的基准另外为了快速评估新模型我们的提示工程师创建了一个单独的小型基准其中包括个解块涵盖一定范围的世界知识一组实际用例以及与创造力简单代码工作释义和理解含义相关的选定情况。评估方法最近与或的并排比较方法已越来越多地用于评估模型。我们的案例也不例外我们也决定使用这种方法将我们的模型与进行比较。

评估是由有能力的标记员进行的模型的名称对他们隐藏因此不可能伪造我们减少了对多类分类任务 亚美尼亚电报号码数据 的答案进行排序的任务正在研究的模型的答案更好与相比答案同样好答案同样差的答案优于研究模答案由个标记进行评估。根据我们自己的算法解决了差异。例如如果第一个标记者认为所研究的模型比更好第二个标记者则相反第三个标记者认为模型的答案同样糟糕则认为两个模型的答案同样糟糕。来自即时工程师的基准在这种情况下模型没有与进行比较而只是接受了评估。最高分等于数据集中的问题数即。



特定问题的答案可以给出三个分数和。如果答案与以下内容无关则给出分问题不正确或包含许多错误。在的情况下。个答案可能部分正确或包含少量逻辑和拼写错误。如果答案完全正确且有意义则给出一个答案。由于基准测试包括多种项目格式包括分类多项选择和开放式问题因此评估每个项目的指标也有所不同。例如对于任务评估指标是准确性而对于任务评估指标是分数。最终指标是除道德任务之外的所有任务的平均值。您可以在文章中阅读更多内容。的比较结果下图显示了在我们的基准测试中将各种俄语模型与进行比较的结果