百度文心千帆大模型平台使用指南-怎么查看与管理模型评估任务？

点击这里申请百度智能云特邀VIP帐号，立即体验文心千帆>>>

百度文心千帆大模型平台使用指南-怎么查看与管理模型评估任务？

对生成式大模型的输出效果、计算性能进行全方位评价，提供面向事实类或开放性问答的不同打分模式；当前支持文本类生成模型，暂不支持图像或跨模态生成模型。

登录到文心千帆大模型操作台，在左侧功能列选择模型评估，进入模型评估主任务界面。

查看模型评估任务详情

进入“模型评估 > 查看报告 > 任务详情”中查看模型评估任务详情页。

查看评估报告

进入“模型评估 > 查看报告 > 评估报告 ”中查看评估指标。

注释：
Ⅰ) unigram：指将句子或文本中的每个单词都单独作为一个基本单元，不考虑单词之间的顺序。
Ⅱ) bigram：指将句子或文本中的每个相邻的单词对都作为一个基本单元，用于描述两个单词之间的顺序关系。
Ⅲ) trigram：指将句子或文本中的每个相邻的三个单词作为一个基本单元，用于描述三个单词之间的顺序关系。
Ⅳ) 4-grams：指将句子或文本中的每个相邻的四个单词作为一个基本单元，用于描述四个单词之间的顺序关系。
Ⅴ) 最长公共子序列：指两个或多个字符串最长的子序列，这些子序列在每个字符串中都存在，且它们的顺序相同。

导出错例数据

评估报告中，错例分析 区域展示了BLUE-4指标较低的样本，以便用户针对性分析和迭代模型；为避免对页面性能造成影响，每个模型最多展示2000条错例样本。

错例支持筛选和导出。导出时点击左上角按钮，在浮窗中配置导出位置『本地』或『BOS存储』（需提前开通BOS相关服务 ）。

右上角 操作记录中支持查看用户对错例导出记录，查看导出任务状态、并对错例数据进行下载、查看。

查看任务日志

平台支持查看本次模型评估任务的详细日志。选择评估的模型后，可以查看其从创建开始到任务结束的日志内容，支持下载到本地保存（txt格式）。

以下为部分日志展示：

可通过日志查看报错，调整任务配置重新发起；或在提交工单时，粘贴日志中的报错由百度技术服务团队协助排查。