百度文心千帆大模型平台使用指南-如何查看、发布、处理和删除数据？

点击这里申请百度智能云特邀VIP帐号，立即体验文心千帆>>>

百度文心千帆大模型平台使用指南-如何查看、发布、处理和删除数据？

登录到文心千帆大模型操作台，在左侧功能列选择数据集管理，进入数据集管理主任务界面。

查看数据

平台支持您查看全部数据、有标注信息的数据和无标注信息的数据。
点击指定数据集版本操作列的“详情”按钮，查看全部数据、有标注信息的数据和无标注信息的数据。并且支持根据导入日期、标注日期等条件进行筛选。

query问题集无需标注，没有标注日期的筛选项。

发布数据

数据集发布后，方可在模型开发阶段引用该数据集做训练。

前提条件

该数据集已完成始标注，query问题集无需标注，可直接发布。

步骤

1. 在对应数据集的操作列中选择“发布”。

2. 数据集发布成功后，该数据集的发布状态为变为“已发布 。

已发布的数据集不允许任何编辑操作。

处理数据

数据在未发布前可以进行数据的清洗和增强。

• 数据清洗：可以对数据集中的文本进行繁体转简体、大写转小写、删除异常字符等操作。详细可查看数据清洗操作。

• 数据增强：通过数据增强策略，对数据本身进行一定程度的扰动和扩充，从而产生"新"数据。在训练时会通过学习大量的"新"数据，提高模型的泛化能力。详细可查看数据增强操作。

删除数据

• 如果您需要删除数据集，请执行下面步骤：

选定某个数据集，选择“删除”按钮。

确认删除数据集后，数据集及全部版本数据都将会被删除且不可恢复。

• 如果您需要删除数据集的某个版本，请执行以下步骤：

  选定数据集的某个版本，选择“删除”按钮。

删除后，数据集版本不可恢复。