百度文心千帆大模型平台使用指南-怎么创建模型压缩任务？

点击这里申请百度智能云特邀VIP帐号，立即体验文心千帆>>>

百度文心千帆大模型平台使用指南-怎么创建模型压缩任务？

创建模型压缩任务

登录到文心千帆大模型操作台，在左侧功能列选择模型压缩，进入模型评估主任务界面。

点击“创建压缩任务”按钮，进入新建压缩任务页面。(若没有该按钮，请查看任务计费说明）

由用户填写评估任务所需的基本信息、压缩配置、资源配置。

基本信息

填写压缩任务名称、压缩任务描述。

压缩配置

• 选择源模型: 此处支持选择用户希望压缩的模型，支持从『我的模型』中选择（不支持选择预置模型）。具体支持范围详见模型压缩支持范围 。

• 模型创建方式：选择压缩后模型的保存方式，支持保存为已有模型新版本（默认为最新版本）或保存为新模型（默认V1版本）。

• 压缩策略: 当前默认支持 量化压缩>INT8 策略。

资源配置

配置模型压缩的资源环境和计算节点数后，点击“确认”按钮开始进行模型压缩任务。(详细计费规则请见任务计费说明)

任务计费说明

当前模型压缩功能限时免费。

模型压缩支持范围

注：量化压缩是一种将模拟量转换为离散量的方法，它可以模型参数的存储字节数压缩。INT8代表将模型参数压缩至8位字节。