黄体是什么| 六月二十一是什么日子| 任意门是什么意思| 喝酒后头晕是什么原因| 牙疼买什么药| 荆芥的别名叫什么| 或是什么意思| 什么网站| 蝉属于什么类动物| 什么洗发水好用| 王维是什么派诗人| 晟念什么字| 月经期间适合吃什么水果| 一吃东西就牙疼是什么原因引起的| 为什么会长痔疮| 黄占读什么| 鹅翅膀下垂是什么原因| 梦见爸爸去世预兆什么| 日加立念什么字| 倾情是什么意思| ca医学代表什么意思| 缱绻旖旎是什么意思| 隐性基因是什么意思| 抽象什么意思| 什么花没有叶子| 3n是什么意思| 四联单是什么| 湿疹吃什么药| 虎皮鹦鹉吃什么食物| 月经有血块是什么原因| 今天冲什么生肖| 27岁属相是什么生肖| 骨质疏松吃什么好| 芜湖有什么大学| mic是什么单位| 棘突是什么意思| 眼睛突然出血是什么原因导致| iron什么意思| 透明质酸钠是什么东西| 椴树是什么树| 十月份是什么星座的| 盐水泡脚有什么好处| 蛇吃什么| 甲减的原因是什么引起的| 飞刀是什么意思| 藤原拓海开的什么车| 三星堆是什么意思| 天空像什么的比喻句| 西瓜有什么功效和作用| 扁桃体发炎不能吃什么| 陈晓和赵丽颖为什么分手| 什么样的男人不能嫁| 来加贝念什么| 白羊座上升星座是什么| 又热又冷是什么原因| 花卉是什么| 2004属什么生肖| 前额白发是什么原因| 眼袋肿是什么原因| 烧钱是什么意思| 麻蛇是什么蛇| 垂盆草长什么样| 什么是基本养老金| 女人白带多什么原因| 心血管堵塞吃什么药| 嘴苦是什么原因造成的| 硕士研究生是什么意思| 掰弯了是什么意思| 2002年是什么生肖| 什么水果不能上供| 为什么最迷人的最危险是什么歌| 夏天脸上皮肤痒是什么原因| 什么果不能吃| 公安局是干什么的| 绿意盎然是什么意思| 上海为什么叫魔都| rm是什么币| 龋齿什么意思| 为什么姨妈会推迟| 气血两虚是什么意思| 比重是什么意思| 什么地什么| 阿奇霉素主治什么| 香菜什么时候种| 印度洋为什么叫印度洋| 吃什么药| 幽会是什么意思| 小孩晚上睡觉磨牙是什么原因| 考试早餐吃什么| 看见蜈蚣有什么预兆| 衣原体感染是什么病| 万能受血者是什么血型| 什么样的情况下需要做肠镜| 右后背疼什么原因| 尿崩症是什么意思| 得不偿失是什么意思| 疝是什么意思| 癔病是一种什么病| 梦到自己快要死了是什么意思| 热火朝天是什么意思| 心悸吃什么药| 转氨酶高有什么症状| 尿蛋白微量是什么意思| 肌酐是检查什么的| 睡觉尿多是什么原因| 仁波切是什么意思| 质子是什么| 西瓜又什么又什么填空| 有肝病的人吃什么好| 晋五行属什么| 杆鱼是什么鱼| 党内的最高处分是什么| 喝酒前喝什么不容易醉| 黄花是什么花| 束缚什么意思| 血管病变是什么意思| 尚书相当于现在的什么官| 不堪入目是什么意思| ca医学上是什么意思| 受精卵着床有什么反应| 孩子发烧手脚冰凉是什么原因| 心理医生挂什么科| 处女膜在什么位置| 什么情况下需要做心脏造影| 正襟危坐什么意思| 气血两亏是什么意思| 什么是蓝颜知己| holly是什么意思| 敏感什么意思| 解脲脲原体阳性是什么病| 肾萎缩吃什么药好| dha是什么| 宝宝睡觉突然大哭是什么原因| 头发长得慢是什么原因| 早射吃什么药最好| 俊俏什么意思| 良心是什么| m是什么| 腰部酸胀是什么原因| 石斛有什么用| 盆腔炎要做什么检查| 玻璃什么时候传入中国| 两个c是什么牌子| 抖m是什么| 浅紫色配什么颜色好看| 乌鸡卷是什么肉做的| 胚由什么组成| 神经损伤吃什么药| 王维被称为什么| 梦见和老公吵架是什么预兆| 3月28号是什么星座| 失眠吃什么食物效果最好| 心脏不好喝什么茶比较好| 井底之蛙是什么意思| 脚底发红是什么原因| 为什么大便会拉出血| vs的意思是什么| 血型o型rh阳性是什么意思| 红斑狼疮是什么病| 深千尺是什么意思| 狗吃什么食物| 浙江有什么城市| 睡几个小时就醒了是什么原因| 什么奶粉跟母乳一个味| 四六风是什么病| 飞行模式和关机有什么区别| 三庭五眼是什么意思| 胃溃疡能吃什么| 为什么会梦到前男友| ppt是什么意思| 尿失禁是什么原因| 胎盘前置是什么意思| 喉咙有痰是什么原因引起的| 双手脱皮是什么原因引起的| 脾囊肿是什么原因引起的| 什么是假药| 心率快吃什么药效果好| 邓紫棋为什么叫gem| 双子男喜欢什么样的女生| 媾什么意思| 隐是什么意思| 什么是门户网站| 甲虫吃什么食物| 6.7是什么星座| 油膜是什么| 气泡音是什么意思| 面瘫什么意思| 两面三刀是什么生肖| 尿肌酐高是什么原因| 口腔溃疡是什么| 鸡咳嗽吃什么药| 什么东西最隔音| epc是什么意思| 肠癌是什么原因造成的| 北斗星代表什么生肖| 社区建档需要什么资料| 护士证什么时候下来| plory是什么牌子| 地黄是什么| 浜是什么意思| 砍单是什么意思| 罗刹女是什么意思| 音什么笑什么成语| 潘驴邓小闲什么意思| 女朋友生日送什么礼物好| 珩字五行属什么| 二级烧伤是什么程度| 什么情况下会感染hpv病毒| 手足口不能吃什么食物| 上身胖下身瘦是什么原因| k金是什么| pco2是什么意思| 什么什么自如| 拉肚子后吃什么食物好| 孩子记忆力差吃什么好| 一月8日是什么星座| 香叶是什么树叶| 早上嘴苦是什么原因| 海蓝之谜适合什么年龄| 三文鱼为什么可以生吃| 咖啡与什么食物相克| 嗓子干痒吃什么药效果好| left是什么意思| 保外就医是什么意思| 体检前一天要注意什么| 垂的第三笔是什么| a02是什么牌子| 手汗症是什么原因| 85年属什么的生肖| 布衣是什么意思| 查甲状腺挂什么科| 什么家欢乐| 银针茶属于什么茶| 黄体破裂是什么原因| 什么时间人流| 西瓜和什么不能一起吃| hmo是什么| 摸头杀是什么意思| hcg翻倍不好是什么原因造成的| 肩周炎看什么科| 特长是什么| 薄熙来犯了什么罪| 沅字五行属什么| 脚酸臭是什么原因| 红豆和什么搭配最好| 果是什么意思| 梦见打死黄鼠狼是什么意思| 口红是用什么做的| 牙冠是什么意思| 胆固醇高吃什么| 冷战的男人是什么心理| 乳腺彩超能查出什么| 女人为什么会来月经| 洋姜有什么功效与作用| 9.25是什么星座| 什么花最香| 黑色粑粑是什么原因| 男性尿分叉是什么原因| 客单价什么意思| 戌时属什么生肖| 拉肚子不能吃什么| 玫瑰茄和洛神花有什么区别吗| 居酒屋是什么意思| 边缘性行为包括什么| 百度
Skip to content

Provide best practices for LMOps, as well as elegant and convenient access to the features of the Qianfan MaaS Platform. (提供大模型工具链最佳实践,以及优雅且便捷地访问千帆大模型平台)

License

Notifications You must be signed in to change notification settings

baidubce/bce-qianfan-sdk

Repository files navigation

百度千帆大模型平台 SDK

LICENSE Documentation Status Feedback Issue Feedback Ticket
Python Release PyPI version Python Version
Go Release Go Reference Go Version
Java Release Maven Central Version Java Version
JS Release NPM Version JS Version

简介

framwwork

千帆 SDK 提供大模型工具链最佳实践,让 AI 工作流和 AI 原生应用优雅且便捷地访问千帆大模型平台。SDK 核心能力包含三大部分:大模型推理,大模型训练,以及通用和扩展:

  • 大模型推理:实现了对一言(ERNIE)系列、开源大模型等模型推理的接口封装,支持对话、补全、Embedding 等。
  • 大模型训练:基于平台能力支持端到端的大模型训练过程,包括训练数据,精调/预训练,以及模型托管等。
  • 通用与扩展:通用能力包括了 Prompt/Debug/Client 等常见的 AI 开发工具。扩展能力则基于千帆特性适配常见的中间层框架。

如何安装

目前千帆Python SDK 已发布到 PyPI ,用户可使用 pip 命令进行安装,Python需要 3.7.0 或更高的版本。

pip install 'qianfan[dataset_base]'

在安装完成后,用户可以参考 文档 在命令行中快速使用千帆平台功能,或者在代码内引入千帆 SDK 并使用

import qianfan

更多安装选项见文档

多语言SDK

其它语言见如下文档:

快速使用

在使用千帆 SDK 之前,用户需要 百度智能云控制台 - 安全认证 页面获取 Access Key 与 Secret Key,具体流程参见平台 说明文档。在获得了 Access Key 与 Secret Key 后,用户即可开始使用 SDK:

import os
import qianfan

os.environ["QIANFAN_ACCESS_KEY"] = "..."
os.environ["QIANFAN_SECRET_KEY"] = "..."

# 接下来就可以调用 SDK 的所有功能
chat = qianfan.ChatCompletion()
resp = chat.do(messages=[{"role": "user", "content": "你好,千帆"}])

print(resp["result"])

除了通过环境变量设置外,千帆 SDK 还提供了通过 DotEnv 加载 .env 文件和通过代码配置的方式,详细参见 SDK 配置 部分。

(方案二)通过应用接入进行鉴权

这里是一些其他认证方式,请仅在无法获取 Access Key 与 Secret Key 时使用。这些认证方式已经过时,将在未来从 SDK 中移除。

API Key (AK) 和 Secret Key (SK) 是用户在调用千帆模型相关功能时所需要的凭证。具体获取流程参见平台的应用接入使用说明文档,但该认证方式无法使用训练、发布模型等功能,若需使用请使用 Access Key 和 Secret Key 的方式进行认证。在获得并配置了 AK 以及 SK 后,用户即可开始使用 SDK:

import os
import qianfan

os.environ["QIANFAN_AK"] = "..."
os.environ["QIANFAN_SK"] = "..."

# 只可以调用模型推理相关功能
chat = qianfan.ChatCompletion()
resp = chat.do(messages=[{"role": "user", "content": "你好,千帆"}])

print(resp["result"])

适用范围:

功能 API Key Access Key
Chat 对话 ? ?
Completion 续写 ? ?
Embedding 向量化 ? ?
Plugin 插件调用 ? ?
文生图 ? ?
大模型调优 ? ?
大模型管理 ? ?
大模型服务 ? ?
数据集管理 ? ?

功能导览

我们提供了数个 cookbook,可以快速了解如何使用 SDK 以及与第三方组件进行交互。

大模型推理

目前千帆 SDK 支持用户使用如下大模型预测能力

  • Chat 对话
  • Completion 续写
  • Embedding 向量化
  • Plugin 插件调用
  • Text2Image 文生图
  • Image2Text 图生文
  • Reranker 重排序

如下是使用千帆 SDK 调用 Chat 对话的例子,同时 SDK 还支持异步、流式调用和批量推理,详见 推理服务

import os
import qianfan

# 动态获取最新模型列表依赖 IAM Access Key 进行鉴权,使用应用 AK 鉴权时不支持该功能
os.environ["QIANFAN_ACCESS_KEY"] = "..."
os.environ["QIANFAN_SECRET_KEY"] = "..."

# 模型名称可以通过 qianfan.ChatCompletion.models() 获取
# 也可以在命令行运行 qianfan chat --list-model 查看
chat_comp = qianfan.ChatCompletion(model="ERNIE-3.5-8K")
resp = chat_comp.do(
    messages=[{"role": "user", "content": "你好,千帆"}],
    # (可选)设置模型参数,与 API 参数一致
    top_p=0.8,
    temperature=0.9,
    penalty_score=1.0,
)

print(resp["result"])

大模型训练

在预置模型无法满足业务场景时,可使用大模型精调和预训练接口,来定制专属大模型。大致流程可分为:准备数据(Dataset) -> 训练(Trainer) -> 模型评估(Evaluation) -> 服务(Service);

Dataset

用户可以在本地通过千帆 Python SDK 提供的接口,加载平台的数据集并用于后续的训练流程

from qianfan.dataset import Dataset

ds = Dataset.load(qianfan_dataset_id="your_dataset_id")

且千帆 Python SDK 集成了一系列本地的数据处理功能,允许用户在本地对来自多个数据源的数据进行增删改查等操作,详见Dataset 框架

以下是一个通过加载本地数据集、处理并上传到千帆的例子。所有数据集在本地处理前都必须先通过 loadsave 方法加载到本地。

假设我们有以下格式的 Json 数据集:

[
  {"question": "...", "answer":  "..."},
  {"question": "...", "answer":  "..."},
  {"question": "..."}
]
from typing import Dict, Any

from qianfan.dataset import Dataset

# 从本地文件导入
ds = Dataset.load(data_file="path/to/dataset_file.json")

def filter_func(row: Dict[str, Any]) -> bool:
  return "answer" in row.keys()

def map_func(row: Dict[str, Any]) -> Dict[str, Any]:
  return {
      "prompt": row["question"],
      "response": row["answer"],
  }

# 链式调用处理数据
ds.filter(filter_func).map(map_func).pack()

# 上传到千帆
# 数据集只有上传到千帆后才可以用于训练
# 请确保你的数据集格式符合要求
ds.save(qianfan_dataset_id="your_dataset_id")

Trainer

千帆 Python SDK 以Pipeline为基础串联整个模型训练的流程,同时允许用户更好的把控训练流程状态 Trainer 框架。 以下是一个快速实现ERNIE-Speed-8K fine-tuning的例子:

from qianfan.dataset import Dataset
from qianfan.trainer import Finetune

# 加载千帆平台上的数据集
ds: Dataset = Dataset.load(qianfan_dataset_id="ds-xxx")

# 新建trainer LLMFinetune,最少传入train_type和dataset
# 注意fine-tune任务需要指定的数据集类型要求为有标注的非排序对话数据集。
trainer = Finetune(
    train_type="ERNIE-Speed-8K",
    dataset=ds, 
)

trainer.run()

Model

千帆 Python SDK 对模型管理能力进行了抽象和封装,开发者可以通过Model模块进行模型相关的管理,和批量推理,评估等操作。

以下是一个基于模型实现批量推理的例子:

from qianfan.model import Model
from qianfan.dataset import Dataset

ds = Dataset.load(qianfan_dataset_id="ds-xx")
m = Model(version_id="amv-xx")

m.batch_inference(dataset=ds)

通用与扩展

Prompt

SDK 支持对文生文、文生图等任务的 Prompt 进行管理、优化、评估等操作,详见Prompt 管理

Client

SDK 内置了一个命令行工具,能够在终端直接与千帆平台进行交互,例如与大模型对话、发起训练任务、预览数据集等等,详见 命令行工具

API Resources

平台API能力汇总,详见平台API能力

其他

Check API References for more details.

联系我们

如使用过程中遇到什么问题,或对SDK功能有建议,可通过如下方式联系我们

License

Apache-2.0

About

Provide best practices for LMOps, as well as elegant and convenient access to the features of the Qianfan MaaS Platform. (提供大模型工具链最佳实践,以及优雅且便捷地访问千帆大模型平台)

Topics

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Contributors 25

处女座男生喜欢什么样的女生 咳嗽有什么特效药 IOM是什么意思 pcr是什么意思 弘字五行属什么
砖红色是什么颜色 鲁是什么意思 总出虚汗什么原因怎么解决 全身酸痛失眠什么原因 屌丝是什么
活水是什么意思 七月份是什么季节 乡镇镇长什么级别 pg在医学是什么意思 滑膜炎用什么药治疗最好最快
去医院看舌头挂什么科 幽门螺杆菌是什么病 八一是什么节 枕秃是什么意思 2048年是什么年
活性炭和木炭有什么区别hcv8jop7ns8r.cn 为什么鼻毛会变白hcv8jop5ns2r.cn 鸡的贵人是什么生肖hcv9jop2ns3r.cn 拔牙为什么要验血hcv8jop6ns7r.cn 什么食物增加血管弹性hcv9jop2ns9r.cn
喝醋对身体有什么好处hcv7jop6ns4r.cn 冰妹是什么意思hkuteam.com 40min是什么意思hcv9jop6ns9r.cn 头尖适合什么发型hcv9jop3ns0r.cn 28属什么的生肖mmeoe.com
为什么脸上长痣越来越多hcv9jop8ns0r.cn 乐果农药适合杀什么虫hcv9jop2ns0r.cn 荷花五行属什么hcv9jop4ns5r.cn 黄瓜为什么会发苦hcv7jop4ns6r.cn 吃坏东西肚子疼吃什么药hcv9jop0ns6r.cn
97年五行属什么hcv9jop1ns1r.cn 九五至尊什么意思hcv9jop4ns8r.cn 狗是什么时辰hcv8jop6ns5r.cn 吃什么生发效果最好hcv8jop8ns0r.cn 赵本山是什么学历cl108k.com
百度