fix: remove useless or ambiguous content (#690)

* fix: remove ipynb useless content * fix: replace ERNIE-Bot description * fix: add trainer cli info docs & remove ernie-bot in ipynb
baidubce · Jul 25, 2024 · 8ff2759 · 8ff2759
1 parent 72ba467
commit 8ff2759
Show file tree

Hide file tree

Showing 41 changed files with 321 additions and 1,458 deletions.
diff --git a/README.md b/README.md
@@ -29,7 +29,7 @@
 
 千帆 SDK 提供大模型工具链最佳实践，让 AI 工作流和 AI 原生应用优雅且便捷地访问千帆大模型平台。SDK 核心能力包含三大部分：大模型推理，大模型训练，以及通用和扩展:
 
-- `大模型推理`：实现了对一言（ERNIE-Bot）系列、开源大模型等模型推理的接口封装，支持对话、补全、Embedding 等。
+- `大模型推理`：实现了对一言（ERNIE）系列、开源大模型等模型推理的接口封装，支持对话、补全、Embedding 等。
 - `大模型训练`：基于平台能力支持端到端的大模型训练过程，包括训练数据，精调/预训练，以及模型托管等。
 - `通用与扩展`：通用能力包括了 Prompt/Debug/Client 等常见的 AI 开发工具。扩展能力则基于千帆特性适配常见的中间层框架。
 
@@ -213,18 +213,18 @@ ds.save(qianfan_dataset_id="your_dataset_id")
 #### Trainer
 
 千帆 Python SDK 以Pipeline为基础串联整个模型训练的流程，同时允许用户更好的把控训练流程状态 [Trainer 框架](./docs/trainer.md)。
-以下是一个快速实现ERNIE-Bot-turbo fine-tuning的例子：
+以下是一个快速实现ERNIE-Speed-8K fine-tuning的例子：
 ```python
 from qianfan.dataset import Dataset
-from qianfan.trainer import LLMFinetune
+from qianfan.trainer import Finetune
 
 # 加载千帆平台上的数据集
 ds: Dataset = Dataset.load(qianfan_dataset_id="ds-xxx")
 
 # 新建trainer LLMFinetune，最少传入train_type和dataset
 # 注意fine-tune任务需要指定的数据集类型要求为有标注的非排序对话数据集。
-trainer = LLMFinetune(
-    train_type="ERNIE-Bot-turbo-0725",
+trainer = Finetune(
+    train_type="ERNIE-Speed-8K
     dataset=ds, 
 )
 

diff --git a/cookbook/README.md b/cookbook/README.md
@@ -19,9 +19,9 @@
 |                  | [千帆 与 Weights & Biases](./wandb/wandb.ipynb)                                                          | Weights & Biases 提供了一个平台，可以对大模型的调用过程进行可视化的展现，跟踪每次请求对资源的消耗等等，尤其是在开发 Agent 等涉及到复杂的模型调用时，可以帮助开发者更好地观察模型效果并进一步去改进模型。 本文将介绍如何利用 LangChain，将千帆SDK的调用导入 Weights & Biases。     |
 |                  | [知识库问答](./RAG/question_anwsering/question_answering.ipynb)                                            | 展示了如何使用 Langchian + 千帆 SDK 完成对特定文档完成获取、切分、转为向量并存储，并在之后的对话中根据所提供的文本生成回复。                                                                                                | |
 |                  | [Weights & Biases](./RAG/wandb.ipynb)                                                                 | 展示了如何将千帆模型对接至 Weights & Biases，并使用其提供的可视化能力进行模型训练过程监控。                                                                                                                 | |
-|      agent       | [function call langchain_agent_with_qianfan_llm](./agents/langchain_agent_with_qianfan_llm.ipynb)     | function_call，顾名思义，通过给大模型提供 function 的说明描述，以及对应的入参出参 schema，让大模型输出 function 调用策略，结合多轮对话，以最终实现一个复杂的任务。 以下将以天气获取为例子，通过千帆 Python SDK提供的 ERNIE-Bot 大模型以实现通过大模型得到对应城市的天气情况。 |
+|      agent       | [function call langchain_agent_with_qianfan_llm](./agents/langchain_agent_with_qianfan_llm.ipynb)     | function_call，顾名思义，通过给大模型提供 function 的说明描述，以及对应的入参出参 schema，让大模型输出 function 调用策略，结合多轮对话，以最终实现一个复杂的任务。 以下将以天气获取为例子，通过千帆 Python SDK提供的 ERNIE 大模型以实现通过大模型得到对应城市的天气情况。 |
 |                  | [千帆agent介绍使用 qianfan_single_action_agent_example](./agents/qianfan_single_action_agent_example.ipynb) | 以 Function Call 功能实现的千帆 Agent 模块                                                                                                                                       |
-|                  | [千帆 function call 入门](./function_call.ipynb)                                                          | 以获取数据库中某类文件的数量为例子，通过调用千帆 Python SDK提供的 ERNIE-Bot 大模型以得到数据库中该语言的文件数量。                                                                                                   |
+|                  | [千帆 function call 入门](./function_call.ipynb)                                                          | 以获取数据库中某类文件的数量为例子，通过调用千帆 Python SDK提供的 ERNIE 大模型以得到数据库中该语言的文件数量。                                                                                                   |
 |                  | [千帆function_call工具调用](./function_call_with_tool.ipynb)                                                | 上一节千帆function_call入门展示了实现chat调用函数的功能，本节将介绍如何让chat与千帆工具进行交互，并编写更便利的调用函数。                                                                                                |
 |    extensions    | [Semantic Kernel Planner](./extensions/semantic_kernel/agent_with_sk.ipynb)                           | qianfan + planner实现一个简单的demo，整体规划多步plan，在串联进行执行                                                                                                                        |
 |                  | [Semantic Kernel](./extensions/semantic_kernel/chatbot_with_sk.ipynb)                                 | SK+千帆SDK以实现一个基于SK Plugin的多轮对话ChatBot.                                                                                                                                  |
@@ -49,7 +49,7 @@
 | finetune |[end-to-end的LLMops流程中的数据->SFT微调->发布->推理流程，使用的SDK版本为0.1.3。](./finetune/api_based_finetune.ipynb) |                                                                                                                                |
 | | [直接使用bos进行sft并进行评估](./finetune/finetune_with_bos_and_evaluate.ipynb) |                                                                                                                                |
 | | [使用文生图数据集进行模型微调](./finetune/text2image_finetune.ipynb) |                                                                                                                                |
-| | [Trainer全流程使用](./finetune/trainer_finetune.ipynb) | 本例将基于qianfan==0.2.2展示通过Dataset加载本地数据集，并上传到千帆平台，基于ERNIE-Bot-turbo进行fine-tune，并使用Model进行批量跑评估数据，直到最终完成服务发布，并最终实现服务调用的完整过程。       |
+| | [Trainer全流程使用](./finetune/trainer_finetune.ipynb) | 本例将基于qianfan SDK展示通过Dataset加载本地数据集，并上传到千帆平台，基于ERNIE-Speed-8K进行fine-tune，并使用Model进行批量跑评估数据，直到最终完成服务发布，并最终实现服务调用的完整过程。       |
 | | [Trainer事件回调和可恢复性](./finetune/trainer_finetune_event_resume.ipynb) | 千帆Python SDK 在使用trainer 实现训练微调的基础上，SDK还提供了灵活的事件回调、以及trainer的可恢复的特性，以下以新建训练任务，并注册EventHandler，遇到报错之后进行resume进行演示。               |
 | 推理 |[大模型推理配置自动推荐](./autotuner/tune.ipynb) | SDK 提供了推理配置自动推荐的功能，只需要提供目标场景的数据集及评估方式，设定搜索空间，SDK 就可以根据以上信息推荐出参数的配置                                                             |
 | | [批量预测](./batch_prediction.ipynb) | 利用 SDK 内置的批量推理功能，在本地通过并行调用模型接口实现高效的批量预测。                                                                                       |
@@ -59,5 +59,5 @@
 | Prompt | [Prompt使用](./prompt.ipynb) | 千帆提供了 Prompt 管理功能，可以快速地使用平台预置的优质 Prompt，或者保存用户自定义的 Prompt。SDK 也为用户快速使用 Prompt 提供了辅助。                                           |
 |   | [SDXL Prompt优化](./sdxl_prompt_optimize/prompt_optimize.ipynb) | 展示了如何使用LLM进行文生图模型SDXL的Prompt优化以获得更好的图片质量和query关联度                                           |
 | 其他 | [千帆 Hub](./hub.ipynb) |                                                                                                                                |
-| | [ERNIE Bot 搜索能力](./eb_search.ipynb) |                                                                                                                                |
+| | [ERNIE 搜索能力](./eb_search.ipynb) |                                                                                                                                |
 | | [SDK 自动遗忘过长的对话历史](./auto_truncate_msg.ipynb) |                                                                                                                                |
diff --git a/cookbook/auto_truncate_msg.ipynb b/cookbook/auto_truncate_msg.ipynb
@@ -57,7 +57,7 @@
     }
    ],
    "source": [
-    "resp = qianfan.ChatCompletion(model=\"ERNIE-Bot\").do(messages, truncate_overlong_msgs=True)"
+    "resp = qianfan.ChatCompletion(model=\"ERNIE-3.5-8K\").do(messages, truncate_overlong_msgs=True)"
    ]
   },
   {
@@ -111,7 +111,7 @@
     }
    ],
    "source": [
-    "qianfan.ChatCompletion.get_model_info(\"ERNIE-Bot\").max_input_chars"
+    "qianfan.ChatCompletion.get_model_info(\"ERNIE-3.5-8K\").max_input_chars"
    ]
   },
   {
@@ -133,18 +133,11 @@
    "source": [
     "qianfan.ChatCompletion.get_model_info(\"ERNIE-Speed\").max_input_tokens"
    ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": null,
-   "metadata": {},
-   "outputs": [],
-   "source": []
   }
  ],
  "metadata": {
   "kernelspec": {
-   "display_name": "py311",
+   "display_name": "py11",
    "language": "python",
    "name": "python3"
   },
@@ -158,7 +151,12 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.11.5"
+   "version": "3.11.9"
+  },
+  "vscode": {
+   "interpreter": {
+    "hash": "42453736f0d03c53e6ad75478ebb5fcf2abe6d38094996bfa938cecc75099885"
+   }
   }
  },
  "nbformat": 4,

diff --git a/cookbook/awesome_demo/essay_scoring/main.ipynb b/cookbook/awesome_demo/essay_scoring/main.ipynb
@@ -2810,11 +2810,22 @@
     "for s in result:\n",
     "    print(s['result'])"
    ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "\n",
+    "\n",
+    "Dataset.map_reduce"
+   ]
   }
  ],
  "metadata": {
   "kernelspec": {
-   "display_name": "Python 3",
+   "display_name": "base",
    "language": "python",
    "name": "python3"
   },
@@ -2828,7 +2839,12 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.9.18"
+   "version": "3.11.8"
+  },
+  "vscode": {
+   "interpreter": {
+    "hash": "58f7cb64c3a06383b7f18d2a11305edccbad427293a2b4afa7abe8bfc810d4bb"
+   }
   }
  },
  "nbformat": 4,