ChatRobot_RAG.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "_cell_guid": "b1076dfc-b9ad-4769-8c92-a6c4dae69d19",
    "_uuid": "8f2839f25d086af736a60e9eeb907d3b93b6e0e5",
    "execution": {
     "iopub.execute_input": "2025-01-04T02:22:18.258777Z",
     "iopub.status.busy": "2025-01-04T02:22:18.258570Z",
     "iopub.status.idle": "2025-01-04T02:22:42.142694Z",
     "shell.execute_reply": "2025-01-04T02:22:42.141829Z",
     "shell.execute_reply.started": "2025-01-04T02:22:18.258757Z"
    },
    "trusted": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m27.5/27.5 MB\u001b[0m \u001b[31m67.4 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m:00:01\u001b[0m00:01\u001b[0m\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m268.8/268.8 kB\u001b[0m \u001b[31m6.9 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m:00:01\u001b[0m\n",
      "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m41.8/41.8 kB\u001b[0m \u001b[31m2.1 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m1.0/1.0 MB\u001b[0m \u001b[31m18.8 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m00:01\u001b[0m\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m411.6/411.6 kB\u001b[0m \u001b[31m20.7 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m326.4/326.4 kB\u001b[0m \u001b[31m21.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m73.5/73.5 kB\u001b[0m \u001b[31m5.1 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m78.6/78.6 kB\u001b[0m \u001b[31m5.3 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m131.3/131.3 kB\u001b[0m \u001b[31m9.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m54.5/54.5 kB\u001b[0m \u001b[31m4.1 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m58.3/58.3 kB\u001b[0m \u001b[31m3.7 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m296.4/296.4 kB\u001b[0m \u001b[31m8.0 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0mta \u001b[36m0:00:01\u001b[0m\n",
      "\u001b[?25h"
     ]
    }
   ],
   "source": [
    "!pip install rank_bm25 -q\n",
    "!pip install faiss-cpu -q\n",
    "!pip install sentence-transformers -q\n",
    "!pip install langchain -q\n",
    "!pip install peft==0.12.0 -q"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 文档分块与向量化"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-04T02:23:02.236920Z",
     "iopub.status.busy": "2025-01-04T02:23:02.236646Z",
     "iopub.status.idle": "2025-01-04T02:23:02.250915Z",
     "shell.execute_reply": "2025-01-04T02:23:02.250246Z",
     "shell.execute_reply.started": "2025-01-04T02:23:02.236897Z"
    },
    "trusted": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "共加载了2个文档\n"
     ]
    }
   ],
   "source": [
    "# 从.txt文件加载文档\n",
    "import os\n",
    "\n",
    "def load_txt_documents(folder_path):\n",
    "    documents = []\n",
    "    for file_name in os.listdir(folder_path):\n",
    "        if file_name.endswith('.txt'):\n",
    "            file_path = os.path.join(folder_path, file_name)\n",
    "            with open(file_path,'r',encoding='utf-8') as file:\n",
    "                documents.append(file.read())  # 只保留文档内容\n",
    "    return documents\n",
    "\n",
    "#测试该函数\n",
    "files = \"/kaggle/input/knowledge-documents\"\n",
    "documents = load_txt_documents(files)  # 大小为 num_of_file * 一大块文档字符串\n",
    "print(f\"共加载了{len(documents)}个文档\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-04T02:23:12.870306Z",
     "iopub.status.busy": "2025-01-04T02:23:12.869901Z",
     "iopub.status.idle": "2025-01-04T02:23:13.838306Z",
     "shell.execute_reply": "2025-01-04T02:23:13.821870Z",
     "shell.execute_reply.started": "2025-01-04T02:23:12.870277Z"
    },
    "trusted": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "244\n",
      "分块1:\n",
      "导论 马克思主义中国化时代化的历史进程与理论成果\n",
      "马克思主义理论的基本特征：马克思主义理论是科学的理论、人民的理论、实践的理论、不断发展的开放的理论\n",
      "\n",
      "分块2:\n",
      "一、马克思主义中国话时代化的提出\n",
      "太平天国运动、洋务运动、戊戌变法、义和团运动、辛亥革命接连而起，但都以失败而告终。各种思潮竞相发声，包括改良主义、自由主义、社会达尔文主义、无政府主义、实用主义、民粹主义、工团主义等“你方唱罢我登场”但都未能解决中国的实际问题。\n",
      "\n",
      "分块3:\n",
      "十月革命一声炮响，给中国送来了马克思列宁主义，五四运动（巴黎和会中国外交失败）促进了马克思主义在中国的广泛传播。在马克思列宁主义同中国工人运动的紧密结合中，1921年中国共产党应运而生。\n",
      "\n",
      "分块4:\n",
      "找到了马克思主义这个崭新的思想武器，并不意味着就能够自然而然地解决中国革命所面临的问题，还有一个如何把马克思主义基本原理同中国具体实际相结合、同中华优秀传统文化相结合的问题。（城市中心论和农村中心论）\n",
      "\n",
      "分块5:\n",
      "1931年开始的在党内占统治地位的“左”倾错误，把马克思主义教条化、把共产国际决议和苏联经验神圣化，使中国革命遭受严重挫折。（湘江战役惨胜。遵义会议确立了毛泽东的领导地位）\n",
      "\n",
      "分块6:\n",
      "实现马克思主义中国化。1938年，毛泽东在党的六届六中全会上作了《论新阶段》的报告，强调：“没有抽象的马克思主义，只有具体的马克思主义。……”这标志着“马克思主义的中国化”这一命题的正式提出，并提出毛泽东思想是“中国化的马克思主义”。\n",
      "\n",
      "分块7:\n",
      "党的十八大以来，以习近平同志为核心的党中央明确提出要不断推进马克思主义中国化时代化。\n",
      "\n",
      "分块8:\n",
      "二、马克思主义中国化时代化的内涵\n",
      "马克思主义中国化时代化,就是立足中国国情和时代特点，坚持把马克思主义基本原理同中国具体实际相结合、同中华优秀传统文化相结合（“两个结合”的思想）\n",
      "\n",
      "分块9:\n",
      "“用马克思主义的文场方法来解决中国问题，创造些新的东西，这样就用得了。”“解决中国问题”和“创造些新的东西”实际上指向马克思主义中国化时代化的科学内涵具体包含三层意思:\n",
      "1. 运用马克思主义的立场、观点和方法,观察时代、把握时代、引领时代,解决中国革命、建设、改革中的实际问题。\n",
      "2. 总结和提炼中国革命、建设、改革的实践经验并将其上升为理论，不断丰富和发展马克思主义的理论宝库,赋予马克思主义以新的时代内涵。\n",
      "3. 运用中国人民喜闻乐见的民族语言来阐述马克思主义,使其植根于中华优秀传统文化的土壤之中,具有中国特色、中国风格、中国气派。\n",
      "\n",
      "分块10:\n",
      "推进马克思主义中国化时代化是一个追求真理、揭示真理、笃行真理的过程。不能采取教条主义的态度,也不能采取实用主义的态度。\n",
      "\n",
      "分块11:\n",
      "三、马克思主义中国化时代化的历史进程（四个阶段）\n",
      "马克思主义中国化时代化的第一个阶段：在新民主主义革命时期，以毛泽东同志为主要代表的中国共产党人，把马克思列宁主义基本原理同中国具体实际结合起来，开辟了农村包围城市、武装夺取政权的正确革命道路。毛泽东思想是马克思主义中国化时代化的第一次历史性飞跃。（第一次飞跃）在毛泽东思想的指导下，中国共产党团结带领中国人民,创造了新民主主义革命的伟大成就，为实现中华民族伟大复兴创造了根本社会条件，为实现中华民族伟大复兴奠定了根本政治前提和制度基础。（推翻三座大山，帝国主义、官僚主义、封建主义）\n",
      "\n",
      "分块12:\n",
      "马克思主义中国化时代化的第二个阶段：1978年召开的党的十一届三中全会，开启了改革开放和社会主义现代化建设新时期。以邓小平同志为主要代表的中国共产党人，围绕什么是社会主义、怎样建设社会主义这一根本问题，创立了邓小平理论，解放思想、实事求是。\n",
      "\n",
      "分块13:\n",
      "马克思主义中国化时代化的第三个阶段：党的十三届四中全会以后,以江泽民同志为主要代表的中国共产党人，加深了对什么是社会主义、怎样建设社会主义和建设什么样的党、怎样建设党的认识，形成了“三个代表”重要思想。江泽民同志回答的时代课题：什么是社会主义、怎样建设社会主义和建设什么样的党、怎样建设党。进入新世纪新阶段,党的十六大以后,以胡锦涛同志为主要代表的中国共产党人,深刻认识和回答了新形势下实现什么样的发展、怎样发展等重大问题，形成了科学发展观，实现了马克思主义中国化时代化新的飞跃。（第二次飞跃）\n",
      "\n",
      "分块14:\n",
      "马克思主义中国化时代化的第四个阶段：党的十八大以来,中国特色社会主义进入新时代,以习近平同志为主要代表的中国共产党人,坚持把马克思主义基本原理同中国具体实际相结合、同中华优秀传统文化相结合,系统回答了三个时代课题，实现了马克思主义中国化的第三次飞跃。\n",
      "\n",
      "分块15:\n",
      "实践证明,中国共产党为什么能、中国特色社会主义为什么好、归根到底是马克思主义行，是中国化时代化的马克思主义行。\n",
      "\n",
      "分块16:\n",
      "四、马克思主义中国化时代化理论成果及其关系\n",
      "中国特色社会主义理论体系在新的历史条件下进一步丰富和发展了毛泽东思想。\n",
      "邓小平同志回答的时代课题：什么是社会主义、怎样建设社会主义。\n",
      "江泽民同志回答的时代课题：建设什么样的党、怎样建设党。\n",
      "胡锦涛同志回答的时代课题：实现什么样的发展、怎样发展等重大问题。\n",
      "习近平同志回答的时代课题：\n",
      "1.新时代坚持和发展什么样的中国特色社会主义、怎样坚持和发展中国特色社会主义；\n",
      "2.建设什么样的社会主义现代化强国、怎样建设社会主义现代化强国；\n",
      "3.建设什么样的长期执政的马克思主义政党、怎样建设长期执政的马克思主义政党等重大时代课题。\n",
      "\n",
      "分块17:\n",
      "第一章 毛泽东思想及其历史地位\n",
      "\n",
      "分块18:\n",
      "第一节 毛泽东思想的形成和发展\n",
      "\n",
      "分块19:\n",
      "一、毛泽东思想形成发展的历史条件\n",
      "19世纪中叶，马克思、恩格斯在深入考察和研究资本主义社会基本矛盾的基础上，提出唯物史观和剩余价值学说。（马克思的两大发现）\n",
      "\n",
      "分块20:\n",
      "二、毛泽东思想形成发展的过程\n",
      "1.毛泽东思想的形成：毛泽东在《中国社会各阶级的分析》《湖南农民运动考察报告》等著作中，分析了中国社会各阶级在革命中的地位和作用，明确指出无产阶级领导农民斗争的极端重要性，分析了中国农民斗争的特点，这些关于新民主主义革命基本思想的提出，标志着毛泽东思想开始萌芽。\n",
      "2.毛泽东提出并深入阐述的农村包围城市、武装夺取政权的思想，对红军和农村革命根据地的建立、巩固和发展发挥着根本指导作用，标志着毛泽东思想的初步形成。\n",
      "3.毛泽东思想的成熟：遵义会议是一次具有伟大转折意义的重要会议。（遵义会议决定了自己的人事安排，而不受共产国际的指挥）毛泽东同志为核心的党的第一代中央领导集体，开启了党独立自主解决中国革命实际问题的新阶段，在最危急关头挽救了党、挽救了红军、挽救了中国革命。\n",
      "4.毛泽东思想的继续发展：从新民主主义向社会主义的转变，开展全面的大规模的社会主义建设的过程中，先后提出人民民主专政理论、社会主义改造理论、关于严格区分和正确处理两类矛盾的学说特别是正确处理人民内部矛盾的理论、适合我国国情的中国工业化道路理论等。毛泽东明确提出了把马克思列宁主义基本原理同中国具体实际进行“第二次结合，找出在中国怎样建设社会主义的道路”的任务。\n",
      "\n",
      "分块21:\n",
      "第二节 毛泽东思想的主要内容和活的灵魂\n",
      "\n",
      "分块22:\n",
      "一、 毛泽东思想的主要内容\n",
      "1. 新民主主义革命理论\n",
      "\n",
      "分块23:\n",
      "无产阶级领导的，工农联盟为基础的，人民大众的，反对帝国主义、封建主义和官僚资本主义的新民主主义革命理论。（新民主主义革命理论的总路线）\n",
      "\n",
      "分块24:\n",
      "中国资产阶级分为两部分：依附于帝国主义的大资产阶级和既有革命要求又有动摇性的民族资产阶级。\n",
      "\n",
      "分块25:\n",
      "毛泽东指出，统一战线、武装斗争和党的建设，是中国共产党在中国革命中战胜敌人的三大法宝。\n",
      "\n",
      "分块26:\n",
      "2. 社会主义革命和社会主义建设理论\n",
      "采取社会主义工业化和社会主义改造并举的方针，实行逐步改造生产资料私有制的具体政策，从理论和实践上解决了如何在中国这样一个占世界人口近四分之一、经济文化落后的大国建立社会主义制度这一重大问题。\n",
      "\n",
      "分块27:\n",
      "毛泽东提出把马克思列宁主义基本原理同中国具体实际进行“第二次结合”，领导全党和全国人民积极探索适合中国国情的社会主义建设道路。提出了一系列具有战略意义的正确思想和方针。其中包括：关于社会主义社会是一个很长的历史阶段，可分为不发达的社会主义和比较发达的社会主义两个阶段。（为邓小平提出社会主义初级阶段理论奠定了理论基础）\n",
      "\n",
      "分块28:\n",
      "以工业为主导，以农业为基础，正确处理重工业同农业、轻工业的关系。\n",
      "\n",
      "分块29:\n",
      "（知青）实行干部参加劳动，工人参加管理，改革不合理的规章制度，工人群众、领导干部和技术人员三结合，即“两参一改三结合”。\n",
      "\n",
      "分块30:\n",
      "3. 革命军队建设和军事战略的理论\n",
      "毛泽东系统解决了如何把以农民为主要成分的革命军队建设成为一支无产阶级性质的、具有严格纪律的、同人民群众保持亲密联系的新型人民军队的问题。\n",
      "\n",
      "分块31:\n",
      "三湾改编，确定了党指挥枪。\n",
      "\n",
      "分块32:\n",
      "毛泽东规定了党对军队绝对领导的原则，指明了是党指挥枪而不是枪指挥党，强调全心全意为人民服务是人民军队的唯一宗旨，制定了三大纪律、八项注意，强调实行政治、经济、军事三大民主，实行官兵一致、军民一致和瓦解敌军的原则。\n",
      "\n",
      "分块33:\n",
      "三湾改编，创造性地将支部建在连上，从组织上确立了党对军队的领导，是建设无产阶级领导的新型人民军队的重要开端。\n",
      "\n",
      "分块34:\n",
      "4. 政策和策略的理论\n",
      "政策和策略是党的生命。\n",
      "无产阶级及其政党要实现自己对同盟者的领导，必须具备两个条件：一是率领被领导者向着共同的敌人作坚决斗争并取得胜利，二是对被领导者给以物质利益，至少不损害其利益。\n",
      "\n",
      "分块35:\n",
      "5. 党的建设理论\n",
      "针对历史上党内斗争中存在过的“残酷斗争、无情打击（王明）”的“左”的错误，毛泽东提出“惩前捻后、治病救人”的正确方针。\n",
      "\n",
      "分块36:\n",
      "两个务必：在新中国成立前后，毛泽东多次提出务必使同志们继续地保持谦虚、谨慎、不骄、不躁的作风，务必使同志们继续地保持艰苦奋斗的作风。\n",
      "\n",
      "分块37:\n",
      "习近平同志提出3个务必：1.不忘初心，牢记使命 2.谦虚谨慎，艰苦奋斗 3.敢于斗争，善于斗争\n",
      "\n",
      "分块38:\n",
      "二、毛泽东思想活的灵魂：实事求是、群众路线、独立自主。实事求是是毛泽东思想的基本点，是毛泽东思想的精髓。群众路线，就是一切为了群众，一切依靠群众，从群众中来，到群众中去，把党的正确主张变为群众的自觉行动。群众路线本质上体现的是马克思主义关于人民群众是历史的创造者这一基本原理。人人都是历史的创造者这句话是不对的，人民群众才是历史的创造者。坚持群众路线，就要坚持全心全意为人民服务的根本宗旨（党的根本宗旨）。\n",
      "\n",
      "分块39:\n",
      "第三节 毛泽东思想的历史地位\n",
      "\n",
      "分块40:\n",
      "一、马克思主义中国化时代化的第一个重大理论成果\n",
      "1938六届六中全会上提出马克思主义中国化。\n",
      "\n",
      "分块41:\n",
      "在马克思主义中国化时代化的历史进程中，毛泽东思想为中国特色社会主义理论体系的形成奠定了理论基础。\n",
      "\n",
      "分块42:\n",
      "二、中国革命和建设的科学指南\n",
      "\n",
      "分块43:\n",
      "三、中国共产党和中国人民宝贵的精神财富\n",
      "正确认识毛泽东思想的历史地位和指导意义，有一个怎样科学评价毛泽东和毛泽东思想的问题。\n",
      "\n",
      "分块44:\n",
      "“文化大革命”结束后，在对毛泽东和毛泽东思想的认识问题上，存在过两种错误倾向：一种是认为凡是毛泽东作出的一切决策、指示，都必须坚决维护、始终遵循；另一种是借口毛泽东晚年犯了严重错误，全面否定毛泽东的历史地位与毛泽东思想的科学价值和指导作用。\n",
      "\n",
      "分块45:\n",
      "革命领袖是人不是神。尽管他们拥有很高的理论水平、丰富的斗争经验、卓越的领导才能，但这并不意味着他们的认识和行动可以不受时代条件限制。不能因为他们伟大就把他们像神那样顶礼膜拜，不容许提出并纠正他们的失误和错误；也不能因为他们有失误和错误就全盘否定，抹杀他们的历史功绩，陷入虚无主义的泥潭。\n",
      "\n",
      "分块46:\n",
      "《中国共产党中央委员会关于建国以来党的若干历史问题的决议》：毛泽东的功绩是第一位的，错误是第二位的。（七分功，三分过）\n",
      "\n",
      "分块47:\n",
      "毛泽东思想是马克思主义中国化时代化的第一个重大理论成果，是马克思列宁主义在中国的运用和发展。\n",
      "\n",
      "分块48:\n",
      "毛泽东思想在土地革命战争时期形成，在抗日战争时期走向成熟，并在解放战争时期和中华人民共和国成立后继续发展。\n",
      "\n",
      "分块49:\n",
      "新民主主义革命理论、社会主义革命和社会主义建设理论、革命军队建设和军事战略的理论、政策和策略的理论（党的生命）、思想政治工作和文化工作的理论、党的建设理论，这些是毛泽东思想的主要内容。\n",
      "\n",
      "分块50:\n",
      "实事求是（毛泽东思想的精髓）、群众路线、独立自主是毛泽东思想活的灵魂。\n",
      "\n",
      "分块51:\n",
      "第二章 新民主主义革命理论\n",
      "\n",
      "分块52:\n",
      "第一节 新民主主义革命理论形成的依据\n",
      "\n",
      "分块53:\n",
      "一、近代中国国情和中国革命的时代特征\n",
      "认清中国国情，是解决中国革命问题的基本前提。毛泽东指出：“认清中国社会的性质，\n",
      "就是说，认清中国的国情，乃是认清一切革命问题的基本的根据。”\n",
      "\n",
      "分块54:\n",
      "1.近代中国国情\n",
      "一方面，帝国主义的侵略虽然在一定程度上促使封建社会自给自足的自然经济解体，在客观上为中国资本主义的发展创造了一定条件，但中国不可能发展成为资本主义国家。另一方面，帝国主义列强通过政治的、经济的和文化的侵略，使中国半殖民地化。\n",
      "\n",
      "分块55:\n",
      "主要矛盾是帝国主义和中华民族的矛盾、封建主义和人民大众的矛盾，而帝国主义和中华民族的矛盾，又是各种矛盾中最主要的矛盾。\n",
      "\n",
      "分块56:\n",
      "2.近代中国革命的时代特征\n",
      "近代中国的社会性质和主要矛盾，决定了中国革命仍然是资产阶级民主革命。\n",
      "\n",
      "分块57:\n",
      "俄国十月革命的胜利标志着人类历史开始了由资本主义向社会主义转变的进程。十月革命不仅促进了西方资本主义国家无产阶级的觉醒，也促进了东方殖民地半殖民地国家、被压迫民族和被压迫人民的觉醒。\n",
      "\n",
      "分块58:\n",
      "五四运动爆发于民族危难之际，是一场以先进青年知识分子为先锋、广大人民群众参加的彻底反帝反封建的伟大爱国革命运动（从感性认识到理性认识）\n",
      "\n",
      "分块59:\n",
      "以五四运动为标志，中国无产阶级开始作为独立的政治力量登上历史舞台，成为革命的领导力量，马克思列宁主义逐步成为中国革命的指导思想。它不是要建立资产阶级共和国，造成资产阶级专政，而是要造成各革命阶级在无产阶级领导之下的联合专政，建立各革命阶级联合专政的民主共和国（国体）。\n",
      "\n",
      "分块60:\n",
      "由此中国革命分两步走，第一步是完成反帝反封建的新民主主义革命任务，第二步是完成社会主义革命任务，这是质不同但又相互联系的两个革命过程。（1921-1949资产阶级民主革命，1949-1956无产阶级社会主义革命）\n",
      "\n",
      "分块61:\n",
      "二、 新民主主义革命理论的实践基础\n",
      "\n",
      "分块62:\n",
      "1.旧民主主义革命的失败呼唤新的革命理论\n",
      "孙中山领导的辛亥革命推翻了统治中国几千年的君主专制制度，但未能改变中国半殖民地半封建的社会性质和中国人民的悲惨命运。（为解决土地问题）\n",
      "\n",
      "分块63:\n",
      "2.新民主主义革命的艰辛探索奠定了革命理论形成的实践基础\n",
      "毛泽东提出了 “须知政权是由枪杆子中取得的”著名论断和“工农武装割据”思想（1927“八七会议”）\n",
      "\n",
      "分块64:\n",
      "第二节 新民主主义革命的总路线和基本纲领\n",
      "\n",
      "分块65:\n",
      "一、新民主主义革命的总路线\n",
      "1939年，毛泽东在《中国革命和中国共产党》一文中第一次提出了 “新民主主义的革命”的科学概念。\n",
      "1948年，毛泽东在《在晋绥干部会议上的讲话》中完整地总结和概括了新民主主义革命总路线的内容，即无产阶级领导的，人民大众的，反对帝国主义、封建主义和官僚资本主义的革命。指明了中国革命的对象、动力、领导力量、性质和前途，是新民主主义革命的指导路线。\n",
      "\n",
      "分块66:\n",
      "1.新民主主义革命的对象\n",
      "分清敌友，这是革命的首要问题。\n",
      "\n",
      "分块67:\n",
      "中国过去一切革命斗争成效甚少，其基本原因(也是根本原因)就是因为不能团结真正的朋友，以攻击真正的敌人。----毛泽东\n",
      "\n",
      "分块68:\n",
      "帝国主义是中国革命的首要对象。帝国主义发动的一系列侵略战争，是近代中国贫困落后和一切灾难祸害的总根源。\n",
      "封建地主阶级是帝国主义统治中国和封建军阀实行专制统治的社会基础。\n",
      "\n",
      "分块69:\n",
      "帝国主义和封建主义相互勾结，残酷地压迫和掠夺中国人民。中国革命“主要地就是打击这两个敌人，就是对外推翻帝国主义压迫的民族革命和对内推翻封建地主压迫的民主革命，而最主要的任务是推翻帝国主义的民族革命”。\n",
      "\n",
      "分块70:\n",
      "帝国主义是封建地主阶级的靠山，如果不推翻帝国主义的统治，就不能消灭封建地主阶级的统治；地主阶级是帝国主义统治中国的主要社会基础，如果不推翻地主阶级，就不能彻底铲除封建制度的根基，就不能组织起强大的革命队伍，就不能推翻帝国主义在中国的统治。\n",
      "\n",
      "分块71:\n",
      "2,新民主主义革命的动力\n",
      "新民主主义革命的动力包括无产阶级、农民阶级、城市小资产阶级和民族资产阶级。\n",
      "\n",
      "分块72:\n",
      "无产阶级是中国革命最基本的动力。\n",
      "\n",
      "分块73:\n",
      "农民是中国革命的主力军。人口的80%。新民主主义革命实质上就是党领导下的农民革命，中国革命战争实质上就是党领导下的农民战争。\n",
      "\n",
      "分块74:\n",
      "城市小资产阶级，包括广大的知识分子、小商人、手工业者和自由职业者。\n",
      "\n",
      "分块75:\n",
      "民族资产阶级也是中国革命的动力之一。半殖民地半封建社会的民族资产阶级是一个带有两面性的阶级。一方面，民族资产阶级既受帝国主义的压迫，又受封建主义的束缚；另一方面，由于它在经济上和政治上与帝国主义和封建主义有着千丝万缕的联系，没有彻底的反帝反封建的勇气。\n",
      "\n",
      "分块76:\n",
      "3,新民主主义革命的领导力量\n",
      "无产阶级的领导权是中国革命的中心问题，也是新民主主义革命理论的核心问题。区别新旧两种不同范畴的民主主义革命的根本标志是，革命的领导权是掌握在无产阶级手中还是掌握在资产阶级手中。\n",
      "\n",
      "分块77:\n",
      "中国无产阶级除了具有与先进的生产方式相联系、有自身的特点和优点。一是它从诞生之日起，就身受外国资本主义、本国封建势力和资产阶级的三重压迫；二是它集中分布在少数大城市和大企业，有利于组织和团结，有利于革命思想的传播和强大革命力量的形成；三是它的成员中大部分出身于破产农民，和农民有着天然的联系，便于和农民结成亲密的联盟。\n",
      "\n",
      "分块78:\n",
      "4.新民主主义革命的性质和前途\n",
      "新民主主义革命的性质不是无产阶级社会主义革命，而是资产阶级民主主义革命。\n",
      "新民主主义革命与社会主义革命又是互相联系、紧密衔接的，中间不容横插一个资产阶级专政（批评陈独秀的二次革命论）\n",
      "民主主义革命是社会主义革命的必要准备，社会主义革命是民主主义革命的必然趋势。（因为民主革命具备了社会主义的因素）\n",
      "\n",
      "分块79:\n",
      "二、新民主主义的基本纲领\n",
      "\n",
      "分块80:\n",
      "1.新民主主义的政治纲领\n",
      "革命的根本问题是政权问题。\n",
      "\n",
      "分块81:\n",
      "新民主主义的政治纲领是：推翻帝国主义和封建主义的统治，建立一个无产阶级领导的、以工农联盟为基础的、各革命阶级联合专政的新民主主义的共和国。\n",
      "\n",
      "分块82:\n",
      "国情：帝国主义和封建主义的统治。\n",
      " \n",
      "要建立的国体：各革命阶级联合专政。\n",
      "\n",
      "分块83:\n",
      "全世界多种多样的国家体制中，按其政权的阶级性质来划分，基本地不外乎这三种：（甲）资产阶级专政的共和国；（乙）无产阶级专政的共和国；（丙）几个革命阶级联合专政的共和国。中国为丙。\n",
      "\n",
      "分块84:\n",
      "国体阶级联合专政，政体——民主集中制的人民代表大会制度，这就是新民主主义的政治。\n",
      "\n",
      "分块85:\n",
      "2.新民主主义的经济纲领\n",
      "新民主主义的经济纲领是： “两没一保”没收封建地主阶级的土地归农民所有，没收官僚资产阶级的垄断资本归新民主主义的国家所有，保护民族工商业。\n",
      "\n",
      "分块86:\n",
      "没收封建地主阶级的土地归农民所有，是新民主主义革命的主要内容。\n",
      "\n",
      "分块87:\n",
      "没收官僚资本归新民主主义国家所有，反对官僚资本主义并非因为它是资本主义，而是因为这种资本主义同外国帝国主义、本国地主阶级和旧式富农密切地结合着。\n",
      "\n",
      "分块88:\n",
      "保护民族工商业，是新民主主义经济纲领中极具特色的一项内容。它只推翻帝国主义和汉奸反动派在中国的统治，而不破坏任何尚能参加反帝反封建的资本主义成分。\n",
      "\n",
      "分块89:\n",
      "3.新民主主义的文化纲领\n",
      "新民主主义文化，就是无产阶级领导的人 民大众的反帝反封建的文化，即民族的科学的大众的文化。\n",
      "\n",
      "分块90:\n",
      "第三节 新民主主义革命的道路和基本经验\n",
      "\n",
      "分块91:\n",
      "一、新民主主义革命的道路\n",
      "\n",
      "分块92:\n",
      "2,新民主主义革命道路形成的必然性\n",
      "中国革命之所以能走农村包围城市、武装夺取政权的道路是因为：\n",
      "第一，近代中国是多个帝国主义间接统治的经济落后的半殖民地国家，社会政治经济发展极端不平衡，四分五裂；\n",
      "第二，近代中国的广大农村深受反动统治阶级的多重压迫和剥削，人民革命愿望强烈；\n",
      "第三，全国革命形势的继续向前发展；\n",
      "第四，相当力量正式红军的存在；\n",
      "第五，党的领导的有力量及其政策的不错误，为农村革命根据地建设和发展提供了重要的主观条件。\n",
      "\n",
      "分块93:\n",
      "3.新民主主义革命道路的内容及意义\n",
      "中国革命走农村包围城市、武装夺取政权的道路，根本在于处理好A土地革命、B武装斗争、C农村革命根据地建设三者之间的关系。\n",
      "\n",
      "分块94:\n",
      "土地革命是中国革命的基本内容；武装斗争是中国革命的主要形式，农村革命根据地是中国革命的战略阵地。\n",
      "\n",
      "分块95:\n",
      "二、新民主主义革命的三大法宝\n",
      "毛泽东在《〈共产党人〉发刊词》一文中，，提出了统一战线、武装斗争、党的建设是党在中国革命中战胜敌人的三个主要的法宝。\n",
      "\n",
      "分块96:\n",
      "1.统一战线\n",
      "中国社会是一个两头小中间大的社会，无产阶级和地主大资产阶级都只占少数，最广大的人民是农民、城市小资产阶级以及其他的中间阶级。\n",
      "\n",
      "分块97:\n",
      "党领导的革命统一战线，包含着两个联盟：一个是工人阶级同农民阶级、广大知识分子及其他劳动者的联盟，主要是工农联盟；另一个是工人阶级和非劳动人民的联盟，主要是与民族资产阶级的联盟。\n",
      "\n",
      "分块98:\n",
      "党建立、巩固和发展统一战线的实践经验，主要是：\n",
      "一要建立巩固的工农联盟；\n",
      "二要正确对待资产阶级，尤其是民族资产阶级；\n",
      "三要采取区别对待的方针；\n",
      "四要坚持独立自主的原则。\n",
      "\n",
      "分块99:\n",
      "2,武装斗争\n",
      "一要坚持党对军队的绝对领导，这是建设新型人民军队的根本原则；（三湾改编确立）\n",
      "二要建设全心全意为人民服务（党的根本宗旨）的人民军队；\n",
      "三要开展革命的政治工作；\n",
      "四要坚持正确的战略战术原则。\n",
      "\n",
      "分块100:\n",
      "3.党的建设\n",
      "中国共产党要领导革命取得胜利，必须不断加强党的思想建设、组织建设和作风建设。半殖民地半封建的中国，是一个以农民为主体的国度，无产阶级人数很少，农民和其他小资产阶级占人口的大多数。\n",
      "第一，必须把思想建设始终放在党的建设的首位；\n",
      "第二，必须在任何时候都重视党的组织建设；\n",
      "第三，必须重视党的作风建设。理论联系实际、密切联系群众、批评与自我批评相结合的三大优良作风；\n",
      "第四，必须联系党的政治路线加强党的建设。\n",
      "\n",
      "分块101:\n",
      "第三章　社会主义改造理论\n",
      "半社会主义性质的合作社经济是个体经济向社会主义集体经济过渡的形式，国家资本主义经济是私人资本主义经济向社会主义国营经济过渡的形式。\n",
      "\n",
      "分块102:\n",
      "主要的经济成分是三种：社会主义经济、个体经济和资本主义经济\n",
      "\n",
      "分块103:\n",
      "中国社会的阶级构成主要是工人阶级、农民阶级和其他小资产阶级、民族资产阶级等基本的阶级力量。\n",
      "\n",
      "分块104:\n",
      "随着土地改革的基本完成，工人阶级和资产阶级的矛盾逐步成为我国社会的主要矛盾（1953-1956年间）\n",
      "\n",
      "分块105:\n",
      "二、党在过渡时期的总路线及其依据\n",
      "1.党在过渡时期的总路线的提出\n",
      "党在过渡时期总路线的主要内容被概括为“一化三改”。“一化”即社会主义工业化，“三改”即对个体农业、手工业和资本主义工商业的社会主义改造。其中，“一化”是“主体”，“三改”是“两翼”。这是一条社会主义建设和社会主义改造同时并举的路线，体现了社会主义工业化和社会主义改造的紧密结合，体现了解放生产力与发展生产力、变革生产关系与发展生产力的有机统一。\n",
      "\n",
      "分块106:\n",
      "3,党提出过渡时期总路线的现实依据\n",
      "广大农民具有走互助合作道路的要求。在国民经济恢复时期，党在一些老解放区大力推广农业互助组，并着手组织以土地入股为主要特征的半社会主义性质的初级合作社。（供销小组-合作社-生产合作社）\n",
      "\n",
      "分块107:\n",
      "新中国成立初期，党和国家在合理调整工商业的过程中，出现了加工订货、经销代销、统购包销、公私合营等一系列从低级到高级的国家资本主义形式。自然地加深了它们同社会主义国营经济之间的联系，引起它们在生产关系上发生程度不同的变化。（对资本主义工商业的改造）\n",
      "\n",
      "分块108:\n",
      "第二节 社会主义改造道路和历史经验\n",
      "\n",
      "分块109:\n",
      "一、适合中国特点的社会主义改造道路\n",
      "1.农业、手工业的社会主义改造\n",
      "第一，积极引导农民组织起来，走互助合作道路。\n",
      "第二，遵循自愿互利、典型示范和国家帮助的原则，\n",
      "第三，正确分析农村的阶级和阶层状况，制定正确的阶级政策。\n",
      "第四，坚持积极领导、稳步前进的方针，采取循序渐进的步骤。\n",
      "\n",
      "分块110:\n",
      "2,资本主义工商业的社会主义改造\n",
      "所谓赎买，就是国家有偿地将私营企业改变为国营企业，将资本主义私有制改变为社会主义公有制。赎买的具体方式不是由国家支付一笔巨额补偿资金，而是让资本家在一定年限内从企业经营所得中获取一部分利润。\n",
      "\n",
      "分块111:\n",
      "二、社会主义改造的历史经验\n",
      "第一，坚持社会主义工业化建设与社会主义改造同时并举。（一化三改同时进行）\n",
      "第二，采取积极引导、逐步过渡的方式。\n",
      "第三，用和平方法进行改造。无论是资本主义工商业\n",
      "\n",
      "分块112:\n",
      "第三节 社会主义基本制度在中国的确立\n",
      "\n",
      "分块113:\n",
      "一、社会主义基本制度的确立及其理论根据\n",
      "标志着中国历史上长达数千年的阶级剥削制度的结束和社会主义基本制度的确立。（1956）\n",
      "1954年9月，第一届全国人民代表大会的召开和《中华人民共和国宪法》的制定及颁布施行。表明我国由一个新民主主义的国家转变为社会主义国家。（1954年进入社会主义社会，1956年确立社会主义基本制度）\n",
      "\n",
      "分块114:\n",
      "第二国际的机会主义者曾经以还没有实行社会主义的经济前提来否定经济文化比较落后的国家可以走向社会主义。列宁批评这种观点是“庸俗生产力论”。\n",
      "\n",
      "分块115:\n",
      "二、确立社会主义基本制度的重大意义\n",
      "社会主义基本制度的确立，为当代中国一切发展进步奠定了制度基础。\n",
      "\n",
      "分块116:\n",
      "我国社会生产力的发展，初步显示了社会主义的优越性。\n",
      "\n",
      "分块117:\n",
      "中国共产党深刻认识到，实现中华民族伟大复兴，必须建立符合我国实际的先进社会制度。\n",
      "\n",
      "分块118:\n",
      "中国社会主义基本制度的确立，使占世界人口四分之一的东方大国进入了社会主义社会，这是世界社会主义发展史上又一个历史性的伟大胜利。\n",
      "\n",
      "分块119:\n",
      "第四章 初步社探会索主的理义论建成设果道路\n",
      "第一节 初步探索的重要理论成果\n",
      "一、调动一切积极因素为社会主义事业服务\n",
      "\n",
      "分块120:\n",
      "十大关系：重工业和轻工业、农业的关系，沿海工业和内地工业的关系，经济建设和国防建设的关系，国家、生产单位和生产者个人的关系、中央和地方的关系，汉族和少数民族的关系，党和非党的关系、革命和反革命的关系，是非关系，中国和外国的关系。前五条为经济领域，后五条为非经济领域，重点为重工业和轻工业、农业的关系。\n",
      "调动一切积极因素，为社会主义服务。\n",
      "\n",
      "分块121:\n",
      "二、正确认识和处理社会主义社会矛盾的思想\n",
      "矛盾是普遍存在的，社会主义社会同样充满着矛盾，正是这些矛盾推动着社会主义社会不断地向前发展。“矛盾不断出现，又不断解决，就是事物发展的辩证规律。\n",
      "\n",
      "分块122:\n",
      "关于社会主义社会两类不同性质的矛盾。毛泽东强调：在我们面前有两类社会矛盾，这就是敌我矛盾和人民内部矛盾。前者是分清敌我的问题，后者是分清是非的问题。\n",
      "\n",
      "分块123:\n",
      "关于正确处理人民内部矛盾的问题是社会主义国家政治生活的主题。\n",
      "\n",
      "分块124:\n",
      "三、走中国工业化道路的思想\n",
      "陈云提出了 “三个主体，三个补充”的设想，即在工商业经营方面，国家经营和集体经营是工商业的主体，一定数量的个体经营是国家经营和集体经营的补充；在生产计划方面，计划生产是工农业生产的主体，按照市场变化在国家计划许可范围内的自由生产是计划生产的补充；在社会主义的统一市场里，国家市场是它的主体，一定范围内国家领导的自由市场是国家市场的补充。\n",
      "\n",
      "分块125:\n",
      "四、初步探索的其他理论成果\n",
      "四个现代化：现代农业，现代工业，现代国防，现代科学技术。\n",
      "\n",
      "分块126:\n",
      "第二节 初步探索的意义和经验教训\n",
      "一、初步探索的意义\n",
      "第一，巩固和发展了我国的社会主义制度。\n",
      "第二，为开创中国特色社会主义提供了宝贵经验、理论准备、物质基础。\n",
      "第三，丰富了科学社会主义的理论和实践。\n",
      "\n",
      "分块127:\n",
      "第六章 邓小平理论\n",
      "第一节 邓小平理论首要的基本的理论问题和精髓\n",
      "\n",
      "分块128:\n",
      "一、邓小平理论首要的基本的理论问题\n",
      "什么叫社会主义，怎样建设社会主义（邓小平回答的时代课题）\n",
      "什么是社会主义，怎样建设社会主义”，关键是要在坚持社会主义基本制度的基础上进一步认清社会主义的本质。\n",
      "（北方谈话）不能离开生产力抽象地谈论社会主义，把许多束缚生产力发展的、并不具有社会主义本质属性的东西当作“社会主义原则”加以固守，把许多在社会主义条件下有利于生产力发展的东西当作“资本主义复辟”加以反对。\n",
      "\n",
      "分块129:\n",
      "社会主义的本质，是解放生产力，发展生产力，消灭剥削，消除两极分化，最终达到共同富裕。\n",
      "\n",
      "分块130:\n",
      "邓小平对社会主义本质的概况突出地强调解放和发展生产力在社会主义社会发展中的重要地位，纠正了过去关于发展生产力的一些错误观念，反映了中国社会主义整个历史阶段尤其是初级阶段特别需要注重生产力发展的迫切要求，并明确了社会主义基本制度建立后还要通过改革进一步解放生产力。\n",
      "\n",
      "分块131:\n",
      "它突出地强调“消灭剥削，消除两极分化，最终达到共同富裕”，从生产关系和发展目标角度认识和把握社会主义本质。\n",
      "\n",
      "分块132:\n",
      "二、邓小平理论的精髓\n",
      "历代领导人的精髓\n",
      "毛泽东：实事求是\n",
      "邓小平：解放思想，实事求是\n",
      "江泽民：解放思想，实事求是，与时俱进\n",
      "胡锦涛：解放思想，实事求是，与时俱进，求真务实\n",
      "\n",
      "分块133:\n",
      "党的十一届三中全会批评了 “两个凡是”的错误方针，果断地作出了把党和国家工作重点转移到社会主义现代化建设上来的战略决策。一切从社会主义初级阶段的实际出发。\n",
      "\n",
      "分块134:\n",
      "解放思想通常包括两种情况：一是对原先的认识进行再认识，这其中既有对原先认识中那些正确部分的坚持，也有对原先认识中那些错误部分（两个凡是）的纠正；二是在研究新情况、解决新问题、总结新经验的基础上，形成新的正确认识。\n",
      "\n",
      "分块135:\n",
      "第二节 邓小平理论的主要内容\n",
      "\n",
      "分块136:\n",
      "一、社会主义初级阶段理论和党的基本路线\n",
      "\n",
      "分块137:\n",
      "1.社会主义初级阶段理论\n",
      "社会主义本身是共产主义的初级阶段，而我们中国又处在社会主义的初级阶段，就是不发达的阶段。\n",
      "\n",
      "分块138:\n",
      "社会主义初级阶段这个论断包括两层含义：第一，我国社会已经是社会主义社会。我们必须坚持而不能离开社会主义。第二，我国的社会主义社会还处在初级阶段。我们必须从这个实际（社会主义的初级阶段）出发，而不能超越这个阶段。\n",
      "\n",
      "分块139:\n",
      "2.党在社会主义初级阶段的基本路线\n",
      "党在社会主义初级阶段的基本路线：“领导和团结全国各族人民，以经济建设为中心，坚持四项基本原则，坚持改革开放，自力更生，艰苦创业，为把我国建设成为富强、民主、文明的社会主义现代化国家而奋斗（一个中心：经济建设，两个基本点：四项基本原则、改革开放）\n",
      "\n",
      "分块140:\n",
      "二、社会主义根本任务和发展战略理论\n",
      "1.社会主义根本任务（生产力）的理论\n",
      "社会主义的根本任务是发展生产力，党和国家的工作重点是经济建设。\n",
      "中国解决所有问题的关键是要靠自己的发展。\n",
      "\n",
      "分块141:\n",
      "2.分三步走基本实现现代化的发展战略\n",
      "1979年12月，用“小康”来阐释“中国式的现代化”。\n",
      "我们的四个现代化的概念，不是像你们那样的现代化的概念，而是“小康之家”（温饱）\n",
      "\n",
      "分块142:\n",
      "“三步走”的发展战略，把我国社会主义现代化建设的目标具体化为切实可行的步骤，为基本实现现代化明确了发展方向，展现了美好的前景\n",
      "1982年9月，他提出三个战略重点：一是农业，二是能源和交通，三是教育和科学（只有三个）\n",
      "\n",
      "分块143:\n",
      "为了更好地实现“三步走”的发展战略，邓小平还提出允许和鼓励一部分地区、一部分人先富起来逐步实现共同富裕的思想。\n",
      "\n",
      "分块144:\n",
      "关于地区的“先富”和“共富”，邓小平提出“两个大局”思想，即沿海先发展起来，从而带动内地更好地发展，这是一个事关大局的问题。内地要顾全这个大局。反过来，发展到一定的时候，又要求沿海拿出更多力量来帮助内地发展。（两个大局对应两个阶段，我国现在处于第二阶段）\n",
      "\n",
      "分块145:\n",
      "三、社会主义改革开放和社会主义市场经济理论\n",
      "\n",
      "分块146:\n",
      "1.社会主义改革开放理论\n",
      "改革是社会主义社会发展的直接动力\n",
      "\n",
      "分块147:\n",
      "判断改革和各方面是非得失，归根到底，主要看是否有利于发展社会主义社会的生产力，是否有利于增强社会主义国家的综合国力，是否有利于提高人民生活水平，即“三个有利于”\n",
      "\n",
      "分块148:\n",
      "实行对外开放是对中国经济发展停滞落后历史教训深刻总结的结果。\n",
      "邓小平反复强调：“任何国家要发达起来，闭关自守都不可能。我们吃过这个苦头，我们的老祖宗吃过这个苦头。”\n",
      "\n",
      "分块149:\n",
      "党的十一届三中全会以后，我国改革从农村实行家庭联产承包责任制率先突破，逐步转向城市经济体制改革并全面铺开，我国开放从兴办深圳等经济特区、开发开放浦东、推动沿海沿边沿江沿线和内陆中心城市对外开放到加入世界贸易组织（2001），实现了从高度集中的计划经济体制到充满活力的社会主义市场经济体制、从封闭半封闭到全方位开放的历史性转变。\n",
      "\n",
      "分块150:\n",
      "2.社会主义市场经济理论\n",
      "1992年，邓小平在南方谈话中明确指出：“计划多一点还是市场多一点，不是社会主义与资本主义的本质区别。计划经济不等于社会主义，资本主义也有计划；市场经济不等于资本主义，社会主义也有市场。计划和市场都是经济手段。”\n",
      "\n",
      "分块151:\n",
      "邓小平的社会主义市场经济理论具有丰富的内涵：\n",
      "一是计划经济和市场经济不是划分社会制度的标志，计划经济不等于社会主义，市场经济也不等于资本主义；\n",
      "二是计划和市场都是经济手段，对经济活动的调节各有优劣，社会主义实行市场经济是要把两者优势结合起来；\n",
      "三是市场经济作为资源配置手段本身不具有制度属性，可以和不同的社会制度结合，从而表现出不同的性质。\n",
      "\n",
      "分块152:\n",
      "四、“两手抓，两手都要硬”\n",
      "高度物质文明，社会主义精神文明\n",
      "邓小平：物质、精神\n",
      "江泽民：物质、精神、政治\n",
      "胡锦涛：物质、精神、政治、生态\n",
      "习近平：物质、精神、政治、生态、文化（五位一体）\n",
      "\n",
      "分块153:\n",
      "五、“一国两制”与祖国统一\n",
      "邓小平指出，统一问题“首先是个民族问题，民族的感情问题。凡是中华民族子孙，都希望中国能统一，分裂状况是违背民族意志的。”\n",
      "\n",
      "分块154:\n",
      "香港问题和澳门问题是历史上殖民主义侵略遗留下来的问题。台湾问题是解放战争遗留问题（台湾问题是国内战争遗留下来的问题）\n",
      "\n",
      "分块155:\n",
      "一国两制基本内容有：坚持一个中国，这是“和平统一、一国两制”的核心，是发展两岸关系和实现和平统一的基础；两制并存.在祖国统一的前提下，国家的主体部分实行社会主义制度，同时在香港、澳门、台湾保持原有的社会制度和生活方式长期不变。（有港式和台式，台湾可以有自己的军队）\n",
      "\n",
      "分块156:\n",
      "六、中国特色社会主义外交和国际战略\n",
      "1987年，党的十三大确认了和平与发展是当今世界的两大主题这一深刻论断。\n",
      "\n",
      "分块157:\n",
      "毛泽东的时代主题为战争与革命。\n",
      "\n",
      "分块158:\n",
      "邓小平对时代主题的判断，其基本点是：\n",
      "第一，世界大战在一个相当长的时期内可以避免.我们有可能争取较长时期的和平环境；\n",
      "第二，从经济角度来说，和平与发展是当今世界两大带有全球性的战略问题，是东西方之间、发达国家与发展中国家之间矛盾全局的集中体现；\n",
      "第三，和平与发展是相辅相成的，世界和平是促进各国共同发展的前提条件，各国的共同发展则是保持世界和平的重要基础；\n",
      "第四，和平与发展成为时代主题，并不意味着这两个问题已经解决。\n",
      "\n",
      "分块159:\n",
      "和平与发展成为时代的主题，这是世界各种矛盾发展变化和世界抑制战争因素不断增长合力作用的结果。\n",
      "\n",
      "分块160:\n",
      "邓小平认为，时代主题的变换为我国社会主义事业发展提供了新的机遇，也带来了新的挑战。\n",
      "\n",
      "分块161:\n",
      "对于国际局势，概括起来就是三句话：第一句话，冷静观察；第二句话，稳住阵脚；第三句话，沉着应付。\n",
      "\n",
      "分块162:\n",
      "七、党的建设理论\n",
      "加强党的建设必须打好党风建设这场硬仗。\n",
      "\n",
      "分块163:\n",
      "第三节 邓小平理论的历史地位\n",
      "\n",
      "分块164:\n",
      "一、马克思列宁主义、毛泽东思想的继承和发展\n",
      "\n",
      "分块165:\n",
      "二、中国特色社会主义理论体系的开篇之作\n",
      "紧紧抓住“什么是社会主义，怎样建设社会主义”这个基本问题，响亮提出“走自己的道路，建设有中国特色的社会主义”的伟大号召，从此中国特色社会主义成为我们党全部理论和实践一以贯之的主题。\n",
      "\n",
      "分块166:\n",
      "三、改革开放和社会主义现代化建设的科学指南\n",
      "\n",
      "分块167:\n",
      "第七章 “三个代表”重要思想\n",
      "\n",
      "分块168:\n",
      "第一节 “三个代表”重要思想的核心观点\n",
      "一、始终代表中国先进生产力的发展要求\n",
      "二、始终代表中国先进文化的前进方向\n",
      "三、始终代表中国最广大人民的根本利益\n",
      "\n",
      "分块169:\n",
      "第二节“三个代表”重要思想的主要内容\n",
      "\n",
      "分块170:\n",
      "一、发展是党执政兴国的第一要务\n",
      "二、建立社会主义市场经济体制\n",
      "建立社会主义市场经济体制，必须坚持和完善公有制为主体、多种所有制经济共同发展的社会主义基本经济制度。一方面，必须毫不动摇地巩固和发展公有制经济。另一方面，必须毫不动摇地鼓励、支持和引导非公有制经济发展。（两个毫不动摇）\n",
      "\n",
      "分块171:\n",
      "第三节“三个代表”重要思想的历史地位\n",
      "\n",
      "分块172:\n",
      "一、中国特色社会主义理论体系的丰富发展\n",
      "建设一个什么样的党、怎样建设党这样一个重大时代课题。\n",
      "\n",
      "分块173:\n",
      "第八章 科学发展观\n",
      "\n",
      "分块174:\n",
      "第一节 科学发展观的科学内涵\n",
      "一、推动经济社会发展是科学发展观的第一要义\n",
      "二、以人为本是科学发展观的核心立场\n",
      "以人为本的“人”，是指人民群众，就是以工人、农民、知识分子等劳动者为主体，包括社会各阶层人民在内的中国最广大人民。\n",
      "取消农业税：2005年2月29日，十届全国人大常委会第十九次会议决定,自2006年1月1日起废止《中华人民共和国农业税条例》。由此，国家不再针对农业单独征税，一个在我国存在两千多年的古老税种宣告终结。农业税的取消，根本性地扭转了农民负担过重的状况，给亿万农民带来了看得见、摸得着的实惠。（重大贡献）\n",
      "\n",
      "分块175:\n",
      "三、全面协调可持续是科学发展观的基本要求\n",
      "全面协调可持续中的“全面”是指发展要有全面性、整体性，不仅经济要发展，而且各个方面都要发展；“协调”是指发展要有协调性、均衡性，各个方面、各个环节的发展要相互适应、相互促进。\n",
      "\n",
      "分块176:\n",
      "四、统筹兼顾是科学发展观的根本方法\n",
      "第二节 科学发展观的主要内容\n",
      "\n",
      "分块177:\n",
      "三、推进社会主义文化强国建设\n",
      "建设社会主义核心价值体系\n",
      "马克思主义指导思想、中国特色社会主义共同理想、以爱国主义为核心的民族精神和以改革创新为核心的时代精神、社会主义荣辱观共同构成社会主义核心价值体系的基本内容。\n",
      "\n",
      "分块178:\n",
      "社会主义核心价值观：\n",
      "国家层面：富强、民主、文明、和谐；\n",
      "社会层面：自由、平等、公正、法治；\n",
      "个人层面：爱国、敬业、诚信、友善。\n",
      "\n",
      "分块179:\n",
      "导论\n",
      "马克思主义中国化：1用马克思主义解决中国革命实际问题；2为马克思主义理论宝库增添新的内容，提升为理论；3建设中国特色马克思主义。\n",
      "\n",
      "分块180:\n",
      "第一章\n",
      "\n",
      "分块181:\n",
      "毛泽东思想\n",
      "萌芽：第一次国内革命战争时期 中国社会各阶级的分析 湖南农民运动考察报告；\n",
      "形成：土地革命战争时期 中国红色政权为什么能够存在 井冈山的斗争 星星之火可以燎原 反对本本主义；\n",
      "成熟：遵义会议、实践论、矛盾论、新民主主义论、论联合政府。\n",
      "\n",
      "分块182:\n",
      "遵义会议的转折意义：\n",
      "1确立马克思主义正确路线在党中央的领导地位；\n",
      "2形成毛泽东为核心的第一代党中央领导集体； \n",
      "3开启我党独立自主解决中国革命问题的新阶段； \n",
      "4在危急时刻挽救党挽救红军挽救中国革命。\n",
      "继续发展：新中国成立后，论人民民主专政、论十大关系。\n",
      "\n",
      "分块183:\n",
      "毛泽东思想的主要内容\n",
      "1新民主主义革命理论统一战线、武装斗争、党的建设；\n",
      "2新民主主义建设理论；\n",
      "3革命军队建设和军事战略理论；\n",
      "4政策和策略的理论；\n",
      "5思想政治工作和文化工作理论；\n",
      "6党的建设理论、理论和实践相结合、和人民群众紧密联系在一起、自我批评。\n",
      "\n",
      "分块184:\n",
      "毛泽东思想活的灵魂：实事求是、群众路线、独立自主/。\n",
      "\n",
      "分块185:\n",
      "实事求是：一切从实际出发，理论联系实际，坚持在实践中检验真理：（马克思主义根本观点）\n",
      "1深入了解事物本来面貌，把握内在必然联系，按照客观规律办事；\n",
      "2清醒认识和正确把握我国国情；\n",
      "3不断推进实践基础上理论的创新。\n",
      "\n",
      "分块186:\n",
      "群众路线：一切为了群众，依靠群众，从群众中来到群众中去，把党的正确主张变为群众的自觉行动：（党的生命线和根本工作路线）\n",
      "1坚持人民是推动历史发展的根本力量；\n",
      "2坚持全心全意为人民服务的宗旨；\n",
      "3保持党同人民群众的血肉关系。\n",
      "\n",
      "分块187:\n",
      "独立自主：独立思考，走自己的路，坚定不移维护民族独立捍卫国家主权，把立足点放在自己力量的基础上，同时积极争取外援，开展国际文化交流，学习外国先进事物：\n",
      "1坚持中国的事情必须中国人民自己处理；\n",
      "2坚持独立自主的和平外交政策，坚定不移走和平发展道路。\n",
      "\n",
      "分块188:\n",
      "毛泽东思想历史地位：马克思主义中国化第一个重大理论成果，中国革命和建设的科学指南，中国共产党和中国人民的宝贵精神财富。\n",
      "\n",
      "分块189:\n",
      "第二章\n",
      "新民主主义革命理论\n",
      "中国革命的主要敌人就是帝国主义、封建主义、官僚资本主义。\n",
      "帝国主义和中华民族的矛盾（主） 封建主义和人民大众的矛盾\n",
      "\n",
      "分块190:\n",
      "近代革命的根本任务是推翻帝国主义，封建主义，官僚资本主义，从根本上推翻反动腐朽的政治上层建筑，变革阻碍生产力发展的生产关系。\n",
      "资产阶级民主革命 （由社会性质、主要矛盾决定）\n",
      "俄国十月革命：改变了整个世界历史的方向，开辟了无产阶级社会主义革命的新纪元，标志着人类历史开始了由资本主义向社会主义转变的进程\n",
      "\n",
      "分块191:\n",
      "新民主主义阶段：五四运动、新民主主义革命（不破坏参加反帝反封建的资本主义成分）\n",
      "\n",
      "分块192:\n",
      "新民主主义总路线 无产阶级领导的，人民大众的，反对帝国主义，封建主义，官僚资本主义的革命。\n",
      "\n",
      "分块193:\n",
      "政治纲领：推翻帝国主义和封建主义的统治，建立一个无产阶级领导的，以工农联盟为基础的，各革命阶级联合专政的新民主主义共和国。\n",
      "经济纲领：没收封建地主阶级的土地归农民所有，没收官僚资产阶级的垄断资本归新民主主义国家所有，保护民族工商业。\n",
      "文化纲领：民族的科学的大众的文化\n",
      "\n",
      "分块194:\n",
      "新民主主义革命的道路：农村包围城市、武装夺取政权的革命道路\n",
      "由时代特点和特殊国情决定\n",
      "1.发展极端不平衡，存在统治薄弱环节，为农村革命斗争和建设革命根据地提供可能\n",
      "2.人民革命愿望强烈，革命群众基础好\n",
      "3.全国革命形势的继续向前发展（客观条件）\n",
      "4.红军（坚强后盾）\n",
      "5.党的领导和政策不错误（主观条件）\n",
      "\n",
      "分块195:\n",
      "土地革命（基本内容） 武装斗争（主要形式 强有力保证） 农村革命根据地（依托）\n",
      "\n",
      "分块196:\n",
      "意义：中国革命道路理论，是党运用马克思主义的立场、观点和方法，分析、研究和解决中国革命具体问题的光辉典范，对于推进马克思主义中国化有重要方法论意义\n",
      "\n",
      "分块197:\n",
      "新民主主义革命的三大法宝：统一战线、武装斗争、党的建设。\n",
      "\n",
      "分块198:\n",
      "统一战线\n",
      "1.建立巩固的工农联盟\n",
      "2.正确对待资产阶级（既联合又斗争）\n",
      "3.采取区别对待的方针\n",
      "4.坚持独立自主的原则\n",
      "\n",
      "分块199:\n",
      "武装斗争\n",
      "1.坚持党对军队的绝对领导\n",
      "2.建设全心全意为人民服务的军队\n",
      "3.坚持正确的战略战术原则\n",
      "\n",
      "分块200:\n",
      "党的建设\n",
      "1.把思想建设放在党的建设的首位\n",
      "2.在任何时候都重视党的组织建设 贯彻民主集中制这一根本组织原则\n",
      "3.必须重视党的作风建设\n",
      "3.联系党的政治路线加强党的建设\n",
      "\n",
      "分块201:\n",
      "第三章\n",
      "社会主义改造理论\n",
      "过渡时期的总路线和总任务，逐步实现国家的社会主义现代化，并逐步实现国家对农业，手工业，资本主义工商业的社会改造。\n",
      "\n",
      "分块202:\n",
      "农业手工业的改造\n",
      "1积极引导农民组织起来，走互助合作道路\n",
      "2遵循自愿互利，典型示范和国家帮助的原则，以互助合作的优越性吸引农民走互助合作道路\n",
      "3正确分析农村的阶级现状和阶层状况，制定正确的阶级政策\n",
      "4坚持积极领导，稳步前进的方针，采取循序渐进的步骤\n",
      "资本主义工商业改造\n",
      "1和平赎买\n",
      "2采用从低级到高级的国家资本主义的过渡方式\n",
      "3把资本主义工商业者改造成为自食其力的劳动者\n",
      "\n",
      "分块203:\n",
      "社会主义改造的历史经验\n",
      "1坚持社会主义工业化建设与社会主义改造同时并举\n",
      "2采用积极引导，逐步过渡的方式\n",
      "3用和平的方法进行改造\n",
      "\n",
      "分块204:\n",
      "第四章\n",
      "社会主义建设道路初步探索的理论成果\n",
      "论十大关系标志着党探索中国社会主义建设道路的良好开端\n",
      "调动一切积极因素为社会主义事业服务，必须坚持中国共产党的领导\n",
      "发展社会主义民主政治\n",
      "认识社会主义发展阶段和社会主义建设规律\n",
      "\n",
      "分块205:\n",
      "正确处理人民内部矛盾的问题：调动一切积极因素，团结一切可以团结的力量，把全党的注意力转移到社会主义建设上来\n",
      "\n",
      "分块206:\n",
      "走中国工业化道路\n",
      "1必须明确战略目标和战略步骤\n",
      "2发展科学技术和文化教育\n",
      "3重视知识分子工作\n",
      "4调整和完善所有制结构\n",
      "5积极探索适合我国国情的经济体制和运行机制\n",
      "\n",
      "分块207:\n",
      "初步探索的意义\n",
      "1巩固和发展我国社会主义制度\n",
      "2为开创中国特色社会主义提供宝贵经验，理论准备，物质基础\n",
      "3丰富了科学社会主义的理论和实践\n",
      "\n",
      "分块208:\n",
      "初步探索的经验教训\n",
      "1必须把马克思主义与中国实际相结合，探索符合中国特点的社会主义建设道路\n",
      "2正确认识社会主义的主要矛盾和根本任务，集中力量发展生产力\n",
      "3从实际出发进行社会主义建设，建设规模和速度要和国力相适应，不能急于求成。\n",
      "4发展社会主义民主，健全社会主义法治\n",
      "5坚持党领导的民主集中制和集体领导制度，加强党的执政建设\n",
      "6坚持对外开放，借鉴人类文明成果建设社会主义\n",
      "\n",
      "分块209:\n",
      "第五章\n",
      "邓小平理论 \n",
      "1和平和发展成为时代主题的历史条件\n",
      "2社会主义建设的经验教训（历史根据）\n",
      "3改革开放和现代化建设的实践（现实根据）\n",
      "1987 十三大 我国社会主义初级阶段理论 一个中心，两个基本点\n",
      "1997 十五大 邓小平理论\n",
      "社会主义的本质，是解放生产力发展生产力，消灭剥削两极分化，最终达到共同富裕\n",
      "\n",
      "分块210:\n",
      "邓小平理论主要内容\n",
      "一．解放思想，实事求是的思想路线\n",
      "二．社会主义初级阶段理论 进入社会主义社会 不发达的阶段\n",
      "三．党的基本路线\n",
      "1建设富强民主文明和谐的社会主义现代化国家\n",
      "2一个中心，两个基本点（基本途径）\n",
      "坚持四项基本原则（坚持社会主义道路，人民民主专政，党的领导，马列毛），坚持改革开放\n",
      "3领导和团结全国各族人民\n",
      "4自力更生，艰苦创业\n",
      "坚持党的基本路线（围绕经济建设这一中心；坚持把四项基本原则同改革开放结合起来）\n",
      "四．社会主义根本任务的理论\n",
      "社会主义的根本任务是解放和发展生产力\n",
      "五．三步走战略\n",
      "1981到1990国民生产总值翻一番，解决温饱\n",
      "1991到20世纪末，再翻一番，达到小康\n",
      "21世纪中叶中等发达国家水平，生活富裕，基本实现现代化\n",
      "P118到P124\n",
      "六.改革开放理论\n",
      "正确对待资本主义社会创造的现代文明成果\n",
      "高度珍惜并坚决维护中国人民经过长期奋斗得来的独立自主权利\n",
      "七.社会主义市场经济理论\n",
      "1.计划经济和市场经济不是划分社会制度的标志\n",
      "2.计划和市场都是经济手段，社会主义市场经济要把两者结合起来\n",
      "3.市场经济作为资源配置的一种方式本身不具有制度属性，可以和不同的社会制度结合，从而表现出不同的性质\n",
      "八.两手抓，两手到要硬\n",
      "物质文明和精神文明\n",
      "建设 法制\n",
      "改革开放 惩治腐败\n",
      "九.和平统一，一国两制\n",
      "1.坚持一个中国（核心，基础） \n",
      "2.国家主体部分实行社会主义制度，港澳台原有社会制度和生活方式长期不变\n",
      "3.高度自治 特别行政区\n",
      "4.尽最大努力争取和平统一，但不承诺放弃武力\n",
      "5.实现全国统一寄希望于台湾人民\n",
      "\n",
      "分块211:\n",
      "邓小平理论的历史地位\n",
      "1马列毛的继承和发展\n",
      "2中特社会主义开篇之作\n",
      "3改革开放和社会主义现代化建设的科学指南\n",
      "\n",
      "分块212:\n",
      "第六章\n",
      "三个代表重要思想\n",
      "在冷战结束后对国际形势科学判断的基础上形成的\n",
      "科学判断党的历史方位和总结历史经验的基础上提出\n",
      "在建设中国特色社会主义伟大实践的基础上形成\n",
      "贯彻三个代表思想，关键在坚持与时俱进，核心在坚持党的先进性，本质在坚持执政为民\n",
      "P140到P145\n",
      "三个代表重要思想的核心观点\n",
      "始终代表中国先进生产力的发展要求（科学技术加创新）\n",
      "始终代表中国先进文化的前进方向\n",
      "1.建设社会主义精神文明\n",
      "2.发展面向现代化、面向世界、面向未来的，民族的科学的大众的社会主义文化\n",
      "3.弘扬民族精神\n",
      "4.加强社会主义思想道德建设\n",
      "5.做好思想政治工作\n",
      "始终代表最广大人民的根本利益\n",
      "\n",
      "分块213:\n",
      "主要内容\n",
      "一．发展是执政兴国的第一要务\n",
      "二．建立社会主义市场经济体制\n",
      "1完善基本经济制度\n",
      "2探索多种有效实现形式\n",
      "3发挥市场机制的作用和宏观调控\n",
      "4规范调整国家企业个人的分配关系\n",
      "5建立和完善社会保障体系\n",
      "三．全面建设小康社会\n",
      "四．建设社会主义政治文明\n",
      "1最根本就是要坚持党的领导，人民当家作主和依法治国的有机统一\n",
      "坚持人民代表大会制度，中国共产党领导的多党合作和政治协商制度，民族区域自治制度\n",
      "2坚持依法治国，建设社会主义法治国家\n",
      "3进行政治体制改革\n",
      "五．推进党的建设的伟大工程\n",
      "1坚持党的先进性\n",
      "2加强执政能力\n",
      "3领导干部讲学习讲政治讲正气\n",
      "4坚持党要管党从严治党的方针\n",
      "5反腐\n",
      "\n",
      "分块214:\n",
      "第七章\n",
      "科学发展观\n",
      "深刻把握我国国情和新的阶段性特征的基础上形成\n",
      "总结实践经验基础上形成\n",
      "分析和顺应国际形势的基础上形成\n",
      "科学发展观在抗击非典疫情和探索社会主义市场经济体制的过程中逐步形成\n",
      "2003.10 十六届三中全会 中共中央关于完善社会主义市场经济体制若干问题的决定（首次提出）\n",
      "2004.3 中央人口资源环境座谈会 提出明确要求（标志正式形成）\n",
      "P166到P173\n",
      "科学发展观的内涵\n",
      "推动经济社会发展是科学发展观的第一要义\n",
      "1.加快转变经济发展方式\n",
      "2.善于抓住和用好机遇\n",
      "以人为本是科学发展观的核心立场\n",
      "1.坚持发展为了人民，始终把最广大人民的根本利益放在第一位\n",
      "2.坚持发展依靠人民，从人民群众的伟大创造中汲取智慧和力量\n",
      "3.坚持发展成果由人民共享，着力提高人民物质文化生活水平\n",
      "4.最终为了实现人的全面发展\n",
      "全面协调可持续是科学发展观的基本要求\n",
      "全面发展：按照中国特色社会主义事业总体布局，正确认识和把握经济建设、政治建设、文化建设、社会建设、生态文明建设是相互联系、相互促进的有机统一体\n",
      "协调发展：保证中国特色社会主义各领域协调推进\n",
      "可持续发展：走生产发展、生活富裕、生态良好的文明发展道路\n",
      " 建设生态文明\n",
      "统筹兼顾是科学发展观的根本方法\n",
      "1.正确认识和妥善处理中国特色社会主义事业中的重大关系\n",
      "2.认真考虑和对待各方面的发展需要，正确反映和兼顾各阶层各群体的利益要求\n",
      "3.牢牢掌握统筹兼顾的科学思想方法，努力提高战略思维、创新思维、思辨思维能力，不断增强统筹兼顾的本领，更好地推动科学发展\n",
      "4.既立足当前，又着眼长远，做到兼顾各方，综合平衡\n",
      "\n",
      "分块215:\n",
      "科学发展观主要内容\n",
      "1加快转变经济发展方式\n",
      "全面深化经济体制改革（关键）\n",
      "实施穿新驱动战略（重大战略决策）\n",
      "经济结构战略性调整（主攻方向）\n",
      "促进区域协调发展\n",
      "积极推进城镇化\n",
      "推动城乡发展一体化\n",
      "实现工业化、信息化、城镇化、农业发展现代化\n",
      "2发展社会主义民主政治\n",
      "社会主义民主政治的本质和核心是人民当家作主\n",
      "发展社会主义民主政治，必须坚定不移地走中国特色社会主义政治发展道路，坚持党的领导，人民当家作主，依法治国有机统一\n",
      "发展好适合我国国情的社会主义制度（人民代表大会制度根本政治制度）\n",
      "国家长治久安\n",
      "政治体制改革是社会主义制度的自我完善\n",
      "3推进社会主义文化强国建设\n",
      "4构建社会主义和谐社会\n",
      "总要求：民主法治 公平正义 诚信友爱 充满活力 安定有序 人与自然和谐相处 \n",
      "5推进生态文明建设\n",
      "建设以资源环境承载力为基础、以自然规律为准则、以可持续发展为目标的资源节约型，环境友好型社会\n",
      "良好的生态环境是人和社会持续发展的根本基础\n",
      "6全面提高党的建设科学化水平\n",
      "执政能力建设（执政后的一项根本建设）\n",
      "先进性和纯洁性建设\n",
      "坚持解放思想，改革创新，坚持党要管党，从严治党建设学习型创新型服务型马克思主义执政党\n",
      "\n",
      "分块216:\n",
      "历史地位\n",
      "1中国特色社会主义理论体系的接续发展\n",
      "2全面建设小康社会，加快推进社会主义现代化的根本指针\n",
      "\n",
      "分块217:\n",
      "第八章\n",
      "习近平新时代中国特色社会主义思想\n",
      "创造的社会历史条件\n",
      "1中国特色社会主义进入新时代\n",
      "2世界正经历百年未有之大变局\n",
      "百年未有之大变局：当前国际格局和国际体系正在发生深刻调整，全球治理体系正在发生深刻变革，国际力量对比正在发生近代以来最具革命性的变化，世界范围呈现出影响人类历史进程和趋向的重大态势\n",
      "a经济版图 世界经济重心自西向东位移\n",
      "b新一轮科技革命和产业改革 改变人类社会生产生活方式和思维方式，推动生产关系变革\n",
      "c国际力量对比发生变化，发展中国家崛起\n",
      "d全球治理体系的不适应 发展中国家在国际事务中的代表性和发言权不断扩大，全球治理更公平合理\n",
      "e人类命运共同体\n",
      "3中华民族伟大复兴正处于关键时期\n",
      "中国共产党是实现中华民族伟大复兴的根本保证\n",
      "P196到P201\n",
      "坚持和发展中国特色社会主义，是习近平新时代中国特色社会主义思想的核心要义\n",
      "\n",
      "分块218:\n",
      "八个明确\n",
      "1.坚持和发展中国特色社会主义，总任务是实现社会主义现代化和中华民族伟大复兴，在全面建成小康社会的基础上，分两步走在本世纪中叶建成富强民族文明和谐美丽的社会主义现代化强国\n",
      "2.新时代我国社会主要矛盾是人民日益增长的美好生活需要和不平衡不充分的发展之间的矛盾，必须坚持以人民为中心的发展思想，不断促进人的全面发展、全体人民共同富裕\n",
      "3.中国特色社会主义事业总体布局是五位一体，战略布局是四个全面（全面建成小康社会，全面深化改革，全面依法治国，全面从严治党），强调坚定道路自信，理论自信，制度自信，文化自信\n",
      "4.全面深化改革总目标是完善和发展中国特色社会主义制度、推进国家治理体系和治理能力现代化\n",
      "5.全面推进依法治国总目标是建设中国特色社会主义法治体系，建设社会主义法治国家\n",
      "6.强军目标：建设一支听党指挥、能打胜仗、作风优良的人民军队，把人民军队建成为世界一流军队\n",
      "7.中国特色大国外交要推动构建新型关系，推动构建人类命运共同体\n",
      "8.明确中国特色社会主义最本质的特征是中国共产党领导，中国特色社会主义制度的最大优势是中国共产党领导\n",
      "\n",
      "分块219:\n",
      "十四个坚持\n",
      "1.坚持党对一切工作的领导\n",
      "2.坚持以人民为中心\n",
      "3.坚持全面深化改革\n",
      "4.坚持新发展理念\n",
      "5.坚持人民当家作主\n",
      "6.坚持全面依法治国\n",
      "7.坚持社会主义核心价值体系\n",
      "8.坚持在发展中保障和改善民生\n",
      "9.坚持人与自然和谐共生\n",
      "10.坚持总体国家安全观\n",
      "11.坚持党对人民军队的绝对领导\n",
      "12.坚持一国两制和推进祖国统一\n",
      "13.坚持推动构建人类命运共同体\n",
      "14.坚持全面从严治党\n",
      "\n",
      "分块220:\n",
      "习近平中国特色社会主义思想的理论特质\n",
      "1.秉持人民至上\n",
      "2.彰显历史自觉\n",
      "3.坚持实事求是\n",
      "4.突出问题导向\n",
      "5.强化战略思维\n",
      "6.发扬斗争精神\n",
      "\n",
      "分块221:\n",
      "历史地位：\n",
      "1当代中国马克思主义、21世纪马克思主义\n",
      "2实践中华民族伟大复兴的行动指南\n",
      "3建设美好世界的中国智慧和中国方案\n",
      "\n",
      "分块222:\n",
      "第九章\n",
      "坚持和发展中国特色社会主义的总任务，是实现社会主义现代化和中华民族的伟大复兴，在全面建成小康社会的基础上，在本世纪中叶建成富强民主文明和谐美丽的社会主义现代化强国。\n",
      "\n",
      "分块223:\n",
      "中国梦的科学内涵\n",
      "1中国梦坚持国家富强，民族振兴，人民幸福的内在统一\n",
      "2中国梦归根到底是人民的梦\n",
      "3中国梦是国家的梦，民族的梦，也是每一个中国人的梦\n",
      "4中国梦与世界各国人民的美好梦想相通\n",
      "\n",
      "分块224:\n",
      "中国梦的实现\n",
      "1实现中国梦必须走中国道路，中国特色社会主义道路\n",
      "2实现中国梦必须弘扬中国精神，这就是以爱国主义为核心的民族精神和以改革创新为核心的时代精神\n",
      "3实现中国梦必须凝聚中国力量，全国各族人民大团结的力量\n",
      "4实现中华民族伟大复兴是海内外中华儿女的共同梦想\n",
      "5实干才能梦想成真\n",
      "6实现中国梦任重道远，需要锲而不舍，驰而不息的艰苦努力\n",
      "7实现中国梦需要和平的国际环境\n",
      "\n",
      "分块225:\n",
      "实现社会主义现代化强国两步走的战略目标要求\n",
      "1从2020到2035基本实现社会主义现代化的目标要求\n",
      "2从2035到本世纪中叶建成社会主义现代化强国的目标要求\n",
      "（高度的物质，政治，精神，社会，生态文明）\n",
      "\n",
      "分块226:\n",
      "建设社会主义现代化国家的战略导向\n",
      "1立足新发展阶段（理论依据、历史依据、现实依据）\n",
      "2贯彻新发展理念（创新协调绿色开放共享）\n",
      "3构建新发展格局 国内大循环为主体，国内国际双循环相互促进的新发展格局\n",
      "\n",
      "分块227:\n",
      "第十章\n",
      "五位一体总布局\n",
      "P223到P230\n",
      "实现经济高质量发展\n",
      "一．坚持习近平经济思想\n",
      "1.坚持加强党对经济工作的集中统一领导\n",
      "2.坚持以人民为中心的发展思想\n",
      "3.坚持适应把握引领经济发展新常态\n",
      "4.坚持使市场在资源配置中起决定作用，更好发挥政府作用，推动有效市场和有为政府更好结合\n",
      "5.坚持适应我国经济发展主要矛盾变化完善宏观调控\n",
      "6.坚持问题导向部署经济发展新战略\n",
      "7.坚持正确工作策略和方法\n",
      "二．深化供给侧结构性改革\n",
      "1.推动增长动能转换，加快实施创新驱动发展战略\n",
      "2.深化要素市场化配置改革，实现由以价取胜向以质取胜的转变\n",
      "3.加大人力资源培育力度，更加注重调动和保护人的积极性\n",
      "4.激发各类市场主体活力，加快建设世界一流企业\n",
      "5.持续推进三降一补，优化市场供求结构（去产能去库存去扛杆降成本补短板）\n",
      "三．建设现代化经济体系\n",
      "1.建设创新引领、协同发展的产业体系\n",
      "2.建设统一开放、竞争有序的市场体系\n",
      "3.建设体现效率、促进公平的收入分配体系\n",
      "4.建设彰显优势、协调联动的城乡区域发展体系\n",
      "5.建设资源节约、环境友好的绿色发展体系\n",
      "6.建设多元平衡、安全高效的全面开放体系\n",
      "7.建设充分发挥市场作用、更好发挥政府作用的经济体系\n",
      "\n",
      "分块228:\n",
      "发展社会主义民主政治\n",
      "一． 坚持走中国特色社会主义政治发展道路\n",
      "1走中国特色社会主义政治发展道路必须坚持党的领导、人民当家作主、依法治国有机统一\n",
      "2坚持正确政治方向\n",
      "3积极稳妥推进政治体制改革\n",
      "二． 健全人民当家作主制度体系\n",
      "人民代表大会制度是我国根本政治制度\n",
      "中国共产党领导的多党合作和政治协商制度\n",
      "民族区域自治制度\n",
      "基层群众自治制度\n",
      "三． 巩固爱国统一战线\n",
      "1坚持长期共存，互相监督，肝胆相照，荣辱与共，支持民主党派按照中国特色社会主义参政党要求更好履行职能\n",
      "2深化民族团结进步教育，牢筑中华民族共同体意识\n",
      "3全面贯彻党的宗教工作基本方针，坚持我国宗教的中国化方向，积极引导宗教与社会主义社会相适应\n",
      "4牢牢把握大团结大联合的主题，做好统战工作\n",
      "\n",
      "分块229:\n",
      "建设社会主义文化强国\n",
      "一． 坚持马克思主义在意识形态领域指导地位的根本政治制度\n",
      "1把马克思主义指导地位贯穿到文化建设各方面\n",
      "2实施马克思主义理论研究和建设工程\n",
      "3加强和改进学校思想政治教育\n",
      "4落实意识形态工作责任制\n",
      "二． 培育和践行社会主义核心价值观\n",
      "1要把社会主义核心价值观融入社会生活各个方面\n",
      "2坚持全民行动，干部带头，从家庭做起，从娃娃做起\n",
      "3立足中华优秀传统文化和革命文化\n",
      "4发扬中国人民在长期奋斗中培育继承发展起来的伟大民族精神，这就是伟大创造精神，伟大奋斗精神，伟大团结精神和伟大梦想精神\n",
      "三． 坚持文化自信，繁荣发展社会主义文化\n",
      "1培养高度文化自信\n",
      "2提升公共文化服务水平\n",
      "3健全现代化产业体系\n",
      "4提高国家文化软实力\n",
      "\n",
      "分块230:\n",
      "加强以民生为重点的社会建设\n",
      "一． 在发展中保障和改善民生\n",
      "经济发展是改善民生的前提\n",
      "改善民生要坚持尽力而为与量力而行的统一\n",
      "多谋民生之利，多解民生之忧，在发展中补齐短板，促进社会公平正义，在幼有所育，学有所教，劳有所得，病有所医，老有所养，住有所居，若有所扶等方面不断取得新进展\n",
      "1建设高质量教育体系\n",
      "2实施就业优先战略\n",
      "3优化收入分配结构\n",
      "4健全多层次社会保障体系\n",
      "5全面推进健康中国建设\n",
      "二． 加强和创新社会管理\n",
      "1创新社会治理体制\n",
      "2完善正确处理新形势下人民内部矛盾有效机制\n",
      "3完善社会治安防控体系\n",
      "4加强社会心理服务体系建设\n",
      "5构建基层社会治理新格局\n",
      "\n",
      "分块231:\n",
      "建设美丽中国\n",
      "一． 坚持习近平生态文明思想\n",
      "1坚持人与自然和谐共生\n",
      "2绿水青山就是金山银山\n",
      "3良好生态环境是最普惠的人民福祉\n",
      "4统筹山水林田湖草沙系统治理\n",
      "5用最严格制度最严密法治保护生态环境\n",
      "6共谋全球生态文明建设\n",
      "二． 推动绿色发展，促进人与自然和谐共生\n",
      "1加快构建生态文明体系\n",
      "2全面推动绿色发展\n",
      "3深入推进生态文明体制改革\n",
      "4有效防范生态环境风险\n",
      "5提高环境治理水平\n",
      "\n",
      "分块232:\n",
      "第十一章 \n",
      "四个全面战略布局\n",
      "全面建设社会主义现代化国家\n",
      "一． 从全面建成小康社会到全面建设社会主义现代化国家\n",
      "二． 中国社会主义现代化国家的基本特征\n",
      "1中国的现代化是人口规模巨大的现代化\n",
      "2全体人民共同富裕的现代化\n",
      "3物质文明和精神文明相协调的现代化\n",
      "4人与自然和谐共生的现代化\n",
      "5走和平发展道路的现代化\n",
      "全面深化改革\n",
      "一．坚定不移推进全面深化改革\n",
      "二．坚持全面深化改革的方向立场原则\n",
      "1全面深化改革必须坚持和完善中国特色社会主义制度和国家治理体系\n",
      "2站稳人民立场，坚持以人民为中心的改革价值取向\n",
      "3坚持党对改革的集中统一领导\n",
      "三． 坚持和完善中国特色社会主义制度，推进国家治理现代化\n",
      "全面依法治国\n",
      "一． 坚持习近平法治思想\n",
      "1坚持党对全面依法治国的领导\n",
      "2坚持以人民为中心\n",
      "3坚持中国特色社会主义法治道路\n",
      "4坚持依宪治国，依宪执政\n",
      "5坚持在法治轨道上推进国家治理体系和治理能力现代化\n",
      "6坚持建设中国特色社会主义法治体系\n",
      "7坚持依法治国，依法执政，依法行政共同推进，法治国家，法治政府，法治社会一体建设\n",
      "8坚持全面推进科学立法，严格执法 ，公正司法，全民守法\n",
      "9坚持统筹推进国内法治和涉外法治\n",
      "10坚持建设德才兼备的高素质法治工作队伍\n",
      "11坚持抓住领导干部这个关键少数\n",
      "二． 走中国特色社会主义法治道路\n",
      "是由我国社会主义国家性质决定的\n",
      "是立足我国基本国情的必然选择\n",
      "三． 深化依法治国实践\n",
      "1紧紧围绕全面推进依法治国总目标，加快建设中国特色社会主义法治体系\n",
      "2准确把握全面推进依法治国工作布局，坚持依法治国依法执政依法行政共同推进，坚持法治国家法治政府法治社会一体建设\n",
      "3准确把握全面推进依法治国重点任务，着力推进科学立法，严格执法，公正司法，全民守法\n",
      "全面从严治党\n",
      "一． 全面从严治党是党伟大的自我革命\n",
      "二． 新时代党的建设总要求\n",
      "1原则是坚持和加强党的全面领导\n",
      "2方针是坚持党要管党，全面从严治党\n",
      "3主线是加强党的长期执政能力建设、先进性和纯洁性建设\n",
      "4布局是一党的政治建设为纲领，全面推进党的政治建设、思想建设、组织建设、作风建设、纪律建设，把制度建设贯穿其中，深入推进反腐败斗争\n",
      "5目标是建设始终走在时代前列、人民衷心拥护、勇于自我革命、经得起各种风浪考验、朝气蓬勃的马克思主义执政党\n",
      "三． 把全面从严治党引向深入\n",
      "1把党的政治建设摆在首位\n",
      "2加强党的思想建设\n",
      "3党的组织建设\n",
      "4党的作风建设\n",
      "5加强党的纪律建设\n",
      "6将制度建设贯穿党的各项建设中\n",
      "7巩固反腐败斗争压倒性胜利\n",
      "\n",
      "分块233:\n",
      "第十二章\n",
      "实现中华民族伟大复兴的重要保障\n",
      "坚持总体国家安全观\n",
      "国家安全是安邦定国的重要基石\n",
      "1坚持总体国家安全观，适应了进行具有许多新的历史特点的伟大斗争的新要求\n",
      "2回应了人民对国家安全的新期待\n",
      "3顺应了世界发展变化的新趋势\n",
      "\n",
      "分块234:\n",
      "P281到P285\n",
      "坚持走中国特色国家安全道路\n",
      "总体国家安全观：以人民安全为宗旨，以政治安全为根本，以经济安全为基础，以军事、文化、社会安全为保障，以促进国际安全为依托，维护各领域国家安全，构建国家安全体系，走中国特色国家安全道路。\n",
      "1.坚持统筹发展和安全两件大事\n",
      "2.坚持人民安全（宗旨）、政治安全（根本）、国家利益至上（准则）有机统一\n",
      "3.坚持维护和塑造国家安全\n",
      "4.坚持科学统筹的根本方法\n",
      "坚持党对国家安全工作的绝对领导，是做好国家安全工作的根本原则，是维护国家安全和社会安定的根本保证。\n",
      "\n",
      "分块235:\n",
      "习近平强军思想\n",
      "1.明确强国必须强军（战略支撑）\n",
      "2.强军目标是建设一支听党指挥、能打胜仗、作风优良的人民军队\n",
      "3.党对军队的绝对领导是人民军队建军之本强军之魂\n",
      "4.聚焦能打仗、打胜仗，创新发展军事战略指导\n",
      "5.作风优良（鲜明特色 政治优势）\n",
      "6.政治治军、改革强军、科技强军、人才强军、依法治军\n",
      "7.改革是强军的必由之路\n",
      "8.创新是引领发展的第一动力\n",
      "9.构建中国特色军事法治体系\n",
      "10.军民融合\n",
      "\n",
      "分块236:\n",
      "党在新时代强军目标\n",
      "能打胜仗是核心\n",
      "作风优良是保证\n",
      "\n",
      "分块237:\n",
      "全面贯彻一国两制方针\n",
      "1必须始终准确把握一国和两制的关系\n",
      "2落实中央对特别行政区全面管辖权，维护国家主权、安全、发展利益\n",
      "3聚焦发展这一第一要务，推动港澳融入国家发展大局\n",
      "4坚持爱国者治港治澳原则\n",
      "\n",
      "分块238:\n",
      "第十三章 \n",
      "中国特色大国外交\n",
      "坚持习近平外交思想\n",
      "习近平外交思想的核心要义\n",
      "1坚持以维护党中央权威为统领加强对对外工作的集中统一领导\n",
      "2坚持一时新中华民族伟大复兴为使命推进中国特色大国外交\n",
      "3坚持以维护世界和平、促进共同发展为宗旨推动构建人类命运共同体\n",
      "4坚持以中国特色社会主义为根本增强战略自信\n",
      "5坚持以共商共建共享为原则推动一带一路建设\n",
      "6坚持以相互尊重合作共赢为基础走和平发展道路\n",
      "7坚持以深化外交布局为依托打造全球伙伴关系\n",
      "8坚持以公平正义为理念引领全球治理体系改革\n",
      "9坚持以国家核心利益为底线维护国家主权安全发展利益\n",
      "10坚持以外交工作优良传统和时代特征相结合为方向塑造中国外交独特风范\n",
      "\n",
      "分块239:\n",
      "推动建设新型国际关系\n",
      "维护世界和平，促进共同发展是中国外交政策的宗旨\n",
      "1推动建设新型国际关系，要坚决维护国家核心利益\n",
      "2在和平共处五项基本原则基础上发展同世界各国的友好合作\n",
      "3积极参与全球治理体系改革和建设\n",
      "\n",
      "分块240:\n",
      "人类命运共同体的内涵\n",
      "1政治上要相互尊重平等协商，坚决摒弃冷战思维和强权政治，走对话而不对抗，结伴而不结盟的国与国交往新路\n",
      "2安全上坚持以对话解决争端以协商化解分歧，统筹应对传统和非传统安全威胁，反对一切形式的恐怖主义\n",
      "3经济上要同舟共济，促进贸易和投资自由化便利化，推动经济全球化朝着更加开放、包容、普惠、平衡、共赢的方向发展\n",
      "4文化上要尊重世界文明多样性，促进文明交流，加强文明互鉴，实现文明共存\n",
      "5生态上，要坚持环境好，合作应对气候变化，保护好人类赖以生存的共同家园\n",
      "\n",
      "分块241:\n",
      "共建一带一路倡议的核心内涵：促进基础设施建设和互联互通，加强经济政策协调和发展战略对接，促进协同联动发展，实现共同繁荣\n",
      "\n",
      "分块242:\n",
      "第十四章\n",
      "坚持和加强党的领导\n",
      "P313到P318\n",
      "中国共产党是中国工人阶级的先锋队，同时是中国人民和中华民族的先锋队，是中国特色社会主义事业的领导核心\n",
      "党的领导是中国特色社会主义最本质的特征\n",
      "1.党的领导直接关系着中国特色社会主义的性质、方向和命运\n",
      "2.党的领导是实现社会主义现代化和民族复兴的最根本保证\n",
      "党的领导是中国特色社会主义制度的最大优势\n",
      "1.中国特色社会主义制度是党领导人民创建的\n",
      "2.党的领导是发挥中国特色社会主义制度优势的根本保障\n",
      "3.党的自身优势是中国特色社会主义制度优势的主要来源\n",
      "\n",
      "分块243:\n",
      "党是最高政治领导力量\n",
      "1党是政治方向的引领者\n",
      "2党是政治体系的统领者\n",
      "3党是重大决策的决断者\n",
      "\n",
      "分块244:\n",
      "确保党纵览全局协调各方\n",
      "1增强政治意识、大局意识、核心意识、看齐意识，自觉维护党中央权威和集中统一领导，自觉在思想上政治上行动上同党中央保持高度一致\n",
      "2坚持和完善党的领导的体制机制\n",
      "3坚持党的民主集中制原则\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# 文档分块与预处理\n",
    "from langchain.text_splitter import RecursiveCharacterTextSplitter, CharacterTextSplitter  \n",
    "from langchain.schema import Document\n",
    "from typing import List\n",
    "import re\n",
    "    \n",
    "def split_documents_by_paragraph(documents: List[str], chunk_size: int = 500) -> List[str]:  \n",
    "    \"\"\"  \n",
    "    将文档列表按段完整分块，每段按照 `\\n\\n` 优先切割，  \n",
    "    遇到单独的段落超出 chunk_size 时将其划归下一个 chunk。  \n",
    "    \"\"\"  \n",
    "    chunks = []  \n",
    "\n",
    "    for document in documents:  \n",
    "        # 遍历每一个文档\n",
    "        document_cleaned = re.sub(r'[ \\t]+', ' ', document.strip()) # 用单个空格代替空格和制表符\n",
    "        paragraphs = document_cleaned.split(\"\\n\\n\")  # 按照空行进行段落划分\n",
    "\n",
    "        # 暂时没有处理一个段落一个chunk装不下的问题（考虑如果装不下需要有合理的overlap部分）\n",
    "        for paragraph in paragraphs:  \n",
    "            if paragraph.strip():  \n",
    "                chunks.append(paragraph.strip())  \n",
    "\n",
    "    return chunks \n",
    "   \n",
    "# 测试该函数\n",
    "chunks = split_documents_by_paragraph(documents, chunk_size=500)\n",
    "print(len(chunks))\n",
    "# for idx,chunk in enumerate(chunks):\n",
    "#     print(f\"分块{idx+1}:\\n{chunk}\\n\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-04T02:24:19.094709Z",
     "iopub.status.busy": "2025-01-04T02:24:19.094312Z",
     "iopub.status.idle": "2025-01-04T02:24:37.159597Z",
     "shell.execute_reply": "2025-01-04T02:24:37.158751Z",
     "shell.execute_reply.started": "2025-01-04T02:24:19.094687Z"
    },
    "trusted": true
   },
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "bd2e3d90a40141ebac24ce53ebf3a15e",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "modules.json:   0%|          | 0.00/349 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "877ce2e455bf4fab87dff83f44ce6ed5",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "config_sentence_transformers.json:   0%|          | 0.00/116 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "69f692d292cc461ba1e04f02ad392b51",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "README.md:   0%|          | 0.00/10.7k [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "3abde864e2304931933895632478ba0b",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "sentence_bert_config.json:   0%|          | 0.00/53.0 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "fd62858a084b4a9f9ca20a2c74f820f5",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "config.json:   0%|          | 0.00/612 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "c4b167485c5f4e128070201d677b5236",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "model.safetensors:   0%|          | 0.00/90.9M [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "b0bcf5c6a3f84292b49d68e758ab5925",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "tokenizer_config.json:   0%|          | 0.00/350 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "8a8d9688509d42a89b5a007122050a2d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "vocab.txt:   0%|          | 0.00/232k [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "1a95537d909940cfa8256df06c1bbab8",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "tokenizer.json:   0%|          | 0.00/466k [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "0c1b29034d5a4152b1e2046bf996e1a6",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "special_tokens_map.json:   0%|          | 0.00/112 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/usr/local/lib/python3.10/dist-packages/transformers/tokenization_utils_base.py:1601: FutureWarning: `clean_up_tokenization_spaces` was not set. It will be set to `True` by default. This behavior will be depracted in transformers v4.45, and will be then set to `False` by default. For more details check this issue: https://github.com/huggingface/transformers/issues/31884\n",
      "  warnings.warn(\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "0d90e0f3b9d94857a25d33c55a07b2c9",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "1_Pooling/config.json:   0%|          | 0.00/190 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "from sentence_transformers import SentenceTransformer  \n",
    "\n",
    "# 加载句向量模型（可替换为其他 embedding 模型）  \n",
    "embedding_model = SentenceTransformer('all-MiniLM-L6-v2') \n",
    "\n",
    "# 考虑使用自己的embedding模型or?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 文本向量化"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "jupyter": {
     "source_hidden": true
    },
    "trusted": true
   },
   "outputs": [],
   "source": [
    "# 实验函数：检查词向量的相似性\n",
    "from transformers import AutoTokenizer, AutoModel\n",
    "import torch\n",
    "from sklearn.metrics.pairwise import cosine_similarity\n",
    "\n",
    "# 加载预训练模型\n",
    "model_name = \"bert-base-uncased\"\n",
    "tokenizer = AutoTokenizer.from_pretrained(model_name)\n",
    "model = AutoModel.from_pretrained(model_name)\n",
    "\n",
    "# 获取词向量\n",
    "def get_word_embedding(word):\n",
    "    inputs = tokenizer(word, return_tensors=\"pt\")\n",
    "    with torch.no_grad():\n",
    "        outputs = model(**inputs)\n",
    "    # 使用最后隐藏层的第一个标记作为词向量\n",
    "    return outputs.last_hidden_state[0][1].numpy()\n",
    "\n",
    "# 比较相似性\n",
    "word1 = \"king\"\n",
    "word2 = \"queen\"\n",
    "embedding1 = get_word_embedding(word1)\n",
    "embedding2 = get_word_embedding(word2)\n",
    "\n",
    "similarity = cosine_similarity([embedding1], [embedding2])\n",
    "print(f\"Cosine similarity between '{word1}' and '{word2}': {similarity[0][0]:.4f}\")\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 使用BM2,包含向量化+检索结构"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-04T02:42:42.443648Z",
     "iopub.status.busy": "2025-01-04T02:42:42.443341Z",
     "iopub.status.idle": "2025-01-04T02:42:42.453031Z",
     "shell.execute_reply": "2025-01-04T02:42:42.452114Z",
     "shell.execute_reply.started": "2025-01-04T02:42:42.443624Z"
    },
    "trusted": true
   },
   "outputs": [],
   "source": [
    "# 根据bm25检索文本内部自动计算\n",
    "import numpy as np\n",
    "from collections import Counter\n",
    "import jieba\n",
    "from rank_bm25 import BM25Okapi\n",
    "\n",
    "stopwords = set([\"的\",\"是\",\"了\",\"请\",\"简述\",\"论证\",\"回答\",\"解释\",\"说明\",\"一下\",\"什么\"])\n",
    "\n",
    "def create_bm25(chunks, stopwords=set([\"的\",\"是\",\"了\",\"请\",\"简述\",\"论证\",\"回答\",\"解释\",\"说明\",\"一下\",\"什么\"])\n",
    "):\n",
    "    \"\"\"  \n",
    "    为文本块创建 BM25 索引和嵌入向量。  \n",
    "    chunks: 文本块列表。  \n",
    "    return: BM25 索引。  \n",
    "    \"\"\" \n",
    "    # 分词函数\n",
    "    def preprocess_text(text):\n",
    "        # 使用 jieba 分词并移除停用词\n",
    "        return [word for word in jieba.cut(text) if word not in stopwords]\n",
    "\n",
    "    tokenized_chunks = [preprocess_text(chunk) for chunk in chunks]  \n",
    "    bm25 = BM25Okapi(tokenized_chunks)  # k1=1.5, b=0.75  # 接受的文档（集合）是分词后的词列表[[],[],[]]\n",
    "    \n",
    "    # 对文本向量化储存并且一起返回\n",
    "    embedding_model = SentenceTransformer(\"all-MiniLM-L6-v2\")\n",
    "    embeddings = embedding_model.encode(chunks, convert_to_numpy=True)\n",
    "\n",
    "    return bm25, embedding_model, embeddings\n",
    "\n",
    "def bm25_search(query, bm25, stopwords=set([\"的\",\"是\",\"了\",\"请\",\"简述\",\"论证\",\"回答\",\"解释\",\"说明\",\"一下\",\"什么\"])):\n",
    "    \"\"\"  \n",
    "    使用 BM25 索引查找与用户查询相关的 top_k 文本块。  \n",
    "    :param query: 用户查询，字符串。  \n",
    "    :param bm25: 已创建的 BM25 索引。  \n",
    "    :param chunks: 文本块集合。  \n",
    "    :param top_k: 返回前 K 个相关文本块。  \n",
    "    :return: 检索到的文本块及其分数。  \n",
    "    \"\"\"\n",
    "    query_tokens = [word for word in jieba.cut(query) if word not in stopwords]\n",
    "    scores = bm25.get_scores(query_tokens)\n",
    "    # ranked_indices = sorted(range(len(scores)), key=lambda i:scores[i],reverse=True)[:top_k]\n",
    "    # return [(chunks[i],scores[i]) for i in ranked_indices]\n",
    "    return scores\n",
    "\n",
    "def similarity_search(query, embedding_model, embeddings):  \n",
    "    \"\"\"  \n",
    "    使用嵌入模型基于语义相似性查找相关文本块。  \n",
    "    :param query: 用户查询，字符串。  \n",
    "    :param embedding_model: 已加载的嵌入模型。  \n",
    "    :param embeddings: 文本块嵌入向量数组。  \n",
    "    :param chunks: 文本块集合。  \n",
    "    :param top_k: 返回前 K 个相关文本块。  \n",
    "    :return: 检索到的文本块及其相似性分数。  \n",
    "    \"\"\"  \n",
    "    def cosine_similarity(vec1, vec2):\n",
    "        dot_product = np.dot(vec1, vec2)\n",
    "        norm_vec1 = np.linalg.norm(vec1)\n",
    "        norm_vec2 = np.linalg.norm(vec2)\n",
    "        return dot_product / (norm_vec1 * norm_vec2)\n",
    "    query_embedding = embedding_model.encode(query, convert_to_numpy=True)  \n",
    "    # 计算余弦相似度  \n",
    "    similarity_scores = np.array([cosine_similarity(prompt, query_embedding) for prompt in embeddings]) \n",
    "    # ranked_indices = np.argsort(similarity_scores)[::-1][:top_k]  \n",
    "    # return [(chunks[i], similarity_scores[i]) for i in ranked_indices]\n",
    "    return similarity_scores\n",
    "\n",
    "def rank_fusion(bm25_score, similarity_score, bm25_weight=0.5, embedding_weight=0.5, top_k=5):  \n",
    "    \"\"\"  \n",
    "    使用排名融合结合 BM25 和语义嵌入的结果。  \n",
    "    :param bm25_score: BM25 检索结果 [score]。  \n",
    "    :param similarity_score: 嵌入检索结果 [score]。  \n",
    "    :param bm25_weight: BM25 分数的权重。  \n",
    "    :param embedding_weight: 嵌入分数的权重。  \n",
    "    :param top_k: 返回前 K 个候选文本块。  \n",
    "    :return: 融合后的文本块及评分。  \n",
    "    \"\"\"  \n",
    "    # 加权求和 BM25 分数和相似度分数  \n",
    "    scores = bm25_weight*bm25_score + embedding_weight*similarity_score\n",
    "    # ranked_indices = np.argsort(scores)[::-1][:top_k]  \n",
    "\n",
    "    # 按照分数排序并返回 top_k 结果 \n",
    "    # ranked_chunks = [(chunks[i], scores[i]) for i in ranked_indices]\n",
    "    # return ranked_chunks \n",
    "    return scores\n",
    "\n",
    "# 测试\n",
    "# user_input = \"新民主主义革命的三大法宝\"\n",
    "# user_input = \"你好\" \n",
    "# user_input = \"领导人的精髓\"\n",
    "# user_input = \"一国两制的基本内容\"\n",
    "# bm25, embedding_model, embeddings = create_bm25(chunks)   # 实际使用时作为chat函数输入\n",
    "# bm25_scores = bm25_search(user_input, bm25)\n",
    "# embedding_scores = similarity_search(user_input, embedding_model, embeddings)\n",
    "# fused_scores = rank_fusion(bm25_scores, embedding_scores)\n",
    "# top_k = 5\n",
    "# ranked_indices = np.argsort(fused_scores)[::-1][:top_k]  \n",
    "# retrieve_chunks = [(chunks[i], fused_scores[i]) for i in ranked_indices]\n",
    "\n",
    "# #增加一个:过滤分数小于1的结果\n",
    "# filtered_chunks = [sub_chunk for sub_chunk in retrieve_chunks if sub_chunk[1] > 1]  \n",
    "\n",
    "# for sub_chunk in filtered_chunks:  \n",
    "#     print(f\"Sub-chunk : \\n{sub_chunk[0]}\\n(Score: {sub_chunk[1]:.2f})\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 检索函数包装"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-04T02:46:42.723578Z",
     "iopub.status.busy": "2025-01-04T02:46:42.723250Z",
     "iopub.status.idle": "2025-01-04T02:46:42.728807Z",
     "shell.execute_reply": "2025-01-04T02:46:42.728061Z",
     "shell.execute_reply.started": "2025-01-04T02:46:42.723554Z"
    },
    "trusted": true
   },
   "outputs": [],
   "source": [
    "def retrieve_text_by_bm25_and_similarity(query_message, bm25, embedding_model, embeddings, chunks,top_k = 5):\n",
    "    '''\n",
    "    通过BM25和语义相似度检索文本\n",
    "    :param query_message: 用户查询字符串。\n",
    "    :param bm25: 已创建的BM25索引。\n",
    "    :param embedding_model: 已加载的嵌入模型。\n",
    "    :param embeddings: 文本块嵌入向量数组。\n",
    "    :param chunks: 文本块集合。\n",
    "    :param top_k: 返回前K个相关文本块。\n",
    "    :return: 检索到的文本块。\n",
    "    '''\n",
    "    bm25_scores = bm25_search(query_message, bm25)\n",
    "    embedding_scores = similarity_search(query_message, embedding_model, embeddings)\n",
    "    fused_scores = rank_fusion(bm25_scores, embedding_scores)\n",
    "    ranked_indices = np.argsort(fused_scores)[::-1][:top_k]  \n",
    "    \n",
    "    retrieve_texts = []\n",
    "    for i in ranked_indices:\n",
    "        retrieve_texts.append((chunks[i], fused_scores[i]))\n",
    "    filtered_chunks = [(text, score) for text, score in retrieve_texts if score > 1]  \n",
    "    return filtered_chunks"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 用户查询向量化以及知识库检索"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true,
    "execution": {
     "iopub.execute_input": "2025-01-02T12:18:37.506381Z",
     "iopub.status.busy": "2025-01-02T12:18:37.505991Z",
     "iopub.status.idle": "2025-01-02T12:18:38.551478Z",
     "shell.execute_reply": "2025-01-02T12:18:38.550821Z",
     "shell.execute_reply.started": "2025-01-02T12:18:37.506350Z"
    },
    "jupyter": {
     "outputs_hidden": true
    },
    "trusted": true
   },
   "outputs": [],
   "source": [
    "# 根据bm25检索文本\n",
    "import numpy as np\n",
    "from collections import Counter\n",
    "import jieba\n",
    "stopwords = set([\"的\",\"是\",\"了\",\"请\",\"简述\",\"论证\",\"回答\",\"解释\",\"说明\",\"一下\",\"什么\"])\n",
    "\n",
    "def bm25_search(query, bm25, chunks, top_k=3):\n",
    "    \"\"\"  \n",
    "    使用 BM25 索引查找与用户查询相关的 top_k 文本块。  \n",
    "    :param query: 用户查询，字符串。  \n",
    "    :param bm25: 已创建的 BM25 索引。  \n",
    "    :param chunks: 文本块集合。  \n",
    "    :param top_k: 返回前 K 个相关文本块。  \n",
    "    :return: 检索到的文本块及其分数。  \n",
    "    \"\"\"\n",
    "    query_tokens = list(query)\n",
    "    scores = bm25.get_scores(query_tokens)\n",
    "    ranked_indices = sorted(range(len(scores)), key=lambda i:scores[i],reverse=True)[:top_k]\n",
    "    return [(chunks[i],scores[i]) for i in ranked_indices]\n",
    "\n",
    "def embedding_search(query, embedding_model, embeddings, chunks, top_k=5):  \n",
    "    \"\"\"  \n",
    "    使用嵌入模型基于语义相似性查找相关文本块。  \n",
    "    :param query: 用户查询，字符串。  \n",
    "    :param embedding_model: 已加载的嵌入模型。  \n",
    "    :param embeddings: 文本块嵌入向量数组。  \n",
    "    :param chunks: 文本块集合。  \n",
    "    :param top_k: 返回前 K 个相关文本块。  \n",
    "    :return: 检索到的文本块及其相似性分数。  \n",
    "    \"\"\"  \n",
    "    query_embedding = embedding_model.encode(query, convert_to_numpy=True)  \n",
    "    similarity_scores = np.dot(embeddings, query_embedding)  # 计算余弦相似度  \n",
    "    ranked_indices = np.argsort(similarity_scores)[::-1][:top_k]  \n",
    "    return [(chunks[i], similarity_scores[i]) for i in ranked_indices]\n",
    "\n",
    "def rank_fusion(bm25_results, embedding_results, bm25_weight=0.5, embedding_weight=0.5, top_k=5):  \n",
    "    \"\"\"  \n",
    "    使用排名融合结合 BM25 和语义嵌入的结果。  \n",
    "    :param bm25_results: BM25 检索结果 [(chunk, score)]。  \n",
    "    :param embedding_results: 嵌入检索结果 [(chunk, score)]。  \n",
    "    :param bm25_weight: BM25 分数的权重。  \n",
    "    :param embedding_weight: 嵌入分数的权重。  \n",
    "    :param top_k: 返回前 K 个候选文本块。  \n",
    "    :return: 融合后的文本块及评分。  \n",
    "    \"\"\"  \n",
    "    scores = {}  \n",
    "    # 累加 BM25 分数和嵌入分数  \n",
    "    for chunk, score in bm25_results:  \n",
    "        scores[chunk] = scores.get(chunk, 0) + score * bm25_weight  \n",
    "    for chunk, score in embedding_results:  \n",
    "        scores[chunk] = scores.get(chunk, 0) + score * embedding_weight  \n",
    "\n",
    "    # 按照分数排序并返回 top_k 结果 \n",
    "    ranked_chunks = sorted(scores.items(), key=lambda x: x[1], reverse=True)[:top_k]  \n",
    "    return ranked_chunks \n",
    "\n",
    "def calculate_coverage_score(user_input, chunk):  \n",
    "    \"\"\"  \n",
    "    计算 chunk 覆盖 user_input 的比例（覆盖率）。  \n",
    "    :param user_input: 用户查询，字符串。  \n",
    "    :param chunk: 候选 chunk 文本内容，字符串。  \n",
    "    :return: 覆盖率得分（介于 0 和 1 之间）。  \n",
    "    \"\"\"  \n",
    "    # 分词（可以根据语言选择分词器）  \n",
    "    user_words = set(jieba.lcut(user_input))\n",
    "    chunk_words = set(jieba.lcut(chunk))\n",
    "\n",
    "    user_words = user_words - stopwords\n",
    "    chunk_words = chunk_words - stopwords\n",
    "\n",
    "    total_user_words = len(user_words)  \n",
    "    matched_words = len(user_words & chunk_words)\n",
    " \n",
    "    return matched_words / total_user_words\n",
    "\n",
    "'''\n",
    "def filter_chunks(user_input, chunks):\n",
    "    \"\"\"  \n",
    "    对筛选得到的chunks再次进行\"\\n\\n\"划分，挑选出每个chunk中覆盖user_input的上下文  \n",
    "    \"\"\"  \n",
    "    relevant_chunks = []\n",
    "    relevant_scores = []\n",
    "    for chunk in chunks:\n",
    "        # print(chunk)\n",
    "        # print(type(chunk))\n",
    "        sub_chunks = chunk[0].split(\"\\n\\n\")   \n",
    "        for sub_chunk in sub_chunks:  \n",
    "            score = calculate_coverage_score(user_input, sub_chunk)  \n",
    "            if score > 0: \n",
    "                relevant_chunks.append(sub_chunk)  \n",
    "                relevant_scores.append(score) \n",
    "    \n",
    "    sorted_chunks_scores = sorted(zip(relevant_chunks, relevant_scores), key=lambda x: x[1], reverse=True)  \n",
    "    top_chunks_scores = sorted_chunks_scores[:1]  \n",
    "\n",
    "    # 解压返回分数最高的三个段落和对应分数  \n",
    "    top_chunks, top_scores = zip(*top_chunks_scores) if top_chunks_scores else ([], [])  \n",
    "\n",
    "    return list(top_chunks), list(top_scores)\n",
    "'''\n",
    "\n",
    "# 测试\n",
    "user_input = \"新民主主义革命的三大法宝\"\n",
    "# user_input = \"领导人的精髓\"\n",
    "# user_input = \"一国两制的基本内容\"\n",
    "bm25_results = bm25_search(user_input, bm25, chunks)\n",
    "embedding_results = embedding_search(user_input, embedding_model, embeddings, chunks)\n",
    "fused_results = rank_fusion(bm25_results, embedding_results)\n",
    "retrieved_docs = fused_results[:3]\n",
    "# filtered_results = filter_chunks(user_input, retrieved_docs) # 该函数只返回了最好的一个\n",
    "\n",
    "test_result = retrieved_docs[0]\n",
    "sub_chunks = test_result[0]\n",
    "scores = test_result[1]\n",
    "for sub_chunk,score in zip(sub_chunks,scores):  \n",
    "    print(f\"Sub-chunk : \\n{sub_chunk}\\n(Score: {score:.2f})\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true,
    "execution": {
     "iopub.execute_input": "2025-01-02T12:19:07.298573Z",
     "iopub.status.busy": "2025-01-02T12:19:07.298241Z",
     "iopub.status.idle": "2025-01-02T12:19:07.396830Z",
     "shell.execute_reply": "2025-01-02T12:19:07.395971Z",
     "shell.execute_reply.started": "2025-01-02T12:19:07.298544Z"
    },
    "jupyter": {
     "outputs_hidden": true
    },
    "trusted": true
   },
   "outputs": [],
   "source": [
    "# 根据覆盖率检索文本\n",
    "from collections import Counter\n",
    "import jieba\n",
    "\n",
    "stopwords = set([\"的\",\"是\",\"了\",\"请\",\"简述\",\"论证\",\"回答\",\"解释\",\"说明\",\"一下\"])\n",
    "\n",
    "def calculate_coverage_score(user_input, chunk):  \n",
    "    \"\"\"  \n",
    "    计算 chunk 覆盖 user_input 的比例（覆盖率）。  \n",
    "    :param user_input: 用户查询，字符串。  \n",
    "    :param chunk: 候选 chunk 文本内容，字符串。  \n",
    "    :return: 覆盖率得分（介于 0 和 1 之间）。  \n",
    "    \"\"\"  \n",
    "    # 分词（可以根据语言选择分词器）  \n",
    "    # user_words = user_input.split()  \n",
    "    # chunk_words = chunk.split()  \n",
    "    user_words = set(jieba.lcut(user_input))\n",
    "    chunk_words = set(jieba.lcut(chunk))\n",
    "    # print(user_words)\n",
    "    # print(chunk_words)\n",
    "\n",
    "    # 移除停用词\n",
    "    user_words = user_words - stopwords\n",
    "    chunk_words = chunk_words - stopwords\n",
    "\n",
    "    # 统计用户查询词的数量  \n",
    "    total_user_words = len(user_words)  \n",
    "    \n",
    "    # 计算两个集合的交集  \n",
    "    # matched_words = len(set(user_words) & set(chunk_words)) \n",
    "    matched_words = len(user_words & chunk_words)\n",
    "\n",
    "    # 覆盖率 = 匹配词数 / 用户输入总词数  \n",
    "    return matched_words / total_user_words\n",
    "\n",
    "def retrieve_by_coverage(user_input, chunks, top_k=3):  \n",
    "    \"\"\"  \n",
    "    基于覆盖率检索与用户查询最相关的 top-k 文本块。  \n",
    "    user_input: 用户查询，字符串。  \n",
    "    chunks: 文本块集合，列表。  \n",
    "    top_k: 返回的相关文本块数量。  \n",
    "    return: 覆盖率最高的文本块列表。  \n",
    "    \"\"\"  \n",
    "    # 计算所有 chunk 的覆盖率得分  \n",
    "    scores = []  \n",
    "    for idx, chunk in enumerate(chunks):  \n",
    "        score = calculate_coverage_score(user_input, chunk)  \n",
    "        scores.append((chunk, score))  \n",
    "\n",
    "    # 按覆盖率得分从高到低排序  \n",
    "    scores = sorted(scores, key=lambda x: x[1], reverse=True)  \n",
    "\n",
    "    # 返回覆盖率最高的 top-k 文本块  \n",
    "    return [chunk for chunk, score in scores[:top_k]],[score for chunk, score in scores[:top_k]]\n",
    "\n",
    "def filter_chunks_by_partial_coverage(user_input, chunks):\n",
    "    \"\"\"  \n",
    "    对筛选得到的chunks再次进行\"\\n\\n\"划分，挑选出每个chunk中覆盖user_input的上下文  \n",
    "    \"\"\"  \n",
    "    relevant_chunks = []\n",
    "    relevant_scores = []\n",
    "    for chunk in chunks: \n",
    "        #print(type(chunk)) # str\n",
    "        sub_chunks = chunk.split(\"\\n\\n\")  \n",
    "        #print(sub_chunks)\n",
    "        # 每个子段按覆盖率计算是否保留  \n",
    "        for sub_chunk in sub_chunks:  \n",
    "            score = calculate_coverage_score(user_input, sub_chunk)  \n",
    "            if score > 0:  # 只保留覆盖了用户查询内容的部分  \n",
    "                relevant_chunks.append(sub_chunk)  \n",
    "                relevant_scores.append(score)\n",
    "    # return relevant_chunks, relevant_scores\n",
    "    sorted_chunks_scores = sorted(zip(relevant_chunks, relevant_scores), key=lambda x: x[1], reverse=True)  \n",
    "    top_chunks_scores = sorted_chunks_scores[:3]  \n",
    "\n",
    "    # 解压返回分数最高的三个段落和对应分数  \n",
    "    top_chunks, top_scores = zip(*top_chunks_scores) if top_chunks_scores else ([], [])  \n",
    "\n",
    "    return list(top_chunks), list(top_scores)\n",
    "\n",
    "\n",
    "user_query = \"新民主主义革命的三大法宝\"\n",
    "# user_query = \"请简述一下一国两制的基本内容\"\n",
    "# user_query = \"中国历代领导人的精髓是什么\"\n",
    "retrieved_chunks,scores = retrieve_by_coverage(user_query, chunks, top_k=3) \n",
    "filtered_chunks,filtered_scores = filter_chunks_by_partial_coverage(user_query, retrieved_chunks)\n",
    "\n",
    "# print(\"覆盖率最高的 chunk 整体内容：\")  \n",
    "# for idx, chunk in enumerate(retrieved_chunks):  \n",
    "#     print(f\"Chunk {idx + 1}: {chunk} (Score: {scores[idx]:.2f})\\n\")  \n",
    "\n",
    "print(\"\\n覆盖相关内容的最简上下文：\")  \n",
    "for idx, sub_chunk in enumerate(filtered_chunks):  \n",
    "    print(f\"Sub-chunk {idx + 1}: {sub_chunk}(Score: {filtered_scores[idx]:.2f})\\n\")  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-01T06:33:33.373120Z",
     "iopub.status.busy": "2025-01-01T06:33:33.372838Z",
     "iopub.status.idle": "2025-01-01T06:33:33.403563Z",
     "shell.execute_reply": "2025-01-01T06:33:33.402844Z",
     "shell.execute_reply.started": "2025-01-01T06:33:33.373099Z"
    },
    "jupyter": {
     "source_hidden": true
    },
    "trusted": true
   },
   "outputs": [],
   "source": [
    "# 根据向量距离检索文本\n",
    "\n",
    "# 构建向量检索FAISS索引，方便后续检索  \n",
    "import faiss  \n",
    "import numpy as np  \n",
    "\n",
    "def create_faiss_index(embeddings, chunks):  \n",
    "    \"\"\"  \n",
    "    embeddings: 文本块向量表示 (numpy array)。  \n",
    "    chunks: 文本快列表，用于后续根据索引ID查询原始内容。  \n",
    "    \"\"\"  \n",
    "    # L2 距离的索引 \n",
    "    # dim = embeddings.shape[1]  \n",
    "    # index = faiss.IndexFlatL2(dim)   \n",
    "\n",
    "    # 余弦相似度\n",
    "    embeddings = embeddings / np.linalg.norm(embeddings, axis=1, keepdims=True)\n",
    "    index = faiss.IndexFlatIP(embeddings.shape[1])\n",
    "    \n",
    "    index.add(embeddings)\n",
    "\n",
    "    # 可选：存储块内容 （id -> chunk）  \n",
    "    id_to_chunk = {i: chunk for i, chunk in enumerate(chunks)}  \n",
    "    return index, id_to_chunk\n",
    "\n",
    "# 用户查询向量检索\n",
    "def search_top_k(query, index, model, id_to_chunk, top_k=3):  \n",
    "    \"\"\"  \n",
    "    query: 用户输入的查询。  \n",
    "    index: FAISS 索引对象。  \n",
    "    model: 句向量生成模型。  \n",
    "    id_to_chunk: FAISS ID -> 文本块映射。  \n",
    "    top_k: 返回的相关文本块数量。  \n",
    "    return: 检索到的相关文本块列表。  \n",
    "    \"\"\"  \n",
    "    query_embedding = model.encode([query], convert_to_numpy=True)  # 查询向量化  \n",
    "    distances, indices = index.search(query_embedding, top_k)       # FAISS 检索 \n",
    "    for distance,idx in zip(distances, indices):\n",
    "        print(distance,idx)\n",
    "    \n",
    "    return [id_to_chunk[i] for i in indices[0] if i in id_to_chunk]\n",
    "\n",
    "# 测试该函数\n",
    "# faiss_index, id_to_chunk = create_faiss_index(embeddings, chunks)\n",
    "# print(faiss_index)\n",
    "# user_query = \"新民主主义革命的三大法宝\"  \n",
    "# retrieved_chunks = search_top_k(user_query, faiss_index, embedding_model, id_to_chunk, top_k=3) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 和我们的聊天机器人进行整合"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-01T07:34:45.234266Z",
     "iopub.status.busy": "2025-01-01T07:34:45.233955Z",
     "iopub.status.idle": "2025-01-01T07:35:44.905329Z",
     "shell.execute_reply": "2025-01-01T07:35:44.904304Z",
     "shell.execute_reply.started": "2025-01-01T07:34:45.234241Z"
    },
    "jupyter": {
     "source_hidden": true
    },
    "trusted": true
   },
   "outputs": [],
   "source": [
    "from transformers import AutoModelForCausalLM, AutoTokenizer\n",
    "from peft import PeftModel\n",
    "import torch\n",
    "\n",
    "model_path = \"/kaggle/input/qwen2.5/transformers/3b/1\"\n",
    "lora_dir = \"/kaggle/input/lora-3b/transformers/default/1\"\n",
    "\n",
    "device = torch.device(\"cuda:0\" if torch.cuda.is_available() else \"cpu\")\n",
    "model = AutoModelForCausalLM.from_pretrained(model_path)\n",
    "tokenizer = AutoTokenizer.from_pretrained(model_path)\n",
    "model = PeftModel.from_pretrained(model, lora_dir)\n",
    "model.to(device)\n",
    "model.eval()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-01T07:45:52.565251Z",
     "iopub.status.busy": "2025-01-01T07:45:52.564900Z",
     "iopub.status.idle": "2025-01-01T07:45:52.574040Z",
     "shell.execute_reply": "2025-01-01T07:45:52.573249Z",
     "shell.execute_reply.started": "2025-01-01T07:45:52.565221Z"
    },
    "jupyter": {
     "source_hidden": true
    },
    "trusted": true
   },
   "outputs": [],
   "source": [
    "max_input_length = model.config.max_position_embeddings  \n",
    "\n",
    "def chat_with_bm25():  \n",
    "    \n",
    "    print(\"开始聊天（输入 '\\\\quit' 结束对话，输入 '\\\\newsession' 开启新会话）：\")  \n",
    "    system_prompt = \"你是一名助手，请根据用户问题以及提供的相关文档，提炼出你的答案，并对用户进行回答。\"\n",
    "    chat_history = [{\"role\": \"system\", \"content\": system_prompt}] \n",
    "    \n",
    "    while True:  \n",
    "        user_input = input(\"用户：\")  \n",
    "        if user_input.lower() == \"\\\\quit\":  \n",
    "            print(\"结束对话。\")  \n",
    "            break  \n",
    "\n",
    "        elif user_input.lower() == \"\\\\newsession\":  \n",
    "            print(\"开启新会话。\")  \n",
    "            chat_history = []  \n",
    "            i = 0\n",
    "            continue \n",
    "\n",
    "        # 检索相关文档\n",
    "        bm25_results = bm25_search(user_input, bm25, chunks)\n",
    "        embedding_results = embedding_search(user_input, embedding_model, embeddings, chunks)\n",
    "        fused_results = rank_fusion(bm25_results, embedding_results)\n",
    "        retrieved_docs = fused_results[:3]\n",
    "        filtered_results = filter_chunks(user_input, retrieved_docs)\n",
    "        sub_chunks = filtered_results[0]\n",
    "        print(filtered_results)\n",
    "        context = \"\\n\".join(sub_chunks) # 将检索到的文档合并为上下文\n",
    "        #print(context)\n",
    "        prompt = f\"相关文档:\\n{context}用户问题: {user_input}\\n\\n答案:\"\n",
    "        # prompt = f\"\"\"\n",
    "        #             Give the answer to the user query delimited by triple backticks ```{user_input}```\\\n",
    "        #             using the information given in context delimited by triple backticks ```{context}```.\\\n",
    "        #             Be concise and output the answer of size less than 200 tokens.\n",
    "        #             \"\"\"\n",
    "        chat_history.append({\"role\": \"user\", \"content\": prompt})\n",
    "        \n",
    "        text = tokenizer.apply_chat_template(chat_history, tokenize=False, add_generation_prompt=True)\n",
    "        model_inputs = tokenizer([text], return_tensors=\"pt\").to(device)\n",
    "        while len(model_inputs[\"input_ids\"]) > max_input_length:  \n",
    "            chat_history.pop(1)\n",
    "            chat_history.pop(1)\n",
    "            text = tokenizer.apply_chat_template(chat_history, tokenize=False, add_generation_prompt=True)\n",
    "            model_inputs = tokenizer([text], return_tensors=\"pt\")\n",
    "            if len(model_inputs[\"input_ids\"]) <= max_input_length:\n",
    "                break\n",
    "        \n",
    "        generated_ids = model.generate(input_ids=model_inputs[\"input_ids\"],\n",
    "                                       attention_mask=model_inputs[\"attention_mask\"],\n",
    "                                       pad_token_id=tokenizer.pad_token_id,\n",
    "                                       max_new_tokens=512,\n",
    "                                       do_sample=True,\n",
    "                                       repetition_penalty=1.2,  # 惩罚重复生成\n",
    "                                       temperature=0.7)  \n",
    "\n",
    "        generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]\n",
    "\n",
    "        response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]\n",
    "        \n",
    "        print(f\"助手： {response}\")  \n",
    "        chat_history.append({\"role\": \"assistant\", \"content\": response})\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-04T02:25:11.541887Z",
     "iopub.status.busy": "2025-01-04T02:25:11.541607Z",
     "iopub.status.idle": "2025-01-04T02:25:52.992130Z",
     "shell.execute_reply": "2025-01-04T02:25:52.991191Z",
     "shell.execute_reply.started": "2025-01-04T02:25:11.541867Z"
    },
    "trusted": true
   },
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "9d7faf20ba624819beff1f27d0337d6f",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Loading checkpoint shards:   0%|          | 0/2 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/plain": [
       "PeftModelForCausalLM(\n",
       "  (base_model): LoraModel(\n",
       "    (model): Qwen2ForCausalLM(\n",
       "      (model): Qwen2Model(\n",
       "        (embed_tokens): Embedding(151936, 2048)\n",
       "        (layers): ModuleList(\n",
       "          (0-35): 36 x Qwen2DecoderLayer(\n",
       "            (self_attn): Qwen2SdpaAttention(\n",
       "              (q_proj): lora.Linear(\n",
       "                (base_layer): Linear(in_features=2048, out_features=2048, bias=True)\n",
       "                (lora_dropout): ModuleDict(\n",
       "                  (default): Dropout(p=0.1, inplace=False)\n",
       "                )\n",
       "                (lora_A): ModuleDict(\n",
       "                  (default): Linear(in_features=2048, out_features=8, bias=False)\n",
       "                )\n",
       "                (lora_B): ModuleDict(\n",
       "                  (default): Linear(in_features=8, out_features=2048, bias=False)\n",
       "                )\n",
       "                (lora_embedding_A): ParameterDict()\n",
       "                (lora_embedding_B): ParameterDict()\n",
       "                (lora_magnitude_vector): ModuleDict()\n",
       "              )\n",
       "              (k_proj): lora.Linear(\n",
       "                (base_layer): Linear(in_features=2048, out_features=256, bias=True)\n",
       "                (lora_dropout): ModuleDict(\n",
       "                  (default): Dropout(p=0.1, inplace=False)\n",
       "                )\n",
       "                (lora_A): ModuleDict(\n",
       "                  (default): Linear(in_features=2048, out_features=8, bias=False)\n",
       "                )\n",
       "                (lora_B): ModuleDict(\n",
       "                  (default): Linear(in_features=8, out_features=256, bias=False)\n",
       "                )\n",
       "                (lora_embedding_A): ParameterDict()\n",
       "                (lora_embedding_B): ParameterDict()\n",
       "                (lora_magnitude_vector): ModuleDict()\n",
       "              )\n",
       "              (v_proj): lora.Linear(\n",
       "                (base_layer): Linear(in_features=2048, out_features=256, bias=True)\n",
       "                (lora_dropout): ModuleDict(\n",
       "                  (default): Dropout(p=0.1, inplace=False)\n",
       "                )\n",
       "                (lora_A): ModuleDict(\n",
       "                  (default): Linear(in_features=2048, out_features=8, bias=False)\n",
       "                )\n",
       "                (lora_B): ModuleDict(\n",
       "                  (default): Linear(in_features=8, out_features=256, bias=False)\n",
       "                )\n",
       "                (lora_embedding_A): ParameterDict()\n",
       "                (lora_embedding_B): ParameterDict()\n",
       "                (lora_magnitude_vector): ModuleDict()\n",
       "              )\n",
       "              (o_proj): lora.Linear(\n",
       "                (base_layer): Linear(in_features=2048, out_features=2048, bias=False)\n",
       "                (lora_dropout): ModuleDict(\n",
       "                  (default): Dropout(p=0.1, inplace=False)\n",
       "                )\n",
       "                (lora_A): ModuleDict(\n",
       "                  (default): Linear(in_features=2048, out_features=8, bias=False)\n",
       "                )\n",
       "                (lora_B): ModuleDict(\n",
       "                  (default): Linear(in_features=8, out_features=2048, bias=False)\n",
       "                )\n",
       "                (lora_embedding_A): ParameterDict()\n",
       "                (lora_embedding_B): ParameterDict()\n",
       "                (lora_magnitude_vector): ModuleDict()\n",
       "              )\n",
       "              (rotary_emb): Qwen2RotaryEmbedding()\n",
       "            )\n",
       "            (mlp): Qwen2MLP(\n",
       "              (gate_proj): lora.Linear(\n",
       "                (base_layer): Linear(in_features=2048, out_features=11008, bias=False)\n",
       "                (lora_dropout): ModuleDict(\n",
       "                  (default): Dropout(p=0.1, inplace=False)\n",
       "                )\n",
       "                (lora_A): ModuleDict(\n",
       "                  (default): Linear(in_features=2048, out_features=8, bias=False)\n",
       "                )\n",
       "                (lora_B): ModuleDict(\n",
       "                  (default): Linear(in_features=8, out_features=11008, bias=False)\n",
       "                )\n",
       "                (lora_embedding_A): ParameterDict()\n",
       "                (lora_embedding_B): ParameterDict()\n",
       "                (lora_magnitude_vector): ModuleDict()\n",
       "              )\n",
       "              (up_proj): lora.Linear(\n",
       "                (base_layer): Linear(in_features=2048, out_features=11008, bias=False)\n",
       "                (lora_dropout): ModuleDict(\n",
       "                  (default): Dropout(p=0.1, inplace=False)\n",
       "                )\n",
       "                (lora_A): ModuleDict(\n",
       "                  (default): Linear(in_features=2048, out_features=8, bias=False)\n",
       "                )\n",
       "                (lora_B): ModuleDict(\n",
       "                  (default): Linear(in_features=8, out_features=11008, bias=False)\n",
       "                )\n",
       "                (lora_embedding_A): ParameterDict()\n",
       "                (lora_embedding_B): ParameterDict()\n",
       "                (lora_magnitude_vector): ModuleDict()\n",
       "              )\n",
       "              (down_proj): lora.Linear(\n",
       "                (base_layer): Linear(in_features=11008, out_features=2048, bias=False)\n",
       "                (lora_dropout): ModuleDict(\n",
       "                  (default): Dropout(p=0.1, inplace=False)\n",
       "                )\n",
       "                (lora_A): ModuleDict(\n",
       "                  (default): Linear(in_features=11008, out_features=8, bias=False)\n",
       "                )\n",
       "                (lora_B): ModuleDict(\n",
       "                  (default): Linear(in_features=8, out_features=2048, bias=False)\n",
       "                )\n",
       "                (lora_embedding_A): ParameterDict()\n",
       "                (lora_embedding_B): ParameterDict()\n",
       "                (lora_magnitude_vector): ModuleDict()\n",
       "              )\n",
       "              (act_fn): SiLU()\n",
       "            )\n",
       "            (input_layernorm): Qwen2RMSNorm((2048,), eps=1e-06)\n",
       "            (post_attention_layernorm): Qwen2RMSNorm((2048,), eps=1e-06)\n",
       "          )\n",
       "        )\n",
       "        (norm): Qwen2RMSNorm((2048,), eps=1e-06)\n",
       "      )\n",
       "      (lm_head): Linear(in_features=2048, out_features=151936, bias=False)\n",
       "    )\n",
       "  )\n",
       ")"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from transformers import AutoModelForCausalLM, AutoTokenizer\n",
    "from peft import PeftModel\n",
    "import torch\n",
    "\n",
    "model_path = \"/kaggle/input/qwen2.5/transformers/3b/1\"\n",
    "lora_dir = \"/kaggle/input/lora-3b/transformers/default/1\"\n",
    "\n",
    "device = torch.device(\"cuda:0\" if torch.cuda.is_available() else \"cpu\")\n",
    "model = AutoModelForCausalLM.from_pretrained(model_path)\n",
    "tokenizer = AutoTokenizer.from_pretrained(model_path)\n",
    "model = PeftModel.from_pretrained(model, lora_dir)\n",
    "model.to(device)\n",
    "model.eval()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-04T02:46:55.540863Z",
     "iopub.status.busy": "2025-01-04T02:46:55.540552Z",
     "iopub.status.idle": "2025-01-04T02:46:56.787280Z",
     "shell.execute_reply": "2025-01-04T02:46:56.786458Z",
     "shell.execute_reply.started": "2025-01-04T02:46:55.540838Z"
    },
    "trusted": true
   },
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "17dd723203af430d8b9fe96074763a19",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Batches:   0%|          | 0/8 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# 准备知识库\n",
    "\n",
    "files = \"/kaggle/input/knowledge-documents\"\n",
    "documents = load_txt_documents(files)\n",
    "chunks = split_documents_by_paragraph(documents, chunk_size=500)\n",
    "bm25, embedding_model, embeddings = create_bm25(chunks) "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 95,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-04T03:56:20.131540Z",
     "iopub.status.busy": "2025-01-04T03:56:20.131080Z",
     "iopub.status.idle": "2025-01-04T03:56:20.141062Z",
     "shell.execute_reply": "2025-01-04T03:56:20.140145Z",
     "shell.execute_reply.started": "2025-01-04T03:56:20.131509Z"
    },
    "trusted": true
   },
   "outputs": [],
   "source": [
    "max_input_length = model.config.max_position_embeddings  \n",
    "\n",
    "def chat_with_bm25(bm25, chunks, max_input_length, model, tokenizer, device):  \n",
    "    \n",
    "    print(\"开始聊天（输入 '\\\\quit' 结束对话，输入 '\\\\newsession' 开启新会话）：\")  \n",
    "    system_prompt = \"你是一名助手，请根据用户问题以及提供的相关文档，提炼出你的答案，并对用户进行回答，如果没有相关文档，就请你自己对用户问题进行回答。\"\n",
    "    chat_history = [{\"role\": \"system\", \"content\": system_prompt}] \n",
    "    \n",
    "    while True:  \n",
    "        user_input = input(\"用户：\")  \n",
    "        if user_input.lower() == \"\\\\quit\":  \n",
    "            print(\"结束对话。\")  \n",
    "            break  \n",
    "\n",
    "        elif user_input.lower() == \"\\\\newsession\":  \n",
    "            print(\"开启新会话。\")  \n",
    "            chat_history = [{\"role\": \"system\", \"content\": system_prompt}]  \n",
    "            i = 0\n",
    "            continue \n",
    "\n",
    "        # 检索相关文档\n",
    "        context = retrieve_text_by_bm25_and_similarity(user_input, bm25, embedding_model, embeddings, chunks,top_k = 3)  # 会将得分最高的k个文档合并返回,k=1效果会更好\n",
    "        #context = '\\n'.join(text for text, score in context)\n",
    "        context = '\\n'.join(text.replace('\\n', ', ') for text, score in context) # 如果一段上下文里有换行,则将其用逗号拼接为一个长句\n",
    "        if not context.strip():  # 使用 strip() 检查空白  \n",
    "            context = \"无\"\n",
    "        print(f\"检索到的相关文档：\\n {context}\\n\") \n",
    "        #prompt = f\"相关文档:{context}\\n用户问题: {user_input}\\n\\n\"\n",
    "        prompt = f\"下面是与用户问题相关的文档内容:\\n{context}\\n\\n请根据这些文档内容回答以下问题:\\n用户问题: {user_input}\\n\"\n",
    "        #prompt = f\"请回答以下问题:\\n用户问题: {user_input}\\n你可以参考文档回答，下面是与用户问题相关的文档内容:\\n{context}\\n\\n\"\n",
    "        chat_history.append({\"role\": \"user\", \"content\": prompt})\n",
    "        \n",
    "        text = tokenizer.apply_chat_template(chat_history, tokenize=False, add_generation_prompt=True)\n",
    "        model_inputs = tokenizer([text], return_tensors=\"pt\").to(device)\n",
    "        while len(model_inputs[\"input_ids\"]) > max_input_length:  \n",
    "            chat_history.pop(1)\n",
    "            chat_history.pop(1)\n",
    "            text = tokenizer.apply_chat_template(chat_history, tokenize=False, add_generation_prompt=True)\n",
    "            model_inputs = tokenizer([text], return_tensors=\"pt\")\n",
    "            if len(model_inputs[\"input_ids\"]) <= max_input_length:\n",
    "                break\n",
    "        \n",
    "        generated_ids = model.generate(input_ids=model_inputs[\"input_ids\"],\n",
    "                                       attention_mask=model_inputs[\"attention_mask\"],\n",
    "                                       pad_token_id=tokenizer.pad_token_id,\n",
    "                                       max_new_tokens=512,\n",
    "                                       do_sample=True,\n",
    "                                       repetition_penalty=1.2, \n",
    "                                       temperature=0.7)  \n",
    "\n",
    "        generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]\n",
    "\n",
    "        response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]\n",
    "        \n",
    "        print(f\"助手： {response}\")  \n",
    "        chat_history.append({\"role\": \"assistant\", \"content\": response})\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 96,
   "metadata": {
    "execution": {
     "iopub.execute_input": "2025-01-04T03:56:23.066383Z",
     "iopub.status.busy": "2025-01-04T03:56:23.066066Z",
     "iopub.status.idle": "2025-01-04T03:57:54.976884Z",
     "shell.execute_reply": "2025-01-04T03:57:54.975934Z",
     "shell.execute_reply.started": "2025-01-04T03:56:23.066359Z"
    },
    "trusted": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "初始化检索数据库...\n",
      "开始聊天（输入 '\\quit' 结束对话，输入 '\\newsession' 开启新会话）：\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "用户： 你好\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "c257cbcbad96483fb4ac933dce368969",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Batches:   0%|          | 0/1 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "检索到的相关文档：\n",
      " 无\n",
      "\n",
      "助手： 您好！有什么可以帮助您的吗？\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "用户： 新民主主义革命的三大法宝是什么\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "2dad2b9609e54bada2887851b0e44031",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Batches:   0%|          | 0/1 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "检索到的相关文档：\n",
      " 新民主主义革命的三大法宝：统一战线、武装斗争、党的建设。\n",
      "二、新民主主义革命的三大法宝, 毛泽东在《〈共产党人〉发刊词》一文中，，提出了统一战线、武装斗争、党的建设是党在中国革命中战胜敌人的三个主要的法宝。\n",
      "毛泽东指出，统一战线、武装斗争和党的建设，是中国共产党在中国革命中战胜敌人的三大法宝。\n",
      "\n",
      "助手： 新民主主义革命的三大法宝包括统一战线、武装斗争和党的建设。\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "用户： 历代领导人的精髓是什么\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "9d83777b0e7e4d0eac7368d76dba36ef",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Batches:   0%|          | 0/1 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "检索到的相关文档：\n",
      " 二、邓小平理论的精髓, 历代领导人的精髓, 毛泽东：实事求是, 邓小平：解放思想，实事求是, 江泽民：解放思想，实事求是，与时俱进, 胡锦涛：解放思想，实事求是，与时俱进，求真务实\n",
      "实事求是（毛泽东思想的精髓）、群众路线、独立自主是毛泽东思想活的灵魂。\n",
      "第六章 邓小平理论, 第一节 邓小平理论首要的基本的理论问题和精髓\n",
      "\n",
      "助手： 历代领导人的精髓主要包括：\n",
      "- 毛泽东：实事求是，\n",
      "- 邓小平：解放思想，实事求是，\n",
      "- 江泽民：解放思想，实事求是，与时俱进，\n",
      "- 胡锦涛：解放思想，实事求是，与时俱进，求真务实\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "用户： 一国两制的基本内容是什么\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "fb7aee3b3fe64c66bfd71c5073cdb51b",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Batches:   0%|          | 0/1 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "检索到的相关文档：\n",
      " 一国两制基本内容有：坚持一个中国，这是“和平统一、一国两制”的核心，是发展两岸关系和实现和平统一的基础；两制并存.在祖国统一的前提下，国家的主体部分实行社会主义制度，同时在香港、澳门、台湾保持原有的社会制度和生活方式长期不变。（有港式和台式，台湾可以有自己的军队）\n",
      "土地革命是中国革命的基本内容；武装斗争是中国革命的主要形式，农村革命根据地是中国革命的战略阵地。\n",
      "土地革命（基本内容） 武装斗争（主要形式 强有力保证） 农村革命根据地（依托）\n",
      "\n",
      "助手： \"一国两制\"这一方针的核心是维护国家主权完整性和领土的一致性，在此基础上，国家内部的不同地区可享有不同的政策和社会经济制度，允许它们保留自己的传统文化习惯及处理外交事务等权利。具体内容如下：\n",
      "\n",
      "1. “一个国家”是指中国的主权和领土必须完整，不容分割，中央政府行使全国范围内的最高权力；\n",
      "2. “两种制度”即中华人民共和国境内除港澳台以外的地方适用中国特色社会主义制度，而香港澳门则继续保持资本主义制度，即行宪法规定的特别行政区基本法所确定的政治体制和其他行政管理权不改变或调整；\n",
      "3.\"高度自治\"指特区政府拥有广泛的管理权，但受中央的监督控制，不允许外国势力干涉其内政事务，如国防安全等等;\n",
      "4.“和平共处”是指内地与特区之间要建立一种平等互利的关系，互相尊重彼此之间的权益和发展需要，以促进双方共同繁荣稳定与发展。\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "用户： 感谢你的回答\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "ef21252cc52e48218c7d8750af1942b9",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Batches:   0%|          | 0/1 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "检索到的相关文档：\n",
      " 一、马克思主义中国话时代化的提出, 太平天国运动、洋务运动、戊戌变法、义和团运动、辛亥革命接连而起，但都以失败而告终。各种思潮竞相发声，包括改良主义、自由主义、社会达尔文主义、无政府主义、实用主义、民粹主义、工团主义等“你方唱罢我登场”但都未能解决中国的实际问题。\n",
      "\n",
      "助手： 不用客气，随时为您解答疑惑。\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "用户： \\quit\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "结束对话。\n"
     ]
    }
   ],
   "source": [
    "# run\n",
    "print(\"初始化检索数据库...\")\n",
    "chat_with_bm25(bm25, chunks, max_input_length, model, tokenizer, device)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "trusted": true
   },
   "outputs": [],
   "source": [
    "# 待完成：分层版本(bm25+覆盖率+向量距离))\n",
    "# chat_with_bm25\n",
    "# chat_with_docs"
   ]
  }
 ],
 "metadata": {
  "kaggle": {
   "accelerator": "none",
   "dataSources": [
    {
     "datasetId": 6412773,
     "sourceId": 10355264,
     "sourceType": "datasetVersion"
    },
    {
     "datasetId": 6412865,
     "sourceId": 10355388,
     "sourceType": "datasetVersion"
    },
    {
     "isSourceIdPinned": true,
     "modelId": 164048,
     "modelInstanceId": 141462,
     "sourceId": 166249,
     "sourceType": "modelInstanceVersion"
    },
    {
     "isSourceIdPinned": true,
     "modelId": 203876,
     "modelInstanceId": 181643,
     "sourceId": 213094,
     "sourceType": "modelInstanceVersion"
    }
   ],
   "dockerImageVersionId": 30822,
   "isGpuEnabled": false,
   "isInternetEnabled": true,
   "language": "python",
   "sourceType": "notebook"
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}