jieba_parsing.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# jieba_parsing"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##  1、jieba基本功能总结"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1.1 jieba.test.demo模块展示的功能如下"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "from __future__ import unicode_literals\n",
    "\n",
    "import jieba\n",
    "import jieba.posseg\n",
    "import jieba.analyse"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "========================================\n",
      "1. 分词\n",
      "----------------------------------------\n"
     ]
    }
   ],
   "source": [
    "print('='*40)\n",
    "print('1. 分词')\n",
    "print('-'*40)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Building prefix dict from the default dictionary ...\n",
      "Loading model from cache C:\\Users\\86185\\AppData\\Local\\Temp\\jieba.cache\n",
      "Loading model cost 1.158 seconds.\n",
      "Prefix dict has been built successfully.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Full Mode: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学\n"
     ]
    }
   ],
   "source": [
    "seg_list = jieba.cut(\"我来到北京清华大学\", cut_all=True)\n",
    "print(\"Full Mode: \" + \"/ \".join(seg_list))  # 全模式"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Default Mode: 我/ 来到/ 北京/ 清华大学\n"
     ]
    }
   ],
   "source": [
    "seg_list = jieba.cut(\"我来到北京清华大学\", cut_all=False)\n",
    "print(\"Default Mode: \" + \"/ \".join(seg_list))  # 默认模式"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "他, 来到, 了, 网易, 杭研, 大厦\n"
     ]
    }
   ],
   "source": [
    "seg_list = jieba.cut(\"他来到了网易杭研大厦\")\n",
    "print(\", \".join(seg_list))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, ，, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造\n"
     ]
    }
   ],
   "source": [
    "seg_list = jieba.cut_for_search(\"小明硕士毕业于中国科学院计算所，后在日本京都大学深造\")  # 搜索引擎模式\n",
    "print(\", \".join(seg_list))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "========================================\n",
      "2. 添加自定义词典/调整词典\n",
      "----------------------------------------\n"
     ]
    }
   ],
   "source": [
    "print('='*40)\n",
    "print('2. 添加自定义词典/调整词典')\n",
    "print('-'*40)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "如果/放到/post/中将/出错/。\n"
     ]
    }
   ],
   "source": [
    "print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Signature: jieba.suggest_freq(segment, tune=False)\n",
    "Docstring:\n",
    "Suggest word frequency to force the characters in a word to be\n",
    "joined or splitted.\n",
    "* 建议词频，以迫使一个词中的字符连接或分裂。\n",
    "\n",
    "Parameter:\n",
    "    - segment : The segments that the word is expected to be cut \n",
    "    into,If the word should be treated as a whole, use a str.\n",
    "            \n",
    "    - tune : If True, tune the word frequency.调单词频率。\n",
    "\n",
    "Note that HMM may affect the final result. If the result doesn't change,\n",
    "set HMM=False.\n",
    "\n",
    "注意，HMM可能会影响最终结果。如果结果不变，则设置HMM=False。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "494\n"
     ]
    }
   ],
   "source": [
    "print(jieba.suggest_freq(('中', '将'), True))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "如果/放到/post/中/将/出错/。\n"
     ]
    }
   ],
   "source": [
    "print('/'.join(jieba.cut('如果放到post中将出错。')))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "如果/放到/post/中/将/出错/。\n"
     ]
    }
   ],
   "source": [
    "print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "「/台/中/」/正确/应该/不会/被/切开\n"
     ]
    }
   ],
   "source": [
    "print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "69\n"
     ]
    }
   ],
   "source": [
    "#「/台/中/」/正确/应该/不会/被/切开\n",
    "print(jieba.suggest_freq('台中', True))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer.FREQ.get('台中')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "「/台中/」/正确/应该/不会/被/切开\n"
     ]
    }
   ],
   "source": [
    "print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "========================================\n",
      "3. 关键词提取\n",
      "----------------------------------------\n",
      " TF-IDF\n",
      "----------------------------------------\n"
     ]
    }
   ],
   "source": [
    "print('='*40)\n",
    "print('3. 关键词提取')\n",
    "print('-'*40)\n",
    "print(' TF-IDF')\n",
    "print('-'*40)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "欧亚 0.7300142700289363\n",
      "吉林 0.659038184373617\n",
      "置业 0.4887134522112766\n",
      "万元 0.3392722481859574\n",
      "增资 0.33582401985234045\n",
      "4.3 0.25435675538085106\n",
      "7000 0.25435675538085106\n",
      "2013 0.25435675538085106\n",
      "139.13 0.25435675538085106\n",
      "实现 0.19900979900382978\n",
      "综合体 0.19480309624702127\n",
      "经营范围 0.19389757253595744\n",
      "亿元 0.1914421623587234\n",
      "在建 0.17541884768425534\n",
      "全资 0.17180164988510638\n",
      "注册资本 0.1712441526\n",
      "百货 0.16734460041382979\n",
      "零售 0.1475057117057447\n",
      "子公司 0.14596045237787234\n",
      "营业 0.13920178509021275\n"
     ]
    }
   ],
   "source": [
    "s = \"此外，公司拟对全资子公司吉林欧亚置业有限公司增资4.3亿元，增资后，吉林欧亚置业注册资本由7000万元增加到5亿元。吉林欧亚置业主要经营范围为房地产开发及百货零售等业务。目前在建吉林欧亚城市商业综合体项目。2013年，实现营业收入0万元，实现净利润-139.13万元。\"\n",
    "for x, w in jieba.analyse.extract_tags(s, withWeight=True):\n",
    "    print('%s %s' % (x, w))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "----------------------------------------\n",
      " TextRank\n",
      "----------------------------------------\n"
     ]
    }
   ],
   "source": [
    "print('-'*40)\n",
    "print(' TextRank')\n",
    "print('-'*40)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "吉林 1.0\n",
      "欧亚 0.9966893354178172\n",
      "置业 0.6434360313092776\n",
      "实现 0.5898606692859626\n",
      "收入 0.43677859947991454\n",
      "增资 0.4099900531283276\n",
      "子公司 0.35678295947672795\n",
      "城市 0.34971383667403655\n",
      "商业 0.34817220716026936\n",
      "业务 0.3092230992619838\n",
      "在建 0.3077929164033088\n",
      "营业 0.3035777049319588\n",
      "全资 0.303540981053475\n",
      "综合体 0.29580869172394825\n",
      "注册资本 0.29000519464085045\n",
      "有限公司 0.2807830798576574\n",
      "零售 0.27883620861218145\n",
      "百货 0.2781657628445476\n",
      "开发 0.2693488779295851\n",
      "经营范围 0.2642762173558316\n"
     ]
    }
   ],
   "source": [
    "for x, w in jieba.analyse.textrank(s, withWeight=True):\n",
    "    print('%s %s' % (x, w))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "========================================\n",
      "4. 词性标注\n",
      "----------------------------------------\n"
     ]
    }
   ],
   "source": [
    "print('='*40)\n",
    "print('4. 词性标注')\n",
    "print('-'*40)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "我 r\n",
      "爱 v\n",
      "北京 ns\n",
      "天安门 ns\n"
     ]
    }
   ],
   "source": [
    "words = jieba.posseg.cut(\"我爱北京天安门\")\n",
    "for word, flag in words:\n",
    "    print('%s %s' % (word, flag))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "========================================\n",
      "6. Tokenize: 返回词语在原文的起止位置\n",
      "----------------------------------------\n",
      " 默认模式\n",
      "----------------------------------------\n"
     ]
    }
   ],
   "source": [
    "print('='*40)\n",
    "print('6. Tokenize: 返回词语在原文的起止位置')  #5呢？？？？\n",
    "print('-'*40)\n",
    "print(' 默认模式')\n",
    "print('-'*40)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "word 永和\t\t start: 0 \t\t end:2\n",
      "word 服装\t\t start: 2 \t\t end:4\n",
      "word 饰品\t\t start: 4 \t\t end:6\n",
      "word 有限公司\t\t start: 6 \t\t end:10\n"
     ]
    }
   ],
   "source": [
    "result = jieba.tokenize('永和服装饰品有限公司')\n",
    "for tk in result:\n",
    "    print(\"word %s\\t\\t start: %d \\t\\t end:%d\" % (tk[0],tk[1],tk[2]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "----------------------------------------\n",
      " 搜索模式\n",
      "----------------------------------------\n"
     ]
    }
   ],
   "source": [
    "print('-'*40)\n",
    "print(' 搜索模式')\n",
    "print('-'*40)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "word 永和\t\t start: 0 \t\t end:2\n",
      "word 服装\t\t start: 2 \t\t end:4\n",
      "word 饰品\t\t start: 4 \t\t end:6\n",
      "word 有限\t\t start: 6 \t\t end:8\n",
      "word 公司\t\t start: 8 \t\t end:10\n",
      "word 有限公司\t\t start: 6 \t\t end:10\n"
     ]
    }
   ],
   "source": [
    "result = jieba.tokenize('永和服装饰品有限公司', mode='search')\n",
    "for tk in result:\n",
    "    print(\"word %s\\t\\t start: %d \\t\\t end:%d\" % (tk[0],tk[1],tk[2]))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### demo.py总结"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "jieba的主要功能有：\n",
    "    * 1、分词：jieba.cut\n",
    "        * 1.1 cut的两种模式：cut_all=True or False（默认）\n",
    "        * 1.2 cut_for_search\n",
    "        * 1.3 是否使用HMM算法\n",
    "        * 1.4 加载自定义词典或者通过设置词频，指导分词；需要关闭HMM\n",
    "    * 2、关键词提取\n",
    "        * 2.1 TFIDF方法\n",
    "        * 2.2 TextRank方法\n",
    "    * 3、分词显示词序\n",
    "        * Tokenizer\n",
    "    * 4、词性标注 posseg"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2、jieba-master源码分析"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "jieba全部模块见下图"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![jupyter](././图片/源码jieba-master.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.1、分词模块分析"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 2.1.1、DAG分词：jieba.\\__init\\__"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### 2.1.1.1、类  class Tokenizer"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### （1）功能简介：\n",
    "* 1、基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)\n",
    "* 2、采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合\n",
    "* 3、对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### （2）包含方法如下："
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1、 \\__init\\__(self, dictionary=DEFAULT_DICT):\n",
    "\n",
    "2、\\__repr\\__(self): 返回字典大小\n",
    "\n",
    "3、gen_pfdict(self, f):\n",
    "\n",
    "4、initialize(self, dictionary=None):\n",
    "\n",
    "5、check_initialized(self):\n",
    "\n",
    "6、calc(self, sentence, DAG, route):\n",
    "\n",
    "7、get_DAG(self, sentence):\n",
    "\n",
    "8、_cut_all(self, sentence):\n",
    "\n",
    "9、_cut_DAG_NO_HMM(self, sentence): #关键\n",
    "\n",
    "10、_cut_DAG(self, sentence):  #关键\n",
    "\n",
    "11、cut(self, sentence, cut_all=False, HMM=True):\n",
    "\n",
    "12、cut_for_search(self, sentence, HMM=True):\n",
    "\n",
    "13、lcut(self, *args, \\*\\*kwargs):\n",
    "\n",
    "14、lcut_for_search(self, *args, **kwargs):\n",
    "\n",
    "15、_lcut_no_hmm(self, sentence): #关键\n",
    "\n",
    "16、_lcut_all(self, sentence): #关键\n",
    "\n",
    "17、_lcut_for_search_no_hmm(self, sentence):\n",
    "\n",
    "18、get_dict_file(self):\n",
    "\n",
    "19、load_userdict(self, f):\n",
    "\n",
    "20、add_word(self, word, freq=None, tag=None):\n",
    "加一个词到词典:\n",
    "可以省略freq和tag, freq默认为计算值这就保证了这个词可以被删掉。\n",
    "加到FRWQ字典中\n",
    "将词拆成字，如果该字不在FREQ中，逐个加入FREQ中，频率设为0\n",
    "如果freq设置为0，则将\n",
    "\n",
    "21、del_word(self, word):\n",
    "\n",
    "22、suggest_freq(self, segment, tune=False):\n",
    "\n",
    "23、tokenize(self, unicode_sentence, mode=\"default\", HMM=True):\n",
    "    * Tokenize a sentence and yields tuples of (word, start, end)\n",
    "24、set_dictionary(self, dictionary_path):\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### (3) 分词剖析\n",
    "\n",
    "jieba分词流程图如下："
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![jupyter](https://img-blog.csdn.net/20180721150943819?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3MzM2NTU5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "结巴分词从流程图中可看到分为两部分，一个是登录词的分词，另一个是未登录词的分词；\n",
    "\n",
    "登录词分词，从流程图中可看到，是通过建立DAG词图和计算全局概率Route分词的。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "    def cut(self, sentence, cut_all=False, HMM=True):\n",
    "        '''\n",
    "        The main function that segments an entire sentence that contains\n",
    "        Chinese characters into separated words.\n",
    "\n",
    "        Parameter:\n",
    "            - sentence: The str(unicode) to be segmented.\n",
    "            - cut_all: Model type. True for full pattern, False for accurate pattern.\n",
    "            - HMM: Whether to use the Hidden Markov Model.\n",
    "            \n",
    "        给定待分词的句子, 使用正则(re_han)获取匹配的中文字符(和英文字符)切分成的短语列表；\n",
    "        根据cut_block指定具体的方法(__cut_all,__cut_DAG,__cut_DAG_NO_HMM)对每个短语使用DAG进行分词\n",
    "        \n",
    "        如cut_block=__cut_DAG时则使用DAG(查字典)和动态规划, 得到最大概率路径, 对DAG中那些没有在字典中查到的字, \n",
    "        组合成一个新的片段短语, 使用HMM模型进行分词, 也就是作者说的识别新词, 即识别字典外的新词；\n",
    "        '''\n",
    "        sentence = strdecode(sentence)\n",
    "\n",
    "        if cut_all:\n",
    "            re_han = re_han_cut_all #中文正则\n",
    "            re_skip = re_skip_cut_all#正则\n",
    "        else:\n",
    "            re_han = re_han_default  #汉字正则\n",
    "            re_skip = re_skip_default  #正则\n",
    "        if cut_all:\n",
    "            cut_block = self.__cut_all \n",
    "        elif HMM:\n",
    "            cut_block = self.__cut_DAG #不是cut_all，如果HMM=True，则采用DAG+HMM分词，否则采用__cut_DAG_NO_HMM\n",
    "        else:\n",
    "            cut_block = self.__cut_DAG_NO_HMM\n",
    "        blocks = re_han.split(sentence) #正则分块：用标点符号分块？\n",
    "        for blk in blocks:\n",
    "            if not blk:\n",
    "                continue\n",
    "            if re_han.match(blk): #如果该正则匹配上了，则采用cut_block，\n",
    "                for word in cut_block(blk): #\n",
    "                    yield word\n",
    "            else:\n",
    "                tmp = re_skip.split(blk)\n",
    "                for x in tmp:\n",
    "                    if re_skip.match(x):\n",
    "                        yield x\n",
    "                    elif not cut_all:\n",
    "                        for xx in x:\n",
    "                            yield xx\n",
    "                    else:\n",
    "                        yield x"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "重要方法def __cut_DAG(self, sentence) #cut_block\n",
    "\n",
    "    def __cut_DAG(self, sentence):\n",
    "        '''\n",
    "        使用DAG(查字典)和动态规划, 得到最大概率路径, 对DAG中那些没有在字典中查到的字, \n",
    "        组合成一个新的片段短语, 使用HMM模型进行分词, 也就是作者说的识别新词, 即识别字典外的新词；\n",
    "        '''\n",
    "        \n",
    "        DAG = self.get_DAG(sentence)\n",
    "        route = {}\n",
    "        self.calc(sentence, DAG, route)  #更新route：基于DAG计算最大分词概率路径\n",
    "        x = 0\n",
    "        buf = ''\n",
    "        N = len(sentence)\n",
    "        while x < N:\n",
    "            y = route[x][1] + 1\n",
    "            l_word = sentence[x:y]\n",
    "            if y - x == 1: #词为一个字\n",
    "                buf += l_word\n",
    "            else:  #词大于一个字\n",
    "                if buf:\n",
    "                    if len(buf) == 1:\n",
    "                        yield buf\n",
    "                        buf = ''\n",
    "                    else:\n",
    "                        if not self.FREQ.get(buf): #未登录分块\n",
    "                            recognized = finalseg.cut(buf) #调HMM分词（viterbi算法，求最大路径）\n",
    "                            for t in recognized:\n",
    "                                yield t\n",
    "                        else:\n",
    "                            for elem in buf:\n",
    "                                yield elem\n",
    "                        buf = ''\n",
    "                yield l_word\n",
    "            x = y\n",
    "\n",
    "        if buf:\n",
    "            if len(buf) == 1:\n",
    "                yield buf\n",
    "            elif not self.FREQ.get(buf): #\n",
    "                recognized = finalseg.cut(buf)\n",
    "                for t in recognized:\n",
    "                    yield t\n",
    "            else:\n",
    "                for elem in buf:\n",
    "                    yield elem"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### __cut_DAG(self, sentence)方法其中的规则比较难懂，拆箱查看！"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 129,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "DAG:\n",
      " {0: [0], 1: [1], 2: [2], 3: [3], 4: [4], 5: [5], 6: [6], 7: [7], 8: [8, 9, 11], 9: [9, 10], 10: [10], 11: [11], 12: [12], 13: [13], 14: [14, 15], 15: [15], 16: [16], 17: [17], 18: [18], 19: [19], 20: [20], 21: [21], 22: [22, 23], 23: [23], 24: [24], 25: [25], 26: [26], 27: [27], 28: [28], 29: [29], 30: [30], 31: [31], 32: [32], 33: [33], 34: [34, 35], 35: [35], 36: [36], 37: [37, 38], 38: [38, 39, 41], 39: [39, 40], 40: [40], 41: [41], 42: [42], 43: [43], 44: [44], 45: [45], 46: [46], 47: [47], 48: [48], 49: [49, 51], 50: [50], 51: [51]}\n",
      "route:\n",
      " {\n",
      "  \"52\": [\n",
      "    0,\n",
      "    0\n",
      "  ],\n",
      "  \"51\": [\n",
      "    -9.073726763747516,\n",
      "    51\n",
      "  ],\n",
      "  \"50\": [\n",
      "    -18.661671449159165,\n",
      "    50\n",
      "  ],\n",
      "  \"49\": [\n",
      "    -15.27249579813996,\n",
      "    51\n",
      "  ],\n",
      "  \"48\": [\n",
      "    -33.18404892589518,\n",
      "    48\n",
      "  ],\n",
      "  \"47\": [\n",
      "    -51.0956020536504,\n",
      "    47\n",
      "  ],\n",
      "  \"46\": [\n",
      "    -69.00715518140562,\n",
      "    46\n",
      "  ],\n",
      "  \"45\": [\n",
      "    -86.91870830916085,\n",
      "    45\n",
      "  ],\n",
      "  \"44\": [\n",
      "    -104.83026143691606,\n",
      "    44\n",
      "  ],\n",
      "  \"43\": [\n",
      "    -122.74181456467127,\n",
      "    43\n",
      "  ],\n",
      "  \"42\": [\n",
      "    -140.65336769242649,\n",
      "    42\n",
      "  ],\n",
      "  \"41\": [\n",
      "    -149.51498396969853,\n",
      "    41\n",
      "  ],\n",
      "  \"40\": [\n",
      "    -158.37660024697058,\n",
      "    40\n",
      "  ],\n",
      "  \"39\": [\n",
      "    -163.9925498929686,\n",
      "    40\n",
      "  ],\n",
      "  \"38\": [\n",
      "    -154.31642557813234,\n",
      "    41\n",
      "  ],\n",
      "  \"37\": [\n",
      "    -160.3497228635493,\n",
      "    37\n",
      "  ],\n",
      "  \"36\": [\n",
      "    -171.07816428956122,\n",
      "    36\n",
      "  ],\n",
      "  \"35\": [\n",
      "    -177.02838869036324,\n",
      "    35\n",
      "  ],\n",
      "  \"34\": [\n",
      "    -182.59780030392383,\n",
      "    35\n",
      "  ],\n",
      "  \"33\": [\n",
      "    -200.50935343167905,\n",
      "    33\n",
      "  ],\n",
      "  \"32\": [\n",
      "    -218.42090655943426,\n",
      "    32\n",
      "  ],\n",
      "  \"31\": [\n",
      "    -236.33245968718947,\n",
      "    31\n",
      "  ],\n",
      "  \"30\": [\n",
      "    -254.24401281494468,\n",
      "    30\n",
      "  ],\n",
      "  \"29\": [\n",
      "    -272.1555659426999,\n",
      "    29\n",
      "  ],\n",
      "  \"28\": [\n",
      "    -283.35052429693417,\n",
      "    28\n",
      "  ],\n",
      "  \"27\": [\n",
      "    -291.8579811182936,\n",
      "    27\n",
      "  ],\n",
      "  \"26\": [\n",
      "    -296.18093558068654,\n",
      "    26\n",
      "  ],\n",
      "  \"25\": [\n",
      "    -301.7269069082454,\n",
      "    25\n",
      "  ],\n",
      "  \"24\": [\n",
      "    -319.6384600360006,\n",
      "    24\n",
      "  ],\n",
      "  \"23\": [\n",
      "    -325.5577465501797,\n",
      "    23\n",
      "  ],\n",
      "  \"22\": [\n",
      "    -332.0009370788606,\n",
      "    23\n",
      "  ],\n",
      "  \"21\": [\n",
      "    -349.9124902066158,\n",
      "    21\n",
      "  ],\n",
      "  \"20\": [\n",
      "    -367.824043334371,\n",
      "    20\n",
      "  ],\n",
      "  \"19\": [\n",
      "    -385.73559646212624,\n",
      "    19\n",
      "  ],\n",
      "  \"18\": [\n",
      "    -403.64714958988145,\n",
      "    18\n",
      "  ],\n",
      "  \"17\": [\n",
      "    -421.55870271763666,\n",
      "    17\n",
      "  ],\n",
      "  \"16\": [\n",
      "    -439.4702558453919,\n",
      "    16\n",
      "  ],\n",
      "  \"15\": [\n",
      "    -444.78385641515274,\n",
      "    15\n",
      "  ],\n",
      "  \"14\": [\n",
      "    -448.66036966752114,\n",
      "    15\n",
      "  ],\n",
      "  \"13\": [\n",
      "    -457.0614778308498,\n",
      "    13\n",
      "  ],\n",
      "  \"12\": [\n",
      "    -474.973030958605,\n",
      "    12\n",
      "  ],\n",
      "  \"11\": [\n",
      "    -487.1976087300204,\n",
      "    11\n",
      "  ],\n",
      "  \"10\": [\n",
      "    -492.5112092997813,\n",
      "    10\n",
      "  ],\n",
      "  \"9\": [\n",
      "    -496.3877225521497,\n",
      "    10\n",
      "  ],\n",
      "  \"8\": [\n",
      "    -489.4188481835605,\n",
      "    11\n",
      "  ],\n",
      "  \"7\": [\n",
      "    -507.3304013113157,\n",
      "    7\n",
      "  ],\n",
      "  \"6\": [\n",
      "    -512.8763726388745,\n",
      "    6\n",
      "  ],\n",
      "  \"5\": [\n",
      "    -530.7879257666298,\n",
      "    5\n",
      "  ],\n",
      "  \"4\": [\n",
      "    -548.699478894385,\n",
      "    4\n",
      "  ],\n",
      "  \"3\": [\n",
      "    -566.6110320221403,\n",
      "    3\n",
      "  ],\n",
      "  \"2\": [\n",
      "    -584.5225851498956,\n",
      "    2\n",
      "  ],\n",
      "  \"1\": [\n",
      "    -602.4341382776508,\n",
      "    1\n",
      "  ],\n",
      "  \"0\": [\n",
      "    -620.3456914054061,\n",
      "    0\n",
      "  ]\n",
      "}\n",
      "(x, y-1, l_word): (0, 0, 'I')\n",
      "buf += l_word: I\n",
      "(x, y-1, l_word): (1, 1, ' ')\n",
      "buf += l_word: I \n",
      "(x, y-1, l_word): (2, 2, 'l')\n",
      "buf += l_word: I l\n",
      "(x, y-1, l_word): (3, 3, 'o')\n",
      "buf += l_word: I lo\n",
      "(x, y-1, l_word): (4, 4, 'v')\n",
      "buf += l_word: I lov\n",
      "(x, y-1, l_word): (5, 5, 'e')\n",
      "buf += l_word: I love\n",
      "(x, y-1, l_word): (6, 6, '你')\n",
      "buf += l_word: I love你\n",
      "(x, y-1, l_word): (7, 7, '，')\n",
      "buf += l_word: I love你，\n",
      "(x, y-1, l_word): (8, 11, '不以为耻')\n",
      "for t in recognized: I\n",
      "for t in recognized:  \n",
      "for t in recognized: love\n",
      "for t in recognized: 你\n",
      "for t in recognized: ，\n",
      "yield l_word: 不以为耻\n",
      "(x, y-1, l_word): (12, 12, '，')\n",
      "buf += l_word: ，\n",
      "(x, y-1, l_word): (13, 13, '反')\n",
      "buf += l_word: ，反\n",
      "(x, y-1, l_word): (14, 15, '以为')\n",
      "for t in recognized: ，\n",
      "for t in recognized: 反\n",
      "yield l_word: 以为\n",
      "(x, y-1, l_word): (16, 16, 'r')\n",
      "buf += l_word: r\n",
      "(x, y-1, l_word): (17, 17, 'o')\n",
      "buf += l_word: ro\n",
      "(x, y-1, l_word): (18, 18, 'n')\n",
      "buf += l_word: ron\n",
      "(x, y-1, l_word): (19, 19, 'g')\n",
      "buf += l_word: rong\n",
      "(x, y-1, l_word): (20, 20, ',')\n",
      "buf += l_word: rong,\n",
      "(x, y-1, l_word): (21, 21, ' ')\n",
      "buf += l_word: rong, \n",
      "(x, y-1, l_word): (22, 23, '如来')\n",
      "for t in recognized: rong\n",
      "for t in recognized: , \n",
      "yield l_word: 如来\n",
      "(x, y-1, l_word): (24, 24, '，')\n",
      "buf += l_word: ，\n",
      "(x, y-1, l_word): (25, 25, '你')\n",
      "buf += l_word: ，你\n",
      "(x, y-1, l_word): (26, 26, '是')\n",
      "buf += l_word: ，你是\n",
      "(x, y-1, l_word): (27, 27, '哪')\n",
      "buf += l_word: ，你是哪\n",
      "(x, y-1, l_word): (28, 28, '棵')\n",
      "buf += l_word: ，你是哪棵\n",
      "(x, y-1, l_word): (29, 29, 'c')\n",
      "buf += l_word: ，你是哪棵c\n",
      "(x, y-1, l_word): (30, 30, 'o')\n",
      "buf += l_word: ，你是哪棵co\n",
      "(x, y-1, l_word): (31, 31, 'n')\n",
      "buf += l_word: ，你是哪棵con\n",
      "(x, y-1, l_word): (32, 32, 'g')\n",
      "buf += l_word: ，你是哪棵cong\n",
      "(x, y-1, l_word): (33, 33, '，')\n",
      "buf += l_word: ，你是哪棵cong，\n",
      "(x, y-1, l_word): (34, 35, '快要')\n",
      "for t in recognized: ，\n",
      "for t in recognized: 你\n",
      "for t in recognized: 是\n",
      "for t in recognized: 哪棵\n",
      "for t in recognized: cong\n",
      "for t in recognized: ，\n",
      "yield l_word: 快要\n",
      "(x, y-1, l_word): (36, 36, '刮')\n",
      "buf += l_word: 刮\n",
      "(x, y-1, l_word): (37, 37, '大')\n",
      "buf += l_word: 刮大\n",
      "(x, y-1, l_word): (38, 41, '风风火火')\n",
      "for t in recognized: 刮大\n",
      "yield l_word: 风风火火\n",
      "(x, y-1, l_word): (42, 42, '，')\n",
      "buf += l_word: ，\n",
      "(x, y-1, l_word): (43, 43, 'b')\n",
      "buf += l_word: ，b\n",
      "(x, y-1, l_word): (44, 44, 'l')\n",
      "buf += l_word: ，bl\n",
      "(x, y-1, l_word): (45, 45, 'o')\n",
      "buf += l_word: ，blo\n",
      "(x, y-1, l_word): (46, 46, 'g')\n",
      "buf += l_word: ，blog\n",
      "(x, y-1, l_word): (47, 47, ',')\n",
      "buf += l_word: ，blog,\n",
      "(x, y-1, l_word): (48, 48, ' ')\n",
      "buf += l_word: ，blog, \n",
      "(x, y-1, l_word): (49, 51, '卫斯理')\n",
      "for t in recognized: ，\n",
      "for t in recognized: blog\n",
      "for t in recognized: , \n",
      "yield l_word: 卫斯理\n"
     ]
    }
   ],
   "source": [
    "import json\n",
    "from jieba import finalseg\n",
    "sentence = 'I love你，不以为耻，反以为rong, 如来，你是哪棵cong，快要刮大风风火火，blog, 卫斯理'\n",
    "DAG = tokenizer.get_DAG(sentence)\n",
    "print(\"DAG:\\n\", DAG)\n",
    "route = {}\n",
    "tokenizer.calc(sentence, DAG, route)  #更新route：基于DAG计算最大分词概率路径\n",
    "print(\"route:\\n\", json.dumps(route, indent=2))\n",
    "x = 0\n",
    "buf = ''\n",
    "N = len(sentence)\n",
    "while x < N:\n",
    "    y = route[x][1] + 1 #最大路径结点\n",
    "    l_word = sentence[x:y]\n",
    "    print('(x, y-1, l_word):',(x, y-1, l_word))\n",
    "    if y - x == 1: #单字词\n",
    "        buf += l_word #将挨着的单字词链接\n",
    "        print('buf += l_word:',buf)\n",
    "    else:  #出现多字词\n",
    "        if buf: #多字词的上一组单字词链接缓存\n",
    "            if len(buf) == 1: #如果缓存长度为1\n",
    "                #yield buf\n",
    "                print('if len(buf) == 1:',buf) #不用HMM分词，直接输出\n",
    "                buf = ''\n",
    "            else: #如果缓存长度大于1\n",
    "                if not tokenizer.FREQ.get(buf): #如果该缓存未登录 \n",
    "                    recognized = finalseg.cut(buf) #调HMM对缓存分词（viterbi算法，求最大路径）\n",
    "                    for t in recognized:\n",
    "                        #yield t\n",
    "                        print('for t in recognized:', t)\n",
    "                else: #如果缓存登录了\n",
    "                    for elem in buf: #这个比较奇怪\n",
    "                        #yield elem\n",
    "                        print('for elem in buf', elem)\n",
    "                buf = ''\n",
    "        #yield l_word\n",
    "        print('yield l_word:', l_word)\n",
    "    x = y\n",
    "\n",
    "if buf:#遍历完，最后没有出现多字词，对剩余的缓存进行切分\n",
    "    if len(buf) == 1:\n",
    "        #yield buf\n",
    "        print('buf:',buf)\n",
    "    elif not tokenizer.FREQ.get(buf): #\n",
    "        recognized = finalseg.cut(buf)\n",
    "        for t in recognized:\n",
    "            #yield t\n",
    "            print('t:', t)\n",
    "    else:\n",
    "        for elem in buf:\n",
    "            #yield elem\n",
    "            print('elem:', elem)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "    def get_DAG(self, sentence):\n",
    "        '''\n",
    "        首先检测(check_initialized)进程是否已经加载词库，若未初始化词库则调用initialize函数进行初始化，\n",
    "        initialize中判断有无已经缓存的前缀词典cache_file文件，若有相应的cache文件则直接使用 marshal.load \n",
    "        方法加载前缀词典，若无则通过gen_pfdict对指定的词库dict.txt进行计算生成前缀词典，到jieba进程的初始\n",
    "        化工作完成后就调用get_DAG获得句子的DAG。\n",
    "        '''\n",
    "        self.check_initialized()\n",
    "        DAG = {}    #DAG空字典，用来构建DAG有向无环图\n",
    "        N = len(sentence) #赋值N词的长度\n",
    "        for k in xrange(N): #创建N词长度的列表，进行遍历\n",
    "            tmplist = []  #从字开始能在FREQ中的匹配到的词末尾位置所在的list\n",
    "            i = k\n",
    "            frag = sentence[k] #取传入词中的值，例如k=0,frag=我\n",
    "            while i < N and frag in self.FREQ: # 当传入的词，在FREQ中时，就给tmplist赋值，构建字开始可能去往的所有的路径列表\n",
    "                if self.FREQ[frag]: #每个词，在FREQ中查找，查到，则将下标传入templist中\n",
    "                    tmplist.append(i)   #添加词语所在位置\n",
    "                i += 1      #查找我，后继续查找“我们”是否也在语料库中，直到查不到推出循环\n",
    "                frag = sentence[k:i + 1]  #截取传入值得词语，i=1,时截取 我，i=2时截取我们\n",
    "            if not tmplist:  #当传入值，在语料库中查询不到时，\n",
    "                tmplist.append(k) #新字\n",
    "            DAG[k] = tmplist  #赋值DAG 词典\n",
    "        return DAG"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 函数calc(self, sentence, DAG, route)功能：动态规划查找最大概率路径, 计算全局概率Route\n",
    "\n",
    "* 语句 xrange(N - 1, -1, -1)是从句子的末尾开始计算，\n",
    "* max函数返回的是一个元组，计算方法是log(freq/total)+后一个字得到的最大概率路径的概率。即为动态规划查找最大概率路径。注意动态规划是从后往前。\n",
    "\n",
    "* 动态规划查找最大概率路径\n",
    "    \n",
    "    def calc(self, sentence, DAG, route):\n",
    "        N = len(sentence)\n",
    "        route[N] = (0, 0) \n",
    "        # route[N]:最大路径的值,(0,0):当前这个词的末尾坐标\n",
    "        \n",
    "        # total 为dict.txt词表中，总词数（或总词频），共60101967 个词语（含重复）\n",
    "        # 对概率值取对数:概率相乘变成对数相加,防止相乘造成下溢\n",
    "        logtotal = log(self.total)\n",
    "        \n",
    "        # 从后往前遍历句子 反向计算最大概率路径\n",
    "        for idx in xrange(N - 1, -1, -1):\n",
    "        \n",
    "            # 列表推倒求最大概率对数路径\n",
    "            # route[idx] = max([ (概率对数，词语末字位置) for x in DAG[idx] ])\n",
    "            # 以idx:(概率对数最大值，词语末字位置)键值对形式保存在route中\n",
    "            # route[x+1][0] 表示 词路径[x+1,N-1]的最大概率对数,\n",
    "            # [x+1][0]即表示取句子x+1位置对应元组(概率对数，词语末字位置)的概率对数\n",
    "            route[idx] = max((log(self.FREQ.get(sentence[idx:x + 1]) or 1) -\n",
    "                              logtotal + route[x + 1][0], x) for x in DAG[idx])\n",
    "                    \n",
    "            #当前位置idx到x路径概率大小表示：log(freq/total)          \n",
    "            #当前位置idx到x的概率 + 词路径[x+1,N-1]的最大概率对数，两者之和取最大：max(log(freq/total) + route[x + 1][0],x)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 99,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(-10, 1)"
      ]
     },
     "execution_count": 99,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "max([(-10,1),(-11,2)])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "###  2.1.2 新词发现 jieba.finalseg.\\__init__"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "中文分词的难点\n",
    "\n",
    "分词规范，词的定义还不明确 (《统计自然语言处理》宗成庆)\n",
    "\n",
    "歧义切分问题，交集型切分问题，多义组合型切分歧义等\n",
    "\n",
    "    结婚的和尚未结婚的 =>\n",
    "    结婚／的／和／尚未／结婚／的\n",
    "    结婚／的／和尚／未／结婚／的\n",
    "    未登录词问题\n",
    "\n",
    "有两种解释：一是已有的词表中没有收录的词，二是已有的训练语料中未曾出现过的词，第二种含义中未登录词又称OOV(Out of Vocabulary)。对于大规模\n",
    "\n",
    "真实文本来说，未登录词对于分词的精度的影响远超歧义切分。一些网络新词，自造词一般都属于这些词。\n",
    "\n",
    "因此可以看到，未登录词是分词中的一个重要问题，jieba分词中对于OOV的解决方法是：\n",
    "#### 采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法。\n",
    "\n",
    "参考：https://blog.csdn.net/daniel_ustc/article/details/48248393"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 函数  finalseg.cut(sentence) 切分未登录词\n",
    "    def cut(sentence):\n",
    "        sentence = strdecode(sentence)\n",
    "        blocks = re_han.split(sentence)\n",
    "        for blk in blocks:\n",
    "            if re_han.match(blk):\n",
    "                for word in __cut(blk):  #采用HMM切分未登录词\n",
    "                    if word not in Force_Split_Words:\n",
    "                        yield word\n",
    "                    else:\n",
    "                        for c in word:\n",
    "                            yield c\n",
    "            else:\n",
    "                tmp = re_skip.split(blk)\n",
    "                for x in tmp:\n",
    "                    if x:\n",
    "                        yield x\n",
    "    def __cut(sentence):\n",
    "        global emit_P\n",
    "        prob, pos_list = viterbi(sentence, 'BMES', start_P, trans_P, emit_P) #维特比算法\n",
    "        #初始状态矩阵，状态转移矩阵，发射矩阵，可能状态BMES\n",
    "        \n",
    "        begin, nexti = 0, 0\n",
    "        # print pos_list, sentence\n",
    "        for i, char in enumerate(sentence):\n",
    "            pos = pos_list[i]\n",
    "            if pos == 'B':\n",
    "                begin = i\n",
    "            elif pos == 'E':\n",
    "                yield sentence[begin:i + 1] #\n",
    "                nexti = i + 1\n",
    "            elif pos == 'S':\n",
    "                yield char\n",
    "                nexti = i + 1\n",
    "        if nexti < len(sentence):\n",
    "            yield sentence[nexti:]"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![jupyter](https://img-blog.csdn.net/20171204192545422)\n",
    "\n",
    "![jupyter](https://img-blog.csdn.net/20171204192653714)\n",
    "![jupyter](https://img-blog.csdn.net/20171204192754364)\n",
    "![jupyter](https://img-blog.csdn.net/20180925105839852?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE2MjM0NjEz/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)\n",
    "\n",
    "维特比算法的基础可以概括为下面三点（来源于吴军：数学之美）： \n",
    "\n",
    "1、如果概率最大的路径经过篱笆网络的某点，则从开始点到该点的子路径也一定是从开始到该点路径中概率最大的。 \n",
    "\n",
    "2、假定第i时刻有k个状态，从开始到i时刻的k个状态有k条最短路径，而最终的最短路径必然经过其中的一条。 \n",
    "\n",
    "3、根据上述性质，在计算第i+1状态的最短路径时，只需要考虑从开始到当前的k个状态值的最短路径和当前状态值到第i+1状态值的最短路径即可，如求t=3时的最短路径，等于求t=2时的所有状态结点x2i的最短路径加上t=2到t=3的各节点的最短路径。\n",
    "\n",
    "参考：https://blog.csdn.net/hudashi/article/details/87875259"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "    参考：\n",
    "    https://blog.csdn.net/sinat_26811377/article/details/100693627?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-1\n",
    "    https://blog.csdn.net/hudashi/article/details/87875259\n",
    "    def viterbi(obs, states, start_p, trans_p, emit_p):\n",
    "        V = [{}]  # tabular\n",
    "        path = {}\n",
    "        # 时刻t = 0，初始状态\n",
    "        for y in states:  \n",
    "            #在0时刻各种可能状态的概率 log(P(y)) + log(P(obs[0]|y))\n",
    "            V[0][y] = start_p[y] + emit_p[y].get(obs[0], MIN_FLOAT)\n",
    "            path[y] = [y]\n",
    "        # 时刻t = 1,...,len(obs) - 1\n",
    "        for t in xrange(1, len(obs)):\n",
    "            V.append({})\n",
    "            newpath = {}\n",
    "            # 当前时刻所处的各种可能的状态\n",
    "            for y in states:\n",
    "                # 获取t时刻各种可能的发射概率\n",
    "                em_p = emit_p[y].get(obs[t], MIN_FLOAT)\n",
    "                # log(P())\n",
    "                # 其中，PrevStatus[y]是当前时刻的状态所对应上一时刻可能的状态\n",
    "                (prob, state) = max(\n",
    "                    [(V[t - 1][y0] + trans_p[y0].get(y, MIN_FLOAT) + em_p, y0) for y0 in PrevStatus[y]])\n",
    "                V[t][y] = prob\n",
    "                # 将上一时刻最优的状态 + 这一时刻的状态\n",
    "                newpath[y] = path[state] + [y]\n",
    "            path = newpath\n",
    "\n",
    "        # 最后一个时刻\n",
    "        (prob, state) = max((V[len(obs) - 1][y], y) for y in 'ES')\n",
    "\n",
    "        # 返回最大概率对数和最优路径\n",
    "        return (prob, path[state])\n",
    "\n",
    "\n",
    "    \n",
    "    PrevStatus = {\n",
    "    'B': 'ES',\n",
    "    'M': 'MB',\n",
    "    'S': 'SE',\n",
    "    'E': 'BM'\n",
    "    }"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.1.3 Tokenizer类运行分析"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 131,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(<Tokenizer dictionary=None>,\n",
       " {'lock': <unlocked _thread.RLock object owner=0 count=0 at 0x0000021703499240>,\n",
       "  'dictionary': None,\n",
       "  'FREQ': {},\n",
       "  'total': 0,\n",
       "  'user_word_tag_tab': {},\n",
       "  'initialized': False,\n",
       "  'tmp_dir': None,\n",
       "  'cache_file': None})"
      ]
     },
     "execution_count": 131,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from jieba import Tokenizer\n",
    "tokenizer = Tokenizer()\n",
    "tokenizer, tokenizer.__dict__"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "tokenizer初始化"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 132,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Building prefix dict from the default dictionary ...\n",
      "Dumping model to file cache C:\\Users\\86185\\AppData\\Local\\Temp\\jieba.cache\n",
      "Loading model cost 0.985 seconds.\n",
      "Prefix dict has been built successfully.\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "1.0771776999899885"
      ]
     },
     "execution_count": 132,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#tokenizer.initialize() 加载用时分析\n",
    "import timeit\n",
    "fun = tokenizer.initialize  \n",
    "timeit.timeit(stmt=fun,number=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'lock': <unlocked _thread.RLock object owner=0 count=0 at 0x000002177229DD80>,\n",
       " 'dictionary': None,\n",
       " 'FREQ': {'AT&T': 3,\n",
       "  'A': 0,\n",
       "  'AT': 0,\n",
       "  'AT&': 0,\n",
       "  'B超': 3,\n",
       "  'B': 0,\n",
       "  'c#': 3,\n",
       "  'c': 0,\n",
       "  'C#': 3,\n",
       "  'C': 0,\n",
       "  'c++': 3,\n",
       "  'c+': 0,\n",
       "  'C++': 3,\n",
       "  'C+': 0,\n",
       "  'T恤': 4,\n",
       "  'T': 0,\n",
       "  'A座': 3,\n",
       "  'A股': 3,\n",
       "  'A型': 3,\n",
       "  'A轮': 3,\n",
       "  'AA制': 3,\n",
       "  'AA': 0,\n",
       "  'AB型': 3,\n",
       "  'AB': 0,\n",
       "  'B座': 3,\n",
       "  'B股': 3,\n",
       "  'B型': 3,\n",
       "  'B轮': 3,\n",
       "  'BB机': 3,\n",
       "  'BB': 0,\n",
       "  'BP机': 3,\n",
       "  'BP': 0,\n",
       "  'C盘': 3,\n",
       "  'C座': 3,\n",
       "  'C语言': 3,\n",
       "  'C语': 0,\n",
       "  'CD盒': 3,\n",
       "  'CD': 0,\n",
       "  'CD机': 3,\n",
       "  'CALL机': 3,\n",
       "  'CA': 0,\n",
       "  'CAL': 0,\n",
       "  'CALL': 0,\n",
       "  'D盘': 3,\n",
       "  'D': 0,\n",
       "  'D座': 3,\n",
       "  'D版': 3,\n",
       "  'E盘': 3,\n",
       "  'E': 0,\n",
       "  'E座': 3,\n",
       "  'E化': 3,\n",
       "  'E通': 3,\n",
       "  'F盘': 3,\n",
       "  'F': 0,\n",
       "  'F座': 3,\n",
       "  'G盘': 3,\n",
       "  'G': 0,\n",
       "  'H盘': 3,\n",
       "  'H': 0,\n",
       "  'H股': 3,\n",
       "  'I盘': 3,\n",
       "  'I': 0,\n",
       "  'IC卡': 3,\n",
       "  'IC': 0,\n",
       "  'IP卡': 3,\n",
       "  'IP': 0,\n",
       "  'IP电话': 3,\n",
       "  'IP电': 0,\n",
       "  'IP地址': 3,\n",
       "  'IP地': 0,\n",
       "  'K党': 3,\n",
       "  'K': 0,\n",
       "  'K歌之王': 3,\n",
       "  'K歌': 0,\n",
       "  'K歌之': 0,\n",
       "  'N年': 3,\n",
       "  'N': 0,\n",
       "  'O型': 3,\n",
       "  'O': 0,\n",
       "  'PC机': 3,\n",
       "  'P': 0,\n",
       "  'PC': 0,\n",
       "  'PH值': 3,\n",
       "  'PH': 0,\n",
       "  'SIM卡': 3,\n",
       "  'S': 0,\n",
       "  'SI': 0,\n",
       "  'SIM': 0,\n",
       "  'U盘': 3,\n",
       "  'U': 0,\n",
       "  'VISA卡': 3,\n",
       "  'V': 0,\n",
       "  'VI': 0,\n",
       "  'VIS': 0,\n",
       "  'VISA': 0,\n",
       "  'Z盘': 3,\n",
       "  'Z': 0,\n",
       "  'Q版': 3,\n",
       "  'Q': 0,\n",
       "  'QQ号': 3,\n",
       "  'QQ': 0,\n",
       "  'RSS订阅': 3,\n",
       "  'R': 0,\n",
       "  'RS': 0,\n",
       "  'RSS': 0,\n",
       "  'RSS订': 0,\n",
       "  'T盘': 3,\n",
       "  'X光': 3,\n",
       "  'X': 0,\n",
       "  'X光线': 3,\n",
       "  'X射线': 3,\n",
       "  'X射': 0,\n",
       "  'γ射线': 3,\n",
       "  'γ': 0,\n",
       "  'γ射': 0,\n",
       "  'T恤衫': 3,\n",
       "  'T型台': 3,\n",
       "  'T型': 0,\n",
       "  'T台': 3,\n",
       "  '4S店': 3,\n",
       "  '4': 0,\n",
       "  '4S': 0,\n",
       "  '4s店': 3,\n",
       "  '4s': 0,\n",
       "  '江南style': 3,\n",
       "  '江': 6083,\n",
       "  '江南': 4986,\n",
       "  '江南s': 0,\n",
       "  '江南st': 0,\n",
       "  '江南sty': 0,\n",
       "  '江南styl': 0,\n",
       "  '江南Style': 3,\n",
       "  '江南S': 0,\n",
       "  '江南St': 0,\n",
       "  '江南Sty': 0,\n",
       "  '江南Styl': 0,\n",
       "  '1号店': 3,\n",
       "  '1': 0,\n",
       "  '1号': 0,\n",
       "  '小S': 3,\n",
       "  '小': 57969,\n",
       "  '大S': 3,\n",
       "  '大': 144099,\n",
       "  '阿Q': 3,\n",
       "  '阿': 6905,\n",
       "  '一': 217830,\n",
       "  '一一': 1670,\n",
       "  '一一二': 11,\n",
       "  '一一例': 3,\n",
       "  '一一分': 8,\n",
       "  '一一列举': 34,\n",
       "  '一一列': 0,\n",
       "  '一一对': 9,\n",
       "  '一一对应': 43,\n",
       "  '一一记': 2,\n",
       "  '一一道来': 4,\n",
       "  '一一道': 0,\n",
       "  '一丁': 18,\n",
       "  '一丁不识': 3,\n",
       "  '一丁不': 0,\n",
       "  '一丁点': 3,\n",
       "  '一丁点儿': 24,\n",
       "  '一七': 22,\n",
       "  '一七八不': 3,\n",
       "  '一七八': 0,\n",
       "  '一万': 442,\n",
       "  '一万一千': 4,\n",
       "  '一万一': 0,\n",
       "  '一万一千五百二十颗': 2,\n",
       "  '一万一千五': 0,\n",
       "  '一万一千五百': 0,\n",
       "  '一万一千五百二': 0,\n",
       "  '一万一千五百二十': 0,\n",
       "  '一万一千八百八十斤': 2,\n",
       "  '一万一千八': 0,\n",
       "  '一万一千八百': 0,\n",
       "  '一万一千八百八': 0,\n",
       "  '一万一千八百八十': 0,\n",
       "  '一万一千多间': 2,\n",
       "  '一万一千多': 0,\n",
       "  '一万一千零九十五册': 4,\n",
       "  '一万一千零': 0,\n",
       "  '一万一千零九': 0,\n",
       "  '一万一千零九十': 0,\n",
       "  '一万一千零九十五': 0,\n",
       "  '一万七千': 5,\n",
       "  '一万七': 0,\n",
       "  '一万七千余': 2,\n",
       "  '一万七千多': 2,\n",
       "  '一万七千多户': 2,\n",
       "  '一万万': 4,\n",
       "  '一万万两': 4,\n",
       "  '一万三千': 8,\n",
       "  '一万三': 0,\n",
       "  '一万三千五百一十七': 2,\n",
       "  '一万三千五': 0,\n",
       "  '一万三千五百': 0,\n",
       "  '一万三千五百一': 0,\n",
       "  '一万三千五百一十': 0,\n",
       "  '一万三千五百斤': 4,\n",
       "  '一万三千余种': 2,\n",
       "  '一万三千余': 0,\n",
       "  '一万三千块': 2,\n",
       "  '一万两': 124,\n",
       "  '一万两万': 4,\n",
       "  '一万两千': 3,\n",
       "  '一万个': 62,\n",
       "  '一万九千': 2,\n",
       "  '一万九': 0,\n",
       "  '一万九千余': 2,\n",
       "  '一万二': 10,\n",
       "  '一万二千': 7,\n",
       "  '一万二千两': 2,\n",
       "  '一万二千五百': 4,\n",
       "  '一万二千五': 0,\n",
       "  '一万二千五百一十二': 2,\n",
       "  '一万二千五百一': 0,\n",
       "  '一万二千五百一十': 0,\n",
       "  '一万二千五百余': 2,\n",
       "  '一万二千五百余吨': 2,\n",
       "  '一万二千亩': 2,\n",
       "  '一万二千余': 2,\n",
       "  '一万二千六百八十二箱': 2,\n",
       "  '一万二千六': 0,\n",
       "  '一万二千六百': 0,\n",
       "  '一万二千六百八': 0,\n",
       "  '一万二千六百八十': 0,\n",
       "  '一万二千六百八十二': 0,\n",
       "  '一万二千名': 3,\n",
       "  '一万二千里': 3,\n",
       "  '一万五': 6,\n",
       "  '一万五千': 45,\n",
       "  '一万五千一百四十四卷': 2,\n",
       "  '一万五千一': 0,\n",
       "  '一万五千一百': 0,\n",
       "  '一万五千一百四': 0,\n",
       "  '一万五千一百四十': 0,\n",
       "  '一万五千一百四十四': 0,\n",
       "  '一万五千两': 4,\n",
       "  '一万五千个': 2,\n",
       "  '一万五千二百余': 2,\n",
       "  '一万五千二': 0,\n",
       "  '一万五千二百': 0,\n",
       "  '一万五千余': 9,\n",
       "  '一万五千元': 3,\n",
       "  '一万五千名': 4,\n",
       "  '一万五千多': 2,\n",
       "  '一万五千家': 2,\n",
       "  '一万亿': 3,\n",
       "  '一万亿美元': 5,\n",
       "  '一万亿美': 0,\n",
       "  '一万余': 41,\n",
       "  '一万余吨': 2,\n",
       "  '一万余顷': 2,\n",
       "  '一万倍': 14,\n",
       "  '一万元': 61,\n",
       "  '一万八': 5,\n",
       "  '一万八千': 7,\n",
       "  '一万八千余': 8,\n",
       "  '一万八千多元': 2,\n",
       "  '一万八千多': 0,\n",
       "  '一万公里': 2,\n",
       "  '一万公': 0,\n",
       "  '一万六千': 5,\n",
       "  '一万六': 0,\n",
       "  '一万六千三百户': 2,\n",
       "  '一万六千三': 0,\n",
       "  '一万六千三百': 0,\n",
       "  '一万六千余户': 2,\n",
       "  '一万六千余': 0,\n",
       "  '一万六千多': 3,\n",
       "  '一万册': 2,\n",
       "  '一万刀': 7,\n",
       "  '一万匹': 4,\n",
       "  '一万卷': 2,\n",
       "  '一万双': 6,\n",
       "  '一万发': 2,\n",
       "  '一万句': 11,\n",
       "  '一万只': 9,\n",
       "  '一万名': 16,\n",
       "  '一万四千': 3,\n",
       "  '一万四': 0,\n",
       "  '一万四千二百四十三户': 2,\n",
       "  '一万四千二': 0,\n",
       "  '一万四千二百': 0,\n",
       "  '一万四千二百四': 0,\n",
       "  '一万四千二百四十': 0,\n",
       "  '一万四千二百四十三': 0,\n",
       "  '一万四千余顷': 2,\n",
       "  '一万四千余': 0,\n",
       "  '一万四千多元': 3,\n",
       "  '一万四千多': 0,\n",
       "  '一万回': 2,\n",
       "  '一万块': 49,\n",
       "  '一万声': 2,\n",
       "  '一万多': 86,\n",
       "  '一万多一点': 2,\n",
       "  '一万多一': 0,\n",
       "  '一万多两': 9,\n",
       "  '一万多个': 10,\n",
       "  '一万多例': 2,\n",
       "  '一万多元': 10,\n",
       "  '一万多只': 2,\n",
       "  '一万多名': 26,\n",
       "  '一万多块': 6,\n",
       "  '一万多平方公里': 2,\n",
       "  '一万多平': 0,\n",
       "  '一万多平方': 0,\n",
       "  '一万多平方公': 0,\n",
       "  '一万多年': 4,\n",
       "  '一万多斤': 3,\n",
       "  '一万多顷': 2,\n",
       "  '一万天': 2,\n",
       "  '一万头': 2,\n",
       "  '一万宗': 2,\n",
       "  '一万家': 8,\n",
       "  '一万左右': 3,\n",
       "  '一万左': 0,\n",
       "  '一万年': 39,\n",
       "  '一万张': 3,\n",
       "  '一万户': 5,\n",
       "  '一万斤': 9,\n",
       "  '一万条': 4,\n",
       "  '一万次': 16,\n",
       "  '一万步': 30,\n",
       "  '一万盏': 4,\n",
       "  '一万种': 2,\n",
       "  '一万贯': 4,\n",
       "  '一万遍': 9,\n",
       "  '一万里': 4,\n",
       "  '一万间': 5,\n",
       "  '一万零五百亿斤': 2,\n",
       "  '一万零': 0,\n",
       "  '一万零五': 0,\n",
       "  '一万零五百': 0,\n",
       "  '一万零五百亿': 0,\n",
       "  '一丈': 298,\n",
       "  '一三': 19,\n",
       "  '一三五': 6,\n",
       "  '一三六八': 2,\n",
       "  '一三六': 0,\n",
       "  '一三四团': 3,\n",
       "  '一三四': 0,\n",
       "  '一上': 3,\n",
       "  '一上午': 53,\n",
       "  '一上台': 3,\n",
       "  '一上场': 3,\n",
       "  '一下': 13924,\n",
       "  '一下一下': 22,\n",
       "  '一下一': 0,\n",
       "  '一下下': 37,\n",
       "  '一下二十': 2,\n",
       "  '一下二': 0,\n",
       "  '一下余': 2,\n",
       "  '一下全部': 3,\n",
       "  '一下全': 0,\n",
       "  '一下十三': 2,\n",
       "  '一下十': 0,\n",
       "  '一下半': 3,\n",
       "  '一下周': 3,\n",
       "  '一下四周': 6,\n",
       "  '一下四': 0,\n",
       "  '一下圈': 2,\n",
       "  '一下场': 3,\n",
       "  '一下头': 54,\n",
       "  '一下子': 2333,\n",
       "  '一下子全部': 3,\n",
       "  '一下子全': 0,\n",
       "  '一下子发': 2,\n",
       "  '一下子多出': 2,\n",
       "  '一下子多': 0,\n",
       "  '一下子成': 16,\n",
       "  '一下子打': 10,\n",
       "  '一下子把': 61,\n",
       "  '一下子站': 15,\n",
       "  '一下子脸': 3,\n",
       "  '一下床': 6,\n",
       "  '一下张': 8,\n",
       "  '一下手': 17,\n",
       "  '一下眼': 10,\n",
       "  '一下站': 25,\n",
       "  '一下肚子': 2,\n",
       "  '一下肚': 0,\n",
       "  '一下脸': 10,\n",
       "  '一下页': 2,\n",
       "  '一下顶': 5,\n",
       "  '一下顿': 2,\n",
       "  '一下首': 2,\n",
       "  '一不做': 87,\n",
       "  '一不': 0,\n",
       "  '一不压众': 3,\n",
       "  '一不压': 0,\n",
       "  '一不小心': 125,\n",
       "  '一不小': 0,\n",
       "  '一不怕苦': 10,\n",
       "  '一不怕': 0,\n",
       "  '一不扭众': 3,\n",
       "  '一不扭': 0,\n",
       "  '一不注意': 3,\n",
       "  '一不注': 0,\n",
       "  '一不留神': 3,\n",
       "  '一不留': 0,\n",
       "  '一专多能': 27,\n",
       "  '一专': 0,\n",
       "  '一专多': 0,\n",
       "  '一世': 770,\n",
       "  '一世之雄': 2,\n",
       "  '一世之': 0,\n",
       "  '一世英名': 3,\n",
       "  '一世英': 0,\n",
       "  '一世龙门': 3,\n",
       "  '一世龙': 0,\n",
       "  '一丘一壑': 3,\n",
       "  '一丘': 0,\n",
       "  '一丘一': 0,\n",
       "  '一丘之貉': 12,\n",
       "  '一丘之': 0,\n",
       "  '一业': 37,\n",
       "  '一业为主': 3,\n",
       "  '一业为': 0,\n",
       "  '一丛丛': 31,\n",
       "  '一丛': 0,\n",
       "  '一丝': 1186,\n",
       "  '一丝一毫': 67,\n",
       "  '一丝一': 0,\n",
       "  '一丝不挂': 60,\n",
       "  '一丝不': 0,\n",
       "  '一丝不紊': 3,\n",
       "  '一丝不苟': 112,\n",
       "  '一丝丝': 58,\n",
       "  '一丝两气': 3,\n",
       "  '一丝两': 0,\n",
       "  '一丝半粟': 3,\n",
       "  '一丝半': 0,\n",
       "  '一两': 382,\n",
       "  '一两一': 2,\n",
       "  '一两一两': 2,\n",
       "  '一两万': 40,\n",
       "  '一两万元': 6,\n",
       "  '一两万块': 4,\n",
       "  '一两万美元': 2,\n",
       "  '一两万美': 0,\n",
       "  '一两丈': 5,\n",
       "  '一两下': 7,\n",
       "  '一两个': 424,\n",
       "  '一两九十元': 2,\n",
       "  '一两九': 0,\n",
       "  '一两九十': 0,\n",
       "  '一两二两': 3,\n",
       "  '一两二': 0,\n",
       "  '一两五': 4,\n",
       "  '一两件': 39,\n",
       "  '一两倍': 4,\n",
       "  '一两八': 5,\n",
       "  '一两分': 7,\n",
       "  '一两分钟': 17,\n",
       "  '一两千': 38,\n",
       "  '一两千元': 3,\n",
       "  '一两千块': 2,\n",
       "  '一两千平方米': 2,\n",
       "  '一两千平': 0,\n",
       "  '一两千平方': 0,\n",
       "  '一两千架': 2,\n",
       "  '一两半两': 2,\n",
       "  '一两半': 0,\n",
       "  '一两发': 2,\n",
       "  '一两口': 7,\n",
       "  '一两句': 68,\n",
       "  '一两句话': 3,\n",
       "  '一两只': 21,\n",
       "  '一两叶': 2,\n",
       "  '一两名': 8,\n",
       "  '一两周': 4,\n",
       "  '一两回': 8,\n",
       "  '一两场': 10,\n",
       "  '一两块': 4,\n",
       "  '一两声': 24,\n",
       "  '一两处': 14,\n",
       "  '一两多': 5,\n",
       "  '一两天': 169,\n",
       "  '一两套': 7,\n",
       "  '一两家': 13,\n",
       "  '一两寸': 3,\n",
       "  '一两尺': 2,\n",
       "  '一两岁': 17,\n",
       "  '一两年': 164,\n",
       "  '一两张': 8,\n",
       "  '一两成': 2,\n",
       "  '一两手': 8,\n",
       "  '一两折': 2,\n",
       "  '一两招': 12,\n",
       "  '一两支': 3,\n",
       "  '一两日': 19,\n",
       "  '一两月': 7,\n",
       "  '一两本': 8,\n",
       "  '一两条': 8,\n",
       "  '一两杯': 5,\n",
       "  '一两枚': 8,\n",
       "  '一两株': 2,\n",
       "  '一两样': 13,\n",
       "  '一两根': 4,\n",
       "  '一两次': 73,\n",
       "  '一两款': 2,\n",
       "  '一两步': 5,\n",
       "  '一两点': 19,\n",
       "  '一两片': 6,\n",
       "  '一两百': 7,\n",
       "  '一两百万': 4,\n",
       "  '一两百个': 2,\n",
       "  '一两百元': 5,\n",
       "  '一两百年': 7,\n",
       "  '一两碗': 2,\n",
       "  '一两秒': 3,\n",
       "  '一两篇': 5,\n",
       "  '一两米': 6,\n",
       "  '一两辆': 2,\n",
       "  '一两遍': 2,\n",
       "  '一两部': 6,\n",
       "  '一两里': 3,\n",
       "  '一两重': 5,\n",
       "  '一两门': 3,\n",
       "  '一两间': 4,\n",
       "  '一两页': 17,\n",
       "  '一两项': 6,\n",
       "  '一两颗': 5,\n",
       "  '一两首': 3,\n",
       "  '一个': 142747,\n",
       "  '一个一个把': 2,\n",
       "  '一个一': 0,\n",
       "  '一个一个': 0,\n",
       "  '一个一千多年': 2,\n",
       "  '一个一千': 0,\n",
       "  '一个一千多': 0,\n",
       "  '一个一号': 2,\n",
       "  '一个一尺': 2,\n",
       "  '一个一岁': 4,\n",
       "  '一个一百多年': 2,\n",
       "  '一个一百': 0,\n",
       "  '一个一百多': 0,\n",
       "  '一个一百多斤': 2,\n",
       "  '一个一米': 3,\n",
       "  '一个七八': 2,\n",
       "  '一个七': 0,\n",
       "  '一个七八岁': 8,\n",
       "  '一个七十': 2,\n",
       "  '一个七十岁': 2,\n",
       "  '一个七品': 4,\n",
       "  '一个七岁': 2,\n",
       "  '一个万里': 2,\n",
       "  '一个万': 0,\n",
       "  '一个三十': 19,\n",
       "  '一个三': 0,\n",
       "  '一个三十余岁': 2,\n",
       "  '一个三十余': 0,\n",
       "  '一个三十出头': 3,\n",
       "  '一个三十出': 0,\n",
       "  '一个三十多岁': 25,\n",
       "  '一个三十多': 0,\n",
       "  '一个三十岁': 6,\n",
       "  '一个三品': 3,\n",
       "  '一个三四岁': 3,\n",
       "  '一个三四': 0,\n",
       "  '一个三四百': 2,\n",
       "  '一个三天': 4,\n",
       "  '一个三层': 4,\n",
       "  '一个三岁': 7,\n",
       "  '一个三维': 4,\n",
       "  '一个三面': 3,\n",
       "  '一个两万四千元': 2,\n",
       "  '一个两': 0,\n",
       "  '一个两万': 0,\n",
       "  '一个两万四': 0,\n",
       "  '一个两万四千': 0,\n",
       "  '一个两万多': 4,\n",
       "  '一个两岁': 7,\n",
       "  '一个个': 2055,\n",
       "  '一个九十度': 2,\n",
       "  '一个九': 0,\n",
       "  '一个九十': 0,\n",
       "  '一个九品': 3,\n",
       "  '一个九头': 4,\n",
       "  '一个九岁': 3,\n",
       "  '一个九曲': 2,\n",
       "  '一个二两': 2,\n",
       "  '一个二': 0,\n",
       "  '一个二元': 7,\n",
       "  '一个二十': 11,\n",
       "  '一个二十七八岁': 3,\n",
       "  '一个二十七': 0,\n",
       "  '一个二十七八': 0,\n",
       "  '一个二十三岁': 3,\n",
       "  '一个二十三': 0,\n",
       "  '一个二十五六岁': 7,\n",
       "  '一个二十五': 0,\n",
       "  '一个二十五六': 0,\n",
       "  '一个二十五岁': 3,\n",
       "  '一个二十多岁': 13,\n",
       "  '一个二十多': 0,\n",
       "  '一个二十岁': 6,\n",
       "  '一个二维': 4,\n",
       "  '一个二重': 3,\n",
       "  '一个五六岁': 2,\n",
       "  '一个五': 0,\n",
       "  '一个五六': 0,\n",
       "  '一个五十': 11,\n",
       "  '一个五十两': 2,\n",
       "  '一个五十余岁': 2,\n",
       "  '一个五十余': 0,\n",
       "  '一个五十多岁': 16,\n",
       "  '一个五十多': 0,\n",
       "  '一个五十岁': 3,\n",
       "  '一个五十左右': 2,\n",
       "  '一个五十左': 0,\n",
       "  '一个五品': 5,\n",
       "  '一个五尺': 2,\n",
       "  '一个五岁': 12,\n",
       "  '一个五百': 2,\n",
       "  '一个五袋': 2,\n",
       "  '一个亿': 24,\n",
       "  '一个亿万': 4,\n",
       "  '一个伍': 2,\n",
       "  '一个八九十岁': 2,\n",
       "  '一个八': 0,\n",
       "  '一个八九': 0,\n",
       "  '一个八九十': 0,\n",
       "  '一个八九岁': 6,\n",
       "  '一个八品': 2,\n",
       "  '一个八岁': 2,\n",
       "  '一个六七岁': 5,\n",
       "  '一个六': 0,\n",
       "  '一个六七': 0,\n",
       "  '一个六十': 2,\n",
       "  '一个六十七岁': 2,\n",
       "  '一个六十七': 0,\n",
       "  '一个六十多': 2,\n",
       "  '一个六十多岁': 2,\n",
       "  '一个六十岁': 2,\n",
       "  '一个六口': 2,\n",
       "  '一个六品': 16,\n",
       "  '一个六尺': 2,\n",
       "  '一个六层': 2,\n",
       "  '一个六岁': 6,\n",
       "  '一个几万': 6,\n",
       "  '一个几': 0,\n",
       "  '一个几亿': 17,\n",
       "  '一个几千万元': 2,\n",
       "  '一个几千': 0,\n",
       "  '一个几千万': 0,\n",
       "  '一个几岁': 3,\n",
       "  '一个几百万': 5,\n",
       "  '一个几百': 0,\n",
       "  '一个劲': 42,\n",
       "  '一个劲儿': 143,\n",
       "  '一个劲地': 101,\n",
       "  '一个包': 26,\n",
       "  '一个十': 18,\n",
       "  '一个十一': 4,\n",
       "  '一个十一二岁': 7,\n",
       "  '一个十一二': 0,\n",
       "  '一个十七八岁': 8,\n",
       "  '一个十七': 0,\n",
       "  '一个十七八': 0,\n",
       "  '一个十七岁': 6,\n",
       "  '一个十七级': 2,\n",
       "  '一个十三四岁': 11,\n",
       "  '一个十三': 0,\n",
       "  '一个十三四': 0,\n",
       "  '一个十三岁': 4,\n",
       "  '一个十个': 3,\n",
       "  '一个十九岁': 3,\n",
       "  '一个十九': 0,\n",
       "  '一个十二': 22,\n",
       "  '一个十二三岁': 9,\n",
       "  '一个十二三': 0,\n",
       "  '一个十二岁': 3,\n",
       "  '一个十五六岁': 9,\n",
       "  '一个十五': 0,\n",
       "  '一个十五六': 0,\n",
       "  '一个十五岁': 8,\n",
       "  '一个十余丈': 4,\n",
       "  '一个十余': 0,\n",
       "  '一个十余岁': 2,\n",
       "  '一个十八九岁': 7,\n",
       "  '一个十八': 0,\n",
       "  '一个十八九': 0,\n",
       "  '一个十八岁': 11,\n",
       "  '一个十六七岁': 12,\n",
       "  '一个十六': 0,\n",
       "  '一个十六七': 0,\n",
       "  '一个十六岁': 4,\n",
       "  '一个十几岁': 14,\n",
       "  '一个十几': 0,\n",
       "  '一个十四五岁': 9,\n",
       "  '一个十四': 0,\n",
       "  '一个十四五': 0,\n",
       "  '一个十四岁': 4,\n",
       "  '一个十多岁': 4,\n",
       "  '一个十多': 0,\n",
       "  '一个十岁': 10,\n",
       "  '一个千': 15,\n",
       "  '一个千年': 4,\n",
       "  '一个半': 148,\n",
       "  '一个半头': 4,\n",
       "  '一个半月': 52,\n",
       "  '一个半桩': 2,\n",
       "  '一个双': 30,\n",
       "  '一个名': 76,\n",
       "  '一个响': 21,\n",
       "  '一个四六级': 2,\n",
       "  '一个四': 0,\n",
       "  '一个四六': 0,\n",
       "  '一个四十': 11,\n",
       "  '一个四十余岁': 4,\n",
       "  '一个四十余': 0,\n",
       "  '一个四十出头': 2,\n",
       "  '一个四十出': 0,\n",
       "  '一个四十多岁': 19,\n",
       "  '一个四十多': 0,\n",
       "  '一个四十岁': 4,\n",
       "  '一个四品': 6,\n",
       "  '一个四圈': 2,\n",
       "  '一个四岁': 5,\n",
       "  '一个团': 89,\n",
       "  '一个圈': 29,\n",
       "  '一个多': 378,\n",
       "  '一个多亿': 3,\n",
       "  '一个多元': 8,\n",
       "  '一个多头': 2,\n",
       "  '一个多月': 406,\n",
       "  '一个多项': 2,\n",
       "  '一个天': 93,\n",
       "  '一个头': 70,\n",
       "  '一个套': 14,\n",
       "  '一个家': 94,\n",
       "  '一个少数派': 2,\n",
       "  '一个少': 0,\n",
       "  '一个少数': 0,\n",
       "  '一个尺': 5,\n",
       "  '一个巴掌拍不响': 9,\n",
       "  '一个巴': 0,\n",
       "  '一个巴掌': 0,\n",
       "  '一个巴掌拍': 0,\n",
       "  '一个巴掌拍不': 0,\n",
       "  '一个帖': 8,\n",
       "  '一个床': 9,\n",
       "  '一个心眼': 3,\n",
       "  '一个心': 0,\n",
       "  '一个情节': 3,\n",
       "  '一个情': 0,\n",
       "  '一个愿打': 3,\n",
       "  '一个愿': 0,\n",
       "  '一个愿挨': 3,\n",
       "  '一个打': 86,\n",
       "  '一个拖拉机': 2,\n",
       "  '一个拖': 0,\n",
       "  '一个拖拉': 0,\n",
       "  '一个排': 42,\n",
       "  '一个支': 24,\n",
       "  '一个数万': 3,\n",
       "  '一个数': 0,\n",
       "  '一个整': 13,\n",
       "  '一个整团': 3,\n",
       "  '一个月': 1811,\n",
       "  '一个样': 62,\n",
       "  '一个样儿': 5,\n",
       "  '一个桶': 5,\n",
       "  '一个点': 77,\n",
       "  '一个班': 84,\n",
       "  '一个瓢': 4,\n",
       "  '一个甲子': 5,\n",
       "  '一个甲': 0,\n",
       "  '一个男孩': 3,\n",
       "  '一个男': 0,\n",
       "  '一个百里': 2,\n",
       "  '一个百': 0,\n",
       "  '一个盆': 5,\n",
       "  '一个碗': 17,\n",
       "  '一个程': 5,\n",
       "  '一个第一次': 16,\n",
       "  '一个第': 0,\n",
       "  '一个第一': 0,\n",
       "  '一个第三种': 2,\n",
       "  '一个第三': 0,\n",
       "  '一个筐': 5,\n",
       "  '一个箭步': 3,\n",
       "  '一个箭': 0,\n",
       "  '一个系列': 14,\n",
       "  '一个系': 0,\n",
       "  '一个纸': 36,\n",
       "  '一个组': 18,\n",
       "  '一个终日': 2,\n",
       "  '一个终': 0,\n",
       "  '一个终生': 4,\n",
       "  '一个肚子': 6,\n",
       "  '一个肚': 0,\n",
       "  '一个胎': 2,\n",
       "  '一个脚印': 4,\n",
       "  '一个脚': 0,\n",
       "  '一个舒服': 3,\n",
       "  '一个舒': 0,\n",
       "  '一个萝卜一个坑': 8,\n",
       "  '一个萝': 0,\n",
       "  '一个萝卜': 0,\n",
       "  '一个萝卜一': 0,\n",
       "  '一个萝卜一个': 0,\n",
       "  '一个角': 13,\n",
       "  '一个身': 56,\n",
       "  '一个通': 25,\n",
       "  '一个遍': 7,\n",
       "  '一个集': 20,\n",
       "  '一个零': 10,\n",
       "  '一个顶': 20,\n",
       "  '一个鼻孔': 3,\n",
       "  '一个鼻': 0,\n",
       "  '一中': 5590,\n",
       "  '一中一台': 45,\n",
       "  '一中一': 0,\n",
       "  '一中全会': 227,\n",
       "  '一中全': 0,\n",
       "  '一中院': 13,\n",
       "  '一串': 687,\n",
       "  '一串串': 4,\n",
       "  '一串红': 2,\n",
       "  '一串骊珠': 3,\n",
       "  '一串骊': 0,\n",
       "  '一丸': 3,\n",
       "  '一举': 848,\n",
       "  '一举一动': 190,\n",
       "  '一举一': 0,\n",
       "  '一举万里': 3,\n",
       "  '一举万': 0,\n",
       "  '一举三反': 3,\n",
       "  '一举三': 0,\n",
       "  '一举三得': 13,\n",
       "  '一举两全': 3,\n",
       "  '一举两': 0,\n",
       "  '一举两得': 67,\n",
       "  '一举中标': 3,\n",
       "  '一举中': 0,\n",
       "  '一举之劳': 3,\n",
       "  '一举之': 0,\n",
       "  '一举千里': 3,\n",
       "  '一举千': 0,\n",
       "  '一举四得': 4,\n",
       "  '一举四': 0,\n",
       "  '一举多得': 9,\n",
       "  '一举多': 0,\n",
       "  '一举成名': 204,\n",
       "  '一举成': 0,\n",
       "  '一举手一': 3,\n",
       "  '一举手': 0,\n",
       "  '一举数得': 11,\n",
       "  '一举数': 0,\n",
       "  '一久': 3,\n",
       "  '一义': 3,\n",
       "  '一之为甚': 3,\n",
       "  '一之': 0,\n",
       "  '一之为': 0,\n",
       "  '一之已甚': 3,\n",
       "  '一之已': 0,\n",
       "  '一之谓甚': 3,\n",
       "  '一之谓': 0,\n",
       "  '一乐': 3,\n",
       "  '一乙醇胺': 6,\n",
       "  '一乙': 0,\n",
       "  '一乙醇': 0,\n",
       "  '一九': 25,\n",
       "  '一九一一': 2,\n",
       "  '一九一': 0,\n",
       "  '一九一九年': 5,\n",
       "  '一九一九': 0,\n",
       "  '一九一二年': 2,\n",
       "  '一九一二': 0,\n",
       "  '一九一五年': 2,\n",
       "  '一九一五': 0,\n",
       "  '一九一六年': 4,\n",
       "  '一九一六': 0,\n",
       "  '一九一四年': 3,\n",
       "  '一九一四': 0,\n",
       "  '一九七': 20,\n",
       "  '一九七一年': 8,\n",
       "  '一九七一': 0,\n",
       "  '一九七七': 4,\n",
       "  '一九七七年': 18,\n",
       "  '一九七三年': 8,\n",
       "  '一九七三': 0,\n",
       "  '一九七九年': 23,\n",
       "  '一九七九': 0,\n",
       "  '一九七二年': 12,\n",
       "  '一九七二': 0,\n",
       "  '一九七五年': 8,\n",
       "  '一九七五': 0,\n",
       "  '一九七八': 3,\n",
       "  '一九七八年': 15,\n",
       "  '一九七六': 3,\n",
       "  '一九七六年': 28,\n",
       "  '一九七四年': 5,\n",
       "  '一九七四': 0,\n",
       "  '一九七零年': 4,\n",
       "  '一九七零': 0,\n",
       "  '一九三': 6,\n",
       "  '一九三一年': 4,\n",
       "  '一九三一': 0,\n",
       "  '一九三七年': 23,\n",
       "  '一九三七': 0,\n",
       "  '一九三三年': 4,\n",
       "  '一九三三': 0,\n",
       "  '一九三九年': 17,\n",
       "  '一九三九': 0,\n",
       "  '一九三二年': 3,\n",
       "  '一九三二': 0,\n",
       "  '一九三五年': 9,\n",
       "  '一九三五': 0,\n",
       "  '一九三八年': 17,\n",
       "  '一九三八': 0,\n",
       "  '一九三六年': 17,\n",
       "  '一九三六': 0,\n",
       "  '一九三四年': 4,\n",
       "  '一九三四': 0,\n",
       "  '一九九': 12,\n",
       "  '一九九一年': 6,\n",
       "  '一九九一': 0,\n",
       "  '一九九七': 7,\n",
       "  '一九九七年': 67,\n",
       "  '一九九三': 2,\n",
       "  '一九九三年': 9,\n",
       "  '一九九九年': 18,\n",
       "  '一九九九': 0,\n",
       "  '一九九二': 2,\n",
       "  '一九九二年': 13,\n",
       "  '一九九五年': 20,\n",
       "  '一九九五': 0,\n",
       "  '一九九八': 3,\n",
       "  '一九九八年': 47,\n",
       "  '一九九六': 5,\n",
       "  '一九九六年': 19,\n",
       "  '一九九四年': 12,\n",
       "  '一九九四': 0,\n",
       "  '一九九零年': 3,\n",
       "  '一九九零': 0,\n",
       "  '一九二': 4,\n",
       "  '一九二七年': 15,\n",
       "  '一九二七': 0,\n",
       "  '一九二九': 4,\n",
       "  '一九二九年': 2,\n",
       "  '一九二二年': 3,\n",
       "  '一九二二': 0,\n",
       "  '一九二五年': 5,\n",
       "  '一九二五': 0,\n",
       "  '一九二八年': 6,\n",
       "  '一九二八': 0,\n",
       "  '一九二四年': 6,\n",
       "  '一九二四': 0,\n",
       "  '一九五': 42,\n",
       "  '一九五一年': 21,\n",
       "  '一九五一': 0,\n",
       "  '一九五七年': 22,\n",
       "  '一九五七': 0,\n",
       "  '一九五三年': 19,\n",
       "  '一九五三': 0,\n",
       "  '一九五九年': 13,\n",
       "  '一九五九': 0,\n",
       "  '一九五二年': 26,\n",
       "  '一九五二': 0,\n",
       "  '一九五五年': 17,\n",
       "  '一九五五': 0,\n",
       "  '一九五八年': 12,\n",
       "  '一九五八': 0,\n",
       "  '一九五六年': 10,\n",
       "  '一九五六': 0,\n",
       "  '一九五四年': 21,\n",
       "  '一九五四': 0,\n",
       "  '一九五零年': 2,\n",
       "  '一九五零': 0,\n",
       "  '一九八': 20,\n",
       "  '一九八一年': 19,\n",
       "  '一九八一': 0,\n",
       "  '一九八七年': 5,\n",
       "  '一九八七': 0,\n",
       "  '一九八三年': 14,\n",
       "  '一九八三': 0,\n",
       "  '一九八九': 2,\n",
       "  '一九八九年': 10,\n",
       "  '一九八二年': 16,\n",
       "  '一九八二': 0,\n",
       "  '一九八五年': 9,\n",
       "  '一九八五': 0,\n",
       "  '一九八八年': 11,\n",
       "  '一九八八': 0,\n",
       "  '一九八六年': 13,\n",
       "  '一九八六': 0,\n",
       "  '一九八四年': 16,\n",
       "  '一九八四': 0,\n",
       "  '一九六': 17,\n",
       "  '一九六一年': 8,\n",
       "  '一九六一': 0,\n",
       "  '一九六七年': 17,\n",
       "  '一九六七': 0,\n",
       "  '一九六三年': 22,\n",
       "  '一九六三': 0,\n",
       "  ...},\n",
       " 'total': 60101967,\n",
       " 'user_word_tag_tab': {},\n",
       " 'initialized': True,\n",
       " 'tmp_dir': None,\n",
       " 'cache_file': None}"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer.__dict__"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 134,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<_io.BufferedReader name='C:\\\\Users\\\\86185\\\\Documents\\\\文本挖掘\\\\jieba-master\\\\jieba\\\\dict.txt'>\n",
      "None\n",
      "None\n",
      "60101967\n",
      "{}\n"
     ]
    }
   ],
   "source": [
    "print(tokenizer.get_dict_file())\n",
    "print(tokenizer.cache_file)\n",
    "print(tokenizer.tmp_dir)\n",
    "print(tokenizer.total)\n",
    "print(tokenizer.user_word_tag_tab)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### 手动添加新词"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### ‘冷却水泵’词频为空，说明没有该词"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [],
   "source": [
    "tokenizer.FREQ.get('冷却水泵') #需要增加该词，那它的频率设为多少呢？？"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "suggest_freq 内部实现：\n",
    "\n",
    "    ftotal = float(tokenizer.total) #全局词频\n",
    "    word = segment\n",
    "    freq = 1\n",
    "    for seg in tokenizer.cut(word, HMM=False):  #用默认分词模式分词\n",
    "        freq *= tokenizer.FREQ.get(seg, 1) / ftotal #所分子词词频除以全局词频，子词越多，则频率越小\n",
    "    freq = max(int(freq * tokenizer.total) + 1, tokenizer.FREQ.get(word, 1)) #最小的频数为1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 135,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['冷却', '水泵']\n",
      "772 580\n",
      "1.239561053698521e-10\n",
      "1\n"
     ]
    }
   ],
   "source": [
    "ftotal = float(tokenizer.total) #全局词频\n",
    "word = '冷却水泵'\n",
    "freq = 1\n",
    "ftotal\n",
    "print(list(tokenizer.cut(word, HMM=False))) #['冷却', '水泵']\n",
    "print(tokenizer.FREQ.get('冷却'),tokenizer.FREQ.get('水泵'))\n",
    "for seg in tokenizer.cut(word, HMM=False):  \n",
    "        freq *= tokenizer.FREQ.get(seg, 1) / ftotal \n",
    "print(freq)\n",
    "freq = max(int(freq * tokenizer.total) + 1, tokenizer.FREQ.get(word, 1)) #只要该词未出现在原词典中，则，该词的词频设置为1\n",
    "print(freq)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 141,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1"
      ]
     },
     "execution_count": 141,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer.FREQ.get('中央空调系统')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "手动添加新词方法 tokenizer.add_word"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 144,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['中央空调', '系统', '设计']\n",
      "{0: [0, 1, 3], 1: [1], 2: [2, 3], 3: [3], 4: [4, 5], 5: [5], 6: [6, 7], 7: [7]}\n",
      "['中央空调系统', '设计']\n",
      "{0: [0, 1, 3, 5], 1: [1], 2: [2, 3], 3: [3], 4: [4, 5], 5: [5], 6: [6, 7], 7: [7]}\n"
     ]
    }
   ],
   "source": [
    "tokenizer.suggest_freq('中央空调系统', True) #不能加入新词'中央空调系统'\n",
    "print(list(tokenizer.cut('中央空调系统设计', HMM=False))) #DAG分词\n",
    "print(tokenizer.get_DAG('中央空调系统设计'))\n",
    "#中央空调系统这个词没有加进词典，仍为未登录词\n",
    "tokenizer.add_word('中央空调系统')   #可以加入新词'中央空调系统'\n",
    "print(list(tokenizer.cut('中央空调系统设计', HMM=False))) #DAG分词\n",
    "print(tokenizer.get_DAG('中央空调系统设计'))\n",
    "tokenizer.del_word('中央空调系统')   #可以加入新词'中央空调系统'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{0: [0, 1], 1: [1], 2: [2], 3: [3], 4: [4, 5, 7], 5: [5, 6], 6: [6, 7], 7: [7], 8: [8], 9: [9, 11], 10: [10, 11], 11: [11]}\n"
     ]
    }
   ],
   "source": [
    "sentence = '今天是个阳光明媚的好日子'\n",
    "DAG = tokenizer.get_DAG(sentence)  \n",
    "print(DAG) #DAG代表可能的分词路径"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{12: (0, 0),\n",
       " 11: (-8.054685595854318, 11),\n",
       " 10: (-9.37201153267522, 11),\n",
       " 9: (-12.358593542833603, 11),\n",
       " 8: (-17.59774902869372, 8),\n",
       " 7: (-29.92205349804869, 7),\n",
       " 6: (-30.5188695696702, 7),\n",
       " 5: (-39.1343634500467, 5),\n",
       " 4: (-34.41068986778083, 7),\n",
       " 3: (-40.581879214968744, 3),\n",
       " 2: (-44.904833677361665, 2),\n",
       " 1: (-52.325696091217054, 1),\n",
       " 0: (-53.13854593411308, 1)}"
      ]
     },
     "execution_count": 80,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "route = {}\n",
    "tokenizer.calc(sentence, DAG, route)  #关键方法：返回更新的路径词典route\n",
    "route"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2.2 关键词提取"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.2.1 基于TFIDF提取关键词 ：jieba.analyse.tfidf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "原理介绍见：http://www.ruanyifeng.com/blog/2013/03/tf-idf.html\n",
    "\n",
    "#### 某个词对文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的几个词，就是这篇文章的关键词。\n",
    "\n",
    "![jupyter](http://www.ruanyifeng.com/blogimg/asset/201303/bg2013031506.png)\n",
    "![jupyter](http://www.ruanyifeng.com/blogimg/asset/201303/bg2013031507.png)\n",
    "\n",
    "#### 词频的几种计算方式:\n",
    "![jupyter](http://www.ruanyifeng.com/blogimg/asset/201303/bg2013031503.png)\n",
    "考虑到文章有长短之分，为了便于不同文章的比较，进行\"词频\"标准化。\n",
    "![jupyter](http://www.ruanyifeng.com/blogimg/asset/201303/bg2013031504.png)\n",
    "#### jieba采用的是上图这种\n",
    "\n",
    "或者\n",
    "![jupyter](http://www.ruanyifeng.com/blogimg/asset/201303/bg2013031505.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "    def extract_tags(self, sentence, topK=20, withWeight=False, allowPOS=(), withFlag=False):\n",
    "        \"\"\"\n",
    "        Extract keywords from sentence using TF-IDF algorithm.\n",
    "        Parameter:\n",
    "            - topK: return how many top keywords. `None` for all possible words.\n",
    "            - withWeight: if True, return a list of (word, weight);\n",
    "                          if False, return a list of words.\n",
    "            - allowPOS: the allowed POS list eg. ['ns', 'n', 'vn', 'v','nr'].\n",
    "                        if the POS of w is not in this list,it will be filtered.\n",
    "            - withFlag: only work with allowPOS is not empty.\n",
    "                        if True, return a list of pair(word, weight) like posseg.cut\n",
    "                        if False, return a list of words\n",
    "        \"\"\"\n",
    "        if allowPOS:\n",
    "            allowPOS = frozenset(allowPOS)\n",
    "            words = self.postokenizer.cut(sentence)\n",
    "        else:\n",
    "            words = self.tokenizer.cut(sentence)\n",
    "        freq = {}\n",
    "        for w in words: #先分词\n",
    "            if allowPOS:\n",
    "                if w.flag not in allowPOS:\n",
    "                    continue\n",
    "                elif not withFlag:\n",
    "                    w = w.word\n",
    "            wc = w.word if allowPOS and withFlag else w\n",
    "            if len(wc.strip()) < 2 or wc.lower() in self.stop_words:\n",
    "                continue\n",
    "            freq[w] = freq.get(w, 0.0) + 1.0 #词在sentence中出现的次数--词频\n",
    "        total = sum(freq.values()) #总词频\n",
    "        for k in freq:\n",
    "            kw = k.word if allowPOS and withFlag else k\n",
    "            freq[k] *= self.idf_freq.get(kw, self.median_idf) / total #\n",
    "            #对每个词求tfidf，其中TF = 词频 / total 标准化——解决文本长短不一问题\n",
    "\n",
    "        if withWeight:\n",
    "            tags = sorted(freq.items(), key=itemgetter(1), reverse=True)\n",
    "        else:\n",
    "            tags = sorted(freq, key=freq.__getitem__, reverse=True)\n",
    "        if topK:\n",
    "            return tags[:topK]\n",
    "        else:\n",
    "            return tags"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 152,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.2693009376525879\n"
     ]
    }
   ],
   "source": [
    "import time\n",
    "from jieba.analyse.tfidf import TFIDF\n",
    "\n",
    "start = time.time()\n",
    "tfidf = TFIDF()\n",
    "end = time.time()\n",
    "print(end-start) #加载得很快"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 157,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "dict_keys(['tokenizer', 'postokenizer', 'stop_words', 'idf_loader', 'idf_freq', 'median_idf'])\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "{'tokenizer': <Tokenizer dictionary=None>,\n",
       " 'postokenizer': <POSTokenizer tokenizer=<Tokenizer dictionary=None>>,\n",
       " 'stop_words': {'all',\n",
       "  'an',\n",
       "  'and',\n",
       "  'are',\n",
       "  'as',\n",
       "  'at',\n",
       "  'be',\n",
       "  'by',\n",
       "  'can',\n",
       "  'for',\n",
       "  'from',\n",
       "  'has',\n",
       "  'have',\n",
       "  'if',\n",
       "  'in',\n",
       "  'is',\n",
       "  'it',\n",
       "  'not',\n",
       "  'of',\n",
       "  'on',\n",
       "  'one',\n",
       "  'or',\n",
       "  'that',\n",
       "  'the',\n",
       "  'then',\n",
       "  'this',\n",
       "  'to',\n",
       "  'we',\n",
       "  'which',\n",
       "  'with',\n",
       "  'you'},\n",
       " 'idf_loader': <jieba.analyse.tfidf.IDFLoader at 0x21707c2c208>,\n",
       " 'idf_freq': {'劳动防护': 13.900677652,\n",
       "  '生化学': 13.900677652,\n",
       "  '奥萨贝尔': 13.900677652,\n",
       "  '考察队员': 13.900677652,\n",
       "  '岗上': 11.5027823792,\n",
       "  '倒车档': 12.2912397395,\n",
       "  '编译': 9.21854642485,\n",
       "  '蝶泳': 11.1926274509,\n",
       "  '外委': 11.8212361103,\n",
       "  '故作高深': 11.9547675029,\n",
       "  '尉遂成': 13.2075304714,\n",
       "  '心源性': 11.1926274509,\n",
       "  '现役军人': 10.642581114,\n",
       "  '杜勃留': 13.2075304714,\n",
       "  '包天笑': 13.900677652,\n",
       "  '贾政陪': 13.2075304714,\n",
       "  '托尔湾': 13.900677652,\n",
       "  '多瓦': 12.5143832909,\n",
       "  '多瓣': 13.900677652,\n",
       "  '巴斯特尔': 11.598092559,\n",
       "  '刘皇帝': 12.8020653633,\n",
       "  '亚历山德罗夫': 13.2075304714,\n",
       "  '社会公众': 8.90346537821,\n",
       "  '五百份': 12.8020653633,\n",
       "  '两点阈': 12.5143832909,\n",
       "  '多瓶': 13.900677652,\n",
       "  '冰天': 12.2912397395,\n",
       "  '库布齐': 11.598092559,\n",
       "  '龙川县': 12.8020653633,\n",
       "  '银燕': 11.9547675029,\n",
       "  '历史风貌': 11.8212361103,\n",
       "  '信仰主义': 13.2075304714,\n",
       "  '頷': 10.2897597393,\n",
       "  '好色': 10.0088573539,\n",
       "  '款款而行': 12.5143832909,\n",
       "  '凳子': 8.36728816325,\n",
       "  '二部': 9.93038573842,\n",
       "  '卢巴': 12.1089181827,\n",
       "  '五百五': 13.2075304714,\n",
       "  '鳓': 11.0103058941,\n",
       "  '畅叙': 11.598092559,\n",
       "  '吴栅子': 13.2075304714,\n",
       "  '智力竞赛': 13.900677652,\n",
       "  '库邦': 13.2075304714,\n",
       "  '非正义': 11.3357282945,\n",
       "  '编订': 10.2897597393,\n",
       "  '悲号': 12.8020653633,\n",
       "  '陈庄搭': 13.2075304714,\n",
       "  '二郎': 9.62401153296,\n",
       "  '电光石火': 11.8212361103,\n",
       "  '抢球': 11.9547675029,\n",
       "  '南澳大利亚': 10.9562386728,\n",
       "  '失散多年': 12.5143832909,\n",
       "  '有理有据': 10.9562386728,\n",
       "  '盈利': 5.72260018813,\n",
       "  '弗龙堡': 13.900677652,\n",
       "  '悚然': 10.604840786,\n",
       "  '查吓': 13.2075304714,\n",
       "  '滕县': 10.9049453784,\n",
       "  '毛瑟枪': 12.2912397395,\n",
       "  '好花': 11.2616203224,\n",
       "  '潮州人': 13.900677652,\n",
       "  '头羊': 11.5027823792,\n",
       "  '提足': 12.5143832909,\n",
       "  '书款': 12.2912397395,\n",
       "  '嗤之以鼻': 10.642581114,\n",
       "  '代金券': 11.9547675029,\n",
       "  '公共财产': 11.4157710022,\n",
       "  '文化素质': 10.765183436,\n",
       "  '口称': 10.0505300503,\n",
       "  '聚异丁烯': 12.1089181827,\n",
       "  '终南山': 10.4349417492,\n",
       "  '东安动力': 10.2630914922,\n",
       "  '集训营': 13.2075304714,\n",
       "  '截留': 9.94943393339,\n",
       "  '热烈欢迎': 9.91169360541,\n",
       "  '岗亭': 11.598092559,\n",
       "  '浑球': 13.900677652,\n",
       "  '让座': 10.4349417492,\n",
       "  '迁户': 13.2075304714,\n",
       "  '布尔热': 12.5143832909,\n",
       "  '绣花针儿': 11.598092559,\n",
       "  '二通': 11.8212361103,\n",
       "  '滑雪运动': 11.7034530746,\n",
       "  '程颢': 10.3743171274,\n",
       "  '五百万': 10.9049453784,\n",
       "  '旱荒': 12.5143832909,\n",
       "  '标准线': 13.900677652,\n",
       "  '时后梁': 12.2912397395,\n",
       "  '外备': 12.5143832909,\n",
       "  '绝对权': 13.2075304714,\n",
       "  '蕉麻': 11.5027823792,\n",
       "  '痎': 12.5143832909,\n",
       "  '黎刹': 12.2912397395,\n",
       "  '二十余年': 10.0720362555,\n",
       "  '好苦': 10.8096351986,\n",
       "  '镇心': 11.598092559,\n",
       "  '残茬': 11.598092559,\n",
       "  '从界岭': 12.1089181827,\n",
       "  '湟': 10.2117981979,\n",
       "  '国际经济组织': 11.8212361103,\n",
       "  '五百两': 9.94943393339,\n",
       "  '后手': 11.3357282945,\n",
       "  '广播公司': 10.0720362555,\n",
       "  '诞生地': 10.533381822,\n",
       "  '二遍': 10.8561552143,\n",
       "  '縌': 12.8020653633,\n",
       "  '遂溪': 12.1089181827,\n",
       "  '五百个': 10.8096351986,\n",
       "  '不知高下': 13.900677652,\n",
       "  '盈动': 11.9547675029,\n",
       "  '程颐': 9.89334446674,\n",
       "  '外头': 7.76079309975,\n",
       "  '二道': 9.43476953332,\n",
       "  '外夷': 11.0103058941,\n",
       "  '喷洒车': 13.2075304714,\n",
       "  '过会芳': 13.2075304714,\n",
       "  '含金量': 9.72629038208,\n",
       "  '外壁': 10.7226238216,\n",
       "  '运猪': 13.900677652,\n",
       "  '伶俐': 9.5186510173,\n",
       "  '滑来滑去': 13.2075304714,\n",
       "  '四轮驱动': 10.9562386728,\n",
       "  '多病': 9.75754292558,\n",
       "  '时至今日': 8.81308131674,\n",
       "  '上': 2.52604920291,\n",
       "  '卖火柴': 12.1089181827,\n",
       "  '后接': 12.5143832909,\n",
       "  '发射器': 8.52078029844,\n",
       "  '迭宕': 13.900677652,\n",
       "  '索尼': 9.6811699468,\n",
       "  '鹿角霜': 12.8020653633,\n",
       "  '双日': 11.5027823792,\n",
       "  '用之不竭': 10.8561552143,\n",
       "  '诊病': 11.1280889297,\n",
       "  '职能': 6.70924832194,\n",
       "  '军民联欢': 13.900677652,\n",
       "  '周迥': 13.2075304714,\n",
       "  '策源地': 10.5684731418,\n",
       "  '后掌': 12.8020653633,\n",
       "  '奸夫淫妇': 12.5143832909,\n",
       "  '北五祖': 11.8212361103,\n",
       "  '分析仪器': 11.0103058941,\n",
       "  '加州大学': 11.1926274509,\n",
       "  '服用者': 12.2912397395,\n",
       "  '付出代价': 10.0505300503,\n",
       "  '枯': 9.02548032877,\n",
       "  '小兴安岭': 9.5186510173,\n",
       "  '暴涨暴跌': 9.89334446674,\n",
       "  '额窦': 12.5143832909,\n",
       "  '库里': 10.2117981979,\n",
       "  '和良渚': 12.5143832909,\n",
       "  '后排': 8.81927328699,\n",
       "  '张羽': 11.1280889297,\n",
       "  '落脚点': 10.4349417492,\n",
       "  '多会儿': 11.9547675029,\n",
       "  '地动仪': 11.9547675029,\n",
       "  '外境': 12.2912397395,\n",
       "  '进贤县': 13.2075304714,\n",
       "  '冰塔': 12.8020653633,\n",
       "  '乳腺': 9.25628675283,\n",
       "  '漆绘': 12.2912397395,\n",
       "  '尤尔弗': 13.900677652,\n",
       "  '岗位': 7.86519621945,\n",
       "  '诊疗': 9.15574552361,\n",
       "  '万公斤': 11.2616203224,\n",
       "  '救下来': 11.7034530746,\n",
       "  '折梅': 12.8020653633,\n",
       "  '壑': 9.63799777493,\n",
       "  '虎口脱险': 11.9547675029,\n",
       "  '蜜蜂': 8.78868986362,\n",
       "  '长角牛': 12.1089181827,\n",
       "  '平滑肌': 9.4233408375,\n",
       "  '外墙': 10.3743171274,\n",
       "  '斯坦贝克': 11.4157710022,\n",
       "  '后援': 10.8096351986,\n",
       "  '多疑': 9.25628675283,\n",
       "  '大水沟': 13.2075304714,\n",
       "  '光机所': 13.900677652,\n",
       "  '王治朝': 13.2075304714,\n",
       "  '孤行': 12.5143832909,\n",
       "  '诉讼法': 9.37888907493,\n",
       "  '奥运会': 8.16733637508,\n",
       "  '会合点': 11.7034530746,\n",
       "  '票子': 9.48183704418,\n",
       "  '二重': 10.0505300503,\n",
       "  '声全息图': 13.900677652,\n",
       "  '胡正卿': 12.1089181827,\n",
       "  '教学进度': 13.900677652,\n",
       "  '人证物证': 11.5027823792,\n",
       "  '算进来': 12.8020653633,\n",
       "  '积雨云': 11.0674643079,\n",
       "  '人微言轻': 11.3357282945,\n",
       "  '开路先锋': 11.3357282945,\n",
       "  '董琬': 12.8020653633,\n",
       "  '梁父吟': 12.2912397395,\n",
       "  '两百二十册': 13.2075304714,\n",
       "  '傅大人': 11.2616203224,\n",
       "  '张家辉': 13.900677652,\n",
       "  '百米': 9.02548032877,\n",
       "  '连遭败绩': 12.8020653633,\n",
       "  '暴发户': 9.87532596124,\n",
       "  '多留': 10.0088573539,\n",
       "  '分宜': 12.2912397395,\n",
       "  '汝可先': 12.2912397395,\n",
       "  '宇文泰和': 12.5143832909,\n",
       "  '五百余': 10.4666904475,\n",
       "  '寒潮': 9.05649056552,\n",
       "  '大水池': 12.5143832909,\n",
       "  '陈循': 13.900677652,\n",
       "  '多番': 11.9547675029,\n",
       "  '旱船': 11.7034530746,\n",
       "  '十一名': 11.9547675029,\n",
       "  '慢条斯理': 9.91169360541,\n",
       "  '卢尔': 13.2075304714,\n",
       "  '高低杠': 11.5027823792,\n",
       "  '海西州': 13.2075304714,\n",
       "  '官腔': 10.3743171274,\n",
       "  '求贤若渴': 11.9547675029,\n",
       "  '日喀则市': 11.4157710022,\n",
       "  '多种营养': 12.2912397395,\n",
       "  '新老交替': 13.2075304714,\n",
       "  '手牵着': 11.0674643079,\n",
       "  '书橱': 11.2616203224,\n",
       "  '情郎': 11.7034530746,\n",
       "  '江陵县': 10.4349417492,\n",
       "  '通布卡': 13.900677652,\n",
       "  '医药卫生': 10.2117981979,\n",
       "  '渭川千亩': 13.900677652,\n",
       "  '莫恰洛': 12.5143832909,\n",
       "  '房舱': 13.2075304714,\n",
       "  '冰壁': 10.4349417492,\n",
       "  '焦庄户': 12.8020653633,\n",
       "  '既想': 11.7034530746,\n",
       "  '就业结构': 11.9547675029,\n",
       "  '人类学': 8.81308131674,\n",
       "  '潭州': 10.4666904475,\n",
       "  '训练班': 9.71102290995,\n",
       "  '骚动': 8.61241062128,\n",
       "  '鸿业': 11.5027823792,\n",
       "  '今年底': 8.78868986362,\n",
       "  '好菜': 11.1280889297,\n",
       "  '小亚丁': 13.900677652,\n",
       "  '店伙': 12.8020653633,\n",
       "  '马鞭': 9.66657114738,\n",
       "  '高负荷': 13.900677652,\n",
       "  '房舍': 8.96620371885,\n",
       "  '悲剧': 7.55855623325,\n",
       "  '缅甸': 7.81390292506,\n",
       "  '泌尿器官': 13.900677652,\n",
       "  '免罚': 13.900677652,\n",
       "  '总商会': 11.4157710022,\n",
       "  '口喊着': 13.2075304714,\n",
       "  '截球': 13.2075304714,\n",
       "  '最省': 12.1089181827,\n",
       "  '减薪': 10.642581114,\n",
       "  '辛丑和约': 12.2912397395,\n",
       "  '外寇': 13.2075304714,\n",
       "  '躲藏着': 12.5143832909,\n",
       "  '浮来': 13.2075304714,\n",
       "  '莫尔耶': 13.900677652,\n",
       "  '撒手不管': 10.4994802703,\n",
       "  '卢循': 12.1089181827,\n",
       "  '垬': 7.63537643924,\n",
       "  '枯木朽株': 13.900677652,\n",
       "  '卢德': 12.1089181827,\n",
       "  '多盘': 12.2912397395,\n",
       "  '幽期密约': 13.900677652,\n",
       "  '花生饼': 12.8020653633,\n",
       "  '斯堪尼亚': 13.2075304714,\n",
       "  '易中天': 13.2075304714,\n",
       "  '左膀': 13.900677652,\n",
       "  '多目': 12.8020653633,\n",
       "  '郎咸平': 11.0103058941,\n",
       "  '赏月': 10.0505300503,\n",
       "  '寒威': 12.5143832909,\n",
       "  '贺兰': 10.7226238216,\n",
       "  '邪风': 12.5143832909,\n",
       "  '好者': 13.900677652,\n",
       "  '蒋御史': 13.900677652,\n",
       "  '多相': 10.2630914922,\n",
       "  '古观象台': 11.7034530746,\n",
       "  '好耍': 11.0103058941,\n",
       "  '老谋深算': 10.4041700905,\n",
       "  '后悔': 7.32142643997,\n",
       "  '游嬉恰': 13.900677652,\n",
       "  '伤心落泪': 10.9049453784,\n",
       "  '韩非则': 13.2075304714,\n",
       "  '服用药': 13.2075304714,\n",
       "  '格林卡': 11.5027823792,\n",
       "  '正话': 10.8561552143,\n",
       "  '叶碧秋': 8.49350588052,\n",
       "  '姜丝排': 12.5143832909,\n",
       "  '贺卡': 12.1089181827,\n",
       "  '拖住': 9.21854642485,\n",
       "  '悲凄': 11.0674643079,\n",
       "  '葛翠琳': 13.900677652,\n",
       "  '吴景超': 12.1089181827,\n",
       "  '银灯': 13.2075304714,\n",
       "  '悲凉': 9.35738286971,\n",
       "  '睃': 9.91169360541,\n",
       "  '外客': 12.1089181827,\n",
       "  '外宣': 10.9049453784,\n",
       "  '情报搜集': 11.598092559,\n",
       "  '狗仔队': 13.2075304714,\n",
       "  '裁汰': 10.7226238216,\n",
       "  '践': 10.8561552143,\n",
       "  '位于下面': 13.2075304714,\n",
       "  '子禄父': 12.1089181827,\n",
       "  '埃弗里': 12.5143832909,\n",
       "  '乌尔斯': 13.2075304714,\n",
       "  '外宾': 10.5684731418,\n",
       "  '外宿': 13.900677652,\n",
       "  '咱村': 9.96885201925,\n",
       "  '从宽处理': 11.9547675029,\n",
       "  '赊贷': 11.3357282945,\n",
       "  '免纳': 11.7034530746,\n",
       "  '蜕壳激素': 13.900677652,\n",
       "  '表意文字': 12.1089181827,\n",
       "  '趁心如意': 13.900677652,\n",
       "  '悲叹': 10.604840786,\n",
       "  '人所共知': 10.0088573539,\n",
       "  '家电企业': 10.3743171274,\n",
       "  '距离处': 11.9547675029,\n",
       "  '风情万种': 10.8561552143,\n",
       "  '外存': 12.5143832909,\n",
       "  '外孙': 9.85762638414,\n",
       "  '梅里威': 13.2075304714,\n",
       "  '亚圣': 12.1089181827,\n",
       "  '周至县': 11.5027823792,\n",
       "  '采编部': 13.900677652,\n",
       "  '怀特河': 13.2075304714,\n",
       "  '外学': 11.7034530746,\n",
       "  '马八儿': 12.2912397395,\n",
       "  '圣路易斯': 10.2630914922,\n",
       "  '合线期': 13.900677652,\n",
       "  '凿井': 10.6818018271,\n",
       "  '联贯性': 13.900677652,\n",
       "  '冰室': 13.2075304714,\n",
       "  '显身手': 12.5143832909,\n",
       "  '后怕': 9.91169360541,\n",
       "  '赏析': 12.1089181827,\n",
       "  '瓦德希': 13.2075304714,\n",
       "  '卢彦': 13.900677652,\n",
       "  '切齿痛恨': 11.4157710022,\n",
       "  '不惜一战': 13.900677652,\n",
       "  '千百万': 10.0720362555,\n",
       "  '战斗分队': 12.2912397395,\n",
       "  '夜壶': 10.9562386728,\n",
       "  '配': 8.11071748108,\n",
       "  '古巴共和国': 13.2075304714,\n",
       "  '缘薄': 13.900677652,\n",
       "  '麦禾': 12.8020653633,\n",
       "  '毋须': 11.5027823792,\n",
       "  '测试者': 12.2912397395,\n",
       "  '乌巢劫': 13.2075304714,\n",
       "  '吃大户': 11.2616203224,\n",
       "  '平城南': 13.900677652,\n",
       "  '勠': 12.5143832909,\n",
       "  '风风光光': 11.4157710022,\n",
       "  '镇巴': 12.5143832909,\n",
       "  '江三公子': 13.2075304714,\n",
       "  '拨乱反正': 10.3171587135,\n",
       "  '戒酒': 10.4349417492,\n",
       "  '一千五百多名': 13.2075304714,\n",
       "  '好胜': 11.5027823792,\n",
       "  '多瘦': 13.2075304714,\n",
       "  '最矮': 12.5143832909,\n",
       "  '铺设': 8.68574189437,\n",
       "  '最短': 9.28555713513,\n",
       "  '标准粉': 13.2075304714,\n",
       "  '折款': 13.900677652,\n",
       "  '房脊': 11.598092559,\n",
       "  '信奉者': 11.5027823792,\n",
       "  '绝对数': 11.0674643079,\n",
       "  '鸡冠花': 11.8212361103,\n",
       "  '坏血酸': 13.900677652,\n",
       "  '外嫁': 13.900677652,\n",
       "  '萝北': 12.5143832909,\n",
       "  '张泽咸': 12.2912397395,\n",
       "  '空置率': 11.0674643079,\n",
       "  '款洽': 13.900677652,\n",
       "  '恩仇记': 13.2075304714,\n",
       "  '拖上': 11.598092559,\n",
       "  '拖下': 12.8020653633,\n",
       "  '好脸': 13.2075304714,\n",
       "  '投河自尽': 11.7034530746,\n",
       "  '博蒙': 12.8020653633,\n",
       "  '张高丽': 12.8020653633,\n",
       "  '欢音': 12.8020653633,\n",
       "  '方方正正': 10.8096351986,\n",
       "  '私人教师': 11.7034530746,\n",
       "  '医务部': 12.8020653633,\n",
       "  '慢点': 10.6818018271,\n",
       "  '马宅': 11.7034530746,\n",
       "  '查哨': 11.8212361103,\n",
       "  '零所': 13.2075304714,\n",
       "  '钥': 10.3171587135,\n",
       "  '海关检查': 12.5143832909,\n",
       "  '弗雷泽': 11.598092559,\n",
       "  '血糖仪': 12.2912397395,\n",
       "  '民航机场': 11.598092559,\n",
       "  '异端邪说': 11.8212361103,\n",
       "  '既成': 11.0103058941,\n",
       "  '吹风会': 11.0674643079,\n",
       "  '霅': 13.900677652,\n",
       "  '活字版': 11.9547675029,\n",
       "  '阝': 11.9547675029,\n",
       "  '黄风吹': 13.2075304714,\n",
       "  '多石': 12.2912397395,\n",
       "  '朴不花': 12.5143832909,\n",
       "  '广南西': 11.5027823792,\n",
       "  '叶祖': 11.1926274509,\n",
       "  '姊妹花': 11.5027823792,\n",
       "  '仉': 10.7226238216,\n",
       "  '萝卜': 8.6803218269,\n",
       "  '陇海路': 9.93038573842,\n",
       "  '刁羊': 11.9547675029,\n",
       "  '供办': 12.8020653633,\n",
       "  '二千五百元': 13.900677652,\n",
       "  '地图更新': 13.900677652,\n",
       "  '天津市委': 10.9562386728,\n",
       "  '三四百斤': 12.1089181827,\n",
       "  '百忙之中': 10.9562386728,\n",
       "  '没前途': 12.1089181827,\n",
       "  '刑讯': 11.8212361103,\n",
       "  '百级': 13.900677652,\n",
       "  '镤': 12.5143832909,\n",
       "  '高得幸': 13.2075304714,\n",
       "  '受贿者': 12.2912397395,\n",
       "  '普通住宅': 10.2117981979,\n",
       "  '枪打出头鸟': 13.2075304714,\n",
       "  '树皮画': 12.8020653633,\n",
       "  '强弩之末': 10.1164880181,\n",
       "  '铸造蜡': 13.900677652,\n",
       "  '咽喉': 8.22392384971,\n",
       "  '阮大人': 12.8020653633,\n",
       "  '暴发性': 11.598092559,\n",
       "  '保险制度': 10.7226238216,\n",
       "  '另行通知': 12.2912397395,\n",
       "  '韩世昌': 12.2912397395,\n",
       "  '侈': 11.9547675029,\n",
       "  '外套': 9.20932976975,\n",
       "  '多着': 12.5143832909,\n",
       "  '甏': 10.9049453784,\n",
       "  '空穴': 10.1871055853,\n",
       "  '扫黄办': 13.2075304714,\n",
       "  '祖白圭': 12.8020653633,\n",
       "  '公平交易': 9.69598503258,\n",
       "  '牵过来': 11.8212361103,\n",
       "  '刑警': 11.1280889297,\n",
       "  '陈求发': 12.8020653633,\n",
       "  '刡': 11.8212361103,\n",
       "  '贾政问': 12.8020653633,\n",
       "  '立体声': 10.642581114,\n",
       "  '卢布': 9.62401153296,\n",
       "  '智能网': 13.2075304714,\n",
       "  '左臂': 9.31571017331,\n",
       "  '娄室之': 13.2075304714,\n",
       "  '卢帕': 13.2075304714,\n",
       "  '杜若': 12.2912397395,\n",
       "  '郭攸之': 12.5143832909,\n",
       "  '兄友弟恭': 12.5143832909,\n",
       "  '容星桥': 13.2075304714,\n",
       "  '萨拉班': 12.8020653633,\n",
       "  '下流无耻': 13.900677652,\n",
       "  '桑德斯': 12.8020653633,\n",
       "  '二人同心': 13.900677652,\n",
       "  '文崔二': 12.5143832909,\n",
       "  '自误': 11.8212361103,\n",
       "  '多看': 9.75754292558,\n",
       "  '宁王': 11.3357282945,\n",
       "  '玉华王': 11.9547675029,\n",
       "  '不饱和': 9.16447920358,\n",
       "  '慢火': 11.598092559,\n",
       "  '王秀兰': 12.8020653633,\n",
       "  '书档': 13.2075304714,\n",
       "  '耐压性': 13.900677652,\n",
       "  '截瘫': 11.7034530746,\n",
       "  '圥': 13.2075304714,\n",
       "  '宁玛': 12.1089181827,\n",
       "  '户主': 10.6818018271,\n",
       "  '易舟浮': 13.2075304714,\n",
       "  '穆然城': 13.2075304714,\n",
       "  '对话会': 13.2075304714,\n",
       "  '海蜇头': 13.900677652,\n",
       "  '多眼': 11.1926274509,\n",
       "  '轳': 13.900677652,\n",
       "  '书案': 9.49395840471,\n",
       "  '瓕': 11.7034530746,\n",
       "  '握力': 13.2075304714,\n",
       "  '书桌': 9.87532596124,\n",
       "  '遮面': 13.2075304714,\n",
       "  '内廷紫': 13.2075304714,\n",
       "  '八节': 11.598092559,\n",
       "  '袁姑爷': 10.4349417492,\n",
       "  '零散': 9.33632946051,\n",
       "  '编过': 12.5143832909,\n",
       "  '国台办': 11.5027823792,\n",
       "  '蓝孔雀': 13.2075304714,\n",
       "  '库银': 13.900677652,\n",
       "  '同翅目': 10.8096351986,\n",
       "  '零数': 11.9547675029,\n",
       "  '上海滩': 10.4666904475,\n",
       "  '正表': 13.900677652,\n",
       "  '黎国': 13.900677652,\n",
       "  '电焊条': 12.8020653633,\n",
       "  '二钱': 11.0674643079,\n",
       "  '交通违章': 12.2912397395,\n",
       "  '五卅运动': 10.0940151622,\n",
       "  '贡二水': 12.8020653633,\n",
       "  '傣': 9.55687223012,\n",
       "  '蜜色': 13.900677652,\n",
       "  '以远': 11.9547675029,\n",
       "  '百科': 10.1630080337,\n",
       "  '左舷': 12.1089181827,\n",
       "  '新媳妇': 9.85762638414,\n",
       "  '外差': 11.9547675029,\n",
       "  '竞争性': 9.62401153296,\n",
       "  '编述': 12.5143832909,\n",
       "  '孤负': 12.5143832909,\n",
       "  '百种': 9.61021821083,\n",
       "  '杨炎官': 13.2075304714,\n",
       "  '每下愈况': 13.900677652,\n",
       "  '博莱': 12.2912397395,\n",
       "  '少数整': 12.8020653633,\n",
       "  '宗羲': 12.2912397395,\n",
       "  '新疆省': 10.9049453784,\n",
       "  '由近而远': 12.8020653633,\n",
       "  '镇子': 9.28555713513,\n",
       "  '丽丽': 9.87532596124,\n",
       "  '靳祥': 12.8020653633,\n",
       "  '类型学': 11.2616203224,\n",
       "  '小象虫': 13.2075304714,\n",
       "  '烈女传': 13.2075304714,\n",
       "  '史志宏': 11.8212361103,\n",
       "  '四十六次': 13.2075304714,\n",
       "  '编辑': 6.28685896717,\n",
       "  '黑白两道': 11.598092559,\n",
       "  '交换条件': 11.0103058941,\n",
       "  '立体式': 12.8020653633,\n",
       "  '发射区': 11.8212361103,\n",
       "  '广陵派': 13.2075304714,\n",
       "  '卢姆': 12.1089181827,\n",
       "  '国务院法制办': 11.1926274509,\n",
       "  '租下来': 13.2075304714,\n",
       "  '孪': 10.4994802703,\n",
       "  '私生活': 10.533381822,\n",
       "  '山竹子': 13.2075304714,\n",
       "  '神使鬼差': 13.900677652,\n",
       "  '卢世荣': 12.2912397395,\n",
       "  '任姓挚': 13.2075304714,\n",
       "  '试述': 13.900677652,\n",
       "  '多点': 8.86372504956,\n",
       "  '囷': 8.98802276624,\n",
       "  '诱导酶': 13.900677652,\n",
       "  '阿旃陀': 10.9049453784,\n",
       "  '夏耘': 13.900677652,\n",
       "  '王爵封': 13.2075304714,\n",
       "  '哈飞公司': 13.2075304714,\n",
       "  '院校': 8.81927328699,\n",
       "  '养阴': 10.7226238216,\n",
       "  '个性特点': 12.5143832909,\n",
       "  '第十七个': 13.900677652,\n",
       "  '第二十六章': 10.5684731418,\n",
       "  '潘公凯': 13.900677652,\n",
       "  '镇定': 8.37124856446,\n",
       "  '争嘴': 13.900677652,\n",
       "  '专题讲座': 12.2912397395,\n",
       "  '女追男': 13.900677652,\n",
       "  '镇宅': 11.4157710022,\n",
       "  '感受一下': 11.3357282945,\n",
       "  '零时': 9.14708746087,\n",
       "  '资源税': 10.2117981979,\n",
       "  '项怀诚': 12.8020653633,\n",
       "  '谛': 9.98865464655,\n",
       "  '王立武': 13.2075304714,\n",
       "  '镇安': 10.4041700905,\n",
       "  '镇守': 8.38724890581,\n",
       "  '一筐': 10.7226238216,\n",
       "  '够格': 12.5143832909,\n",
       "  '昐': 11.3357282945,\n",
       "  '脉动': 9.98865464655,\n",
       "  '级别': 7.50541605386,\n",
       "  '竟陵': 10.7226238216,\n",
       "  '全国学联': 12.2912397395,\n",
       "  '贺喜': 9.38981814546,\n",
       "  '宝钗素': 12.2912397395,\n",
       "  '多灾': 11.598092559,\n",
       "  '萨克森': 9.45802639549,\n",
       "  '杨国强': 13.2075304714,\n",
       "  '几十艘': 13.900677652,\n",
       "  '严防': 9.56994431169,\n",
       "  '元老级': 11.8212361103,\n",
       "  '票庄': 13.2075304714,\n",
       "  '足球界': 11.8212361103,\n",
       "  '洮南': 11.9547675029,\n",
       "  '双力': 13.2075304714,\n",
       "  '后景': 12.8020653633,\n",
       "  '截然': 9.05649056552,\n",
       "  '照耀': 8.67493097826,\n",
       "  '来江州': 12.5143832909,\n",
       "  '丽人': 11.1926274509,\n",
       "  '用途林': 12.8020653633,\n",
       "  '戒面': 13.900677652,\n",
       "  '上海港': 10.2371160058,\n",
       "  '昏昏欲睡': 10.6818018271,\n",
       "  '八艘': 11.9547675029,\n",
       "  '撸子': 12.8020653633,\n",
       "  '开门见山': 9.59661255877,\n",
       "  '觞': 11.8212361103,\n",
       "  '卢奇': 12.1089181827,\n",
       "  '慢着': 10.533381822,\n",
       "  '欢送': 10.604840786,\n",
       "  '不作美': 13.900677652,\n",
       "  '斯海姆': 12.8020653633,\n",
       "  '合作局': 13.2075304714,\n",
       "  '良': 9.45802639549,\n",
       "  '丽亚': 12.2912397395,\n",
       "  '上海电影制片厂': 10.2630914922,\n",
       "  '川东南': 11.598092559,\n",
       "  '布特莱齐': 13.900677652,\n",
       "  '拉栖第': 10.3743171274,\n",
       "  '明铁盖': 12.2912397395,\n",
       "  '主掌': 11.7034530746,\n",
       "  '脱氧核糖核酸': 10.1164880181,\n",
       "  '阿拉斯加': 9.13850371718,\n",
       "  '乌孙王': 11.9547675029,\n",
       "  '塑胶管': 12.8020653633,\n",
       "  '落马洲': 13.2075304714,\n",
       "  '历经沧桑': 12.5143832909,\n",
       "  '羊背石': 11.4157710022,\n",
       "  '姑父': 9.72629038208,\n",
       "  '姑爹': 13.2075304714,\n",
       "  '桂林人': 12.2912397395,\n",
       "  '张廷玉': 11.0674643079,\n",
       "  '二十余家': 12.5143832909,\n",
       "  '玎珰': 13.900677652,\n",
       "  '冰封': 9.77354326693,\n",
       "  '四出戏': 13.900677652,\n",
       "  '海蚀台': 13.2075304714,\n",
       "  '群而不党': 13.900677652,\n",
       "  '戚': 9.94943393339,\n",
       "  '鲁比亚': 12.8020653633,\n",
       "  '输送泵': 13.2075304714,\n",
       "  '老街区': 13.2075304714,\n",
       "  '千态万状': 13.900677652,\n",
       "  '铭心镂骨': 12.5143832909,\n",
       "  '查克': 12.2912397395,\n",
       "  '陈女士': 10.4994802703,\n",
       "  '达官显宦': 12.8020653633,\n",
       "  '人才流': 13.900677652,\n",
       "  '适量水': 13.2075304714,\n",
       "  '黑娃': 8.0985592766,\n",
       "  '光纤网': 13.900677652,\n",
       "  '傲雪凌霜': 13.900677652,\n",
       "  '潭头': 12.8020653633,\n",
       "  '电抗器': 11.5027823792,\n",
       "  '后果': 7.19748953873,\n",
       "  '牛山湖': 12.8020653633,\n",
       "  '警报系统': 11.9547675029,\n",
       "  '为民除害': 10.765183436,\n",
       "  '应明辨': 12.8020653633,\n",
       "  '喝进去': 12.2912397395,\n",
       "  '李老爷': 11.598092559,\n",
       "  '寒冬腊月': 11.2616203224,\n",
       "  '冰屑': 11.9547675029,\n",
       "  '多媒体信息': 12.8020653633,\n",
       "  '美国纽约大学': 11.1926274509,\n",
       "  '非常容易': 10.0505300503,\n",
       "  '解放军部队': 12.1089181827,\n",
       "  '睌': 8.95903522937,\n",
       "  '复旦大学': 8.79473217808,\n",
       "  '冰层': 9.28555713513,\n",
       "  '二间': 12.8020653633,\n",
       "  '仪器仪表': 9.56994431169,\n",
       "  '远亲近友': 13.2075304714,\n",
       "  '变幻莫测': 10.4994802703,\n",
       "  '劲风': 11.0103058941,\n",
       "  '外岛': 12.2912397395,\n",
       "  '厚脸皮': 13.900677652,\n",
       "  '奥威尔': 12.8020653633,\n",
       "  '信息处理': 9.43476953332,\n",
       "  '冰山': 9.29550746599,\n",
       "  '几十箱': 13.2075304714,\n",
       "  '老少爷们儿': 13.2075304714,\n",
       "  '贩贱卖贵': 13.900677652,\n",
       "  '非她不可': 13.2075304714,\n",
       "  '成仙成': 13.2075304714,\n",
       "  '夏历': 9.71102290995,\n",
       "  '最灵': 11.3357282945,\n",
       "  '投资银行业': 12.8020653633,\n",
       "  '四时之气': 13.900677652,\n",
       "  '外层': 8.83808261895,\n",
       "  '长春电影制片厂': 11.1926274509,\n",
       "  '张维': 11.598092559,\n",
       "  '李虞候': 11.7034530746,\n",
       "  '上海大众': 9.34680076038,\n",
       "  '冰岛': 9.12155415886,\n",
       "  '过磷酸': 13.2075304714,\n",
       "  '外屋': 10.642581114,\n",
       "  '小角色': 12.1089181827,\n",
       "  '默不作声': 10.0505300503,\n",
       "  '服罪': 11.9547675029,\n",
       "  '查出': 8.40350942668,\n",
       "  '哑巴亏': 11.9547675029,\n",
       "  '防雷击': 13.900677652,\n",
       "  '雅鲁藏布江': 8.97342396682,\n",
       "  '分清主次': 13.900677652,\n",
       "  '混起': 13.900677652,\n",
       "  '后有': 11.0674643079,\n",
       "  '海瑞罢官': 11.0674643079,\n",
       "  '中饱私囊': 11.4157710022,\n",
       "  '尼科西亚': 12.1089181827,\n",
       "  '朱三松': 12.5143832909,\n",
       "  '后期': 6.18778669049,\n",
       "  '瀹': 6.80478443088,\n",
       "  '画眉鸟': 12.1089181827,\n",
       "  '洞鉴': 12.2912397395,\n",
       "  '刑赏': 11.8212361103,\n",
       "  '宇文泰嗣': 12.8020653633,\n",
       "  '和平解决': 9.32596667347,\n",
       "  '中草药': 9.28555713513,\n",
       "  '一站式': 10.0720362555,\n",
       "  '不怕困难': 12.5143832909,\n",
       "  '标准箱': 11.2616203224,\n",
       "  '后来': 4.99211827683,\n",
       "  '心细': 10.5684731418,\n",
       "  '戒除': 10.9049453784,\n",
       "  '八荒': 12.8020653633,\n",
       "  '刑责': 12.5143832909,\n",
       "  '电信业': 11.0103058941,\n",
       "  '帅营': 13.900677652,\n",
       "  '逗乐': 11.0103058941,\n",
       "  '固溶体': 10.642581114,\n",
       "  '玄稽沉': 13.2075304714,\n",
       "  '情夫': 13.2075304714,\n",
       "  '减色': 11.9547675029,\n",
       "  '巴拉那': 11.7034530746,\n",
       "  '明叔让': 12.5143832909,\n",
       "  '冰峰': 12.2912397395,\n",
       "  '最烦': 11.8212361103,\n",
       "  '待命状态': 12.8020653633,\n",
       "  '近红外': 11.0103058941,\n",
       "  '李永芳': 12.2912397395,\n",
       "  '闸阀': 11.9547675029,\n",
       "  '快撤': 11.7034530746,\n",
       "  '宗明昌': 12.8020653633,\n",
       "  '最热': 8.73589167805,\n",
       "  '森严壁垒': 13.900677652,\n",
       "  '千岛群岛': 10.6818018271,\n",
       "  '技艺': 8.0600359946,\n",
       "  '激光管': 13.900677652,\n",
       "  '相当规模': 9.82314020807,\n",
       "  '极端愚蠢': 13.2075304714,\n",
       "  '业务室': 13.2075304714,\n",
       "  '诉讼案': 10.2897597393,\n",
       "  '杨国平': 12.1089181827,\n",
       "  '从乐亭': 13.900677652,\n",
       "  '降霜': 13.900677652,\n",
       "  '闸门': 9.28555713513,\n",
       "  '静止': 7.98988100794,\n",
       "  '几万倍': 12.2912397395,\n",
       "  '悲喜': 11.2616203224,\n",
       "  '氦氖激光器': 13.2075304714,\n",
       "  '后撤': 9.40086798165,\n",
       "  '既未': 11.5027823792,\n",
       "  '帝斯': 13.900677652,\n",
       "  '创立': 6.8787012289,\n",
       "  '自投罗网': 10.3171587135,\n",
       "  '二难': 11.4157710022,\n",
       "  '统战部门': 13.900677652,\n",
       "  '马小舍': 12.2912397395,\n",
       "  '团服': 13.900677652,\n",
       "  '内利斯': 11.598092559,\n",
       "  '贾政道': 9.45802639549,\n",
       "  '卢宅': 12.8020653633,\n",
       "  '八股': 9.53122979951,\n",
       "  '幻灯机': 12.5143832909,\n",
       "  '背不住': 13.900677652,\n",
       "  '中国人民解放军空军': 11.1926274509,\n",
       "  '拔出去': 13.900677652,\n",
       "  '王峰': 10.642581114,\n",
       "  '外快': 10.7226238216,\n",
       "  '四五千里': 13.2075304714,\n",
       "  '既有': 7.11622058934,\n",
       "  '宗社': 10.9049453784,\n",
       "  '纻': 10.642581114,\n",
       "  '百无一见': 13.900677652,\n",
       "  '纯棉纱': 12.8020653633,\n",
       "  '百篇': 10.9562386728,\n",
       "  '从维熙': 12.8020653633,\n",
       "  '斯宾诺': 13.900677652,\n",
       "  '外径': 11.0674643079,\n",
       "  '童大人': 11.0103058941,\n",
       "  '市政建设': 10.3743171274,\n",
       "  '猜谜': 11.1280889297,\n",
       "  '当代人': 12.1089181827,\n",
       "  '谄上欺下': 13.900677652,\n",
       "  '宗祖': 12.8020653633,\n",
       "  '神农本草经': 10.9049453784,\n",
       "  '卡波济': 13.900677652,\n",
       "  '骑马打仗': 11.3357282945,\n",
       "  '梅斯基': 13.2075304714,\n",
       "  '减至': 9.19114745066,\n",
       "  '查到': 9.66657114738,\n",
       "  '尼泊尔共产党': 13.2075304714,\n",
       "  '卢寻': 13.2075304714,\n",
       "  '另起炉灶': 11.2616203224,\n",
       "  '不可理喻': 10.6818018271,\n",
       "  '宗祠': 10.533381822,\n",
       "  '零月': 13.2075304714,\n",
       "  '未处理': 13.2075304714,\n",
       "  '少尉': 9.85762638414,\n",
       "  '情面': 10.2897597393,\n",
       "  '政法干部': 12.5143832909,\n",
       "  '高等学府': 9.37888907493,\n",
       "  '懊悔无及': 12.8020653633,\n",
       "  '马加比': 13.2075304714,\n",
       "  '不安全感': 11.4157710022,\n",
       "  '和启东': 13.2075304714,\n",
       "  '米勒德': 12.8020653633,\n",
       "  '民族乐器': 10.9049453784,\n",
       "  '由合子': 13.2075304714,\n",
       "  '查勤': 13.900677652,\n",
       "  '中国篮协': 13.900677652,\n",
       "  '慢用': 12.5143832909,\n",
       "  '统战部长': 11.9547675029,\n",
       "  '二阶': 10.2117981979,\n",
       "  '韦奇伍': 13.900677652,\n",
       "  '利润率': 7.2673592187,\n",
       "  '岸线': 8.80692745117,\n",
       "  '亿加元': 12.5143832909,\n",
       "  '地广': 12.1089181827,\n",
       "  '逆我者死': 13.900677652,\n",
       "  '南泥湾': 11.1926274509,\n",
       "  '缘自': 11.9547675029,\n",
       "  '外形': 7.45178825783,\n",
       "  '多数三项': 13.900677652,\n",
       "  '汪若海': 11.4157710022,\n",
       "  '中国人民解放军三军仪仗队': 12.2912397395,\n",
       "  '特库蒂': 13.2075304714,\n",
       "  '欢闹': 12.8020653633,\n",
       "  '百等': 13.2075304714,\n",
       "  '风信子': 12.5143832909,\n",
       "  '查勘': 10.2897597393,\n",
       "  '如法炮制': 11.0103058941,\n",
       "  '二队': 10.642581114,\n",
       "  '坛坛罐罐': 11.2616203224,\n",
       "  '游览胜地': 8.83177344976,\n",
       "  '博多湾': 13.900677652,\n",
       "  '镇委': 12.2912397395,\n",
       "  '日本东京证券交易所': 13.900677652,\n",
       "  '从今以后': 9.4233408375,\n",
       "  '我姐': 10.7226238216,\n",
       "  '阿弥陀': 11.4157710022,\n",
       "  '戊子': 13.2075304714,\n",
       "  '金乌西坠': 12.8020653633,\n",
       "  '埃努古': 13.900677652,\n",
       "  '纯如': 13.900677652,\n",
       "  '冰心': 10.4349417492,\n",
       "  '姬宗周': 13.2075304714,\n",
       "  '魏延领': 11.8212361103,\n",
       "  '外引': 13.2075304714,\n",
       "  '家电网': 12.1089181827,\n",
       "  '待物': 13.900677652,\n",
       "  '杭嘉和': 8.39534611604,\n",
       "  '千百件': 13.900677652,\n",
       "  '职蜂': 13.2075304714,\n",
       "  '外弦': 13.2075304714,\n",
       "  '悲啼': 11.0103058941,\n",
       "  '耳边风': 12.5143832909,\n",
       "  '旱芹': 13.900677652,\n",
       "  '查办': 9.74179456862,\n",
       "  '配在一起': 12.5143832909,\n",
       "  '情韵': 11.598092559,\n",
       "  '别难过': 11.2616203224,\n",
       "  '外强': 11.7034530746,\n",
       "  '文国庆': 11.3357282945,\n",
       "  '大连市': 9.66657114738,\n",
       "  '岸礁': 11.9547675029,\n",
       "  '开发计划署': 13.900677652,\n",
       "  '反省': 9.4233408375,\n",
       "  '减肥': 8.30225569298,\n",
       "  '向父皇': 12.8020653633,\n",
       "  '宫太后': 10.0088573539,\n",
       "  '工具书': 9.91169360541,\n",
       "  '图尔卡纳湖': 12.8020653633,\n",
       "  '后方': 7.57811241205,\n",
       "  '血循环': 10.604840786,\n",
       "  '提供方便': 10.5684731418,\n",
       "  '百端': 11.598092559,\n",
       "  '龙的传人': 13.900677652,\n",
       "  '十五丈': 13.2075304714,\n",
       "  '目标群体': 12.5143832909,\n",
       "  '廊房头条': 13.2075304714,\n",
       "  '多班': 13.2075304714,\n",
       "  '莫泽尔': 13.900677652,\n",
       "  '乳状物': 13.900677652,\n",
       "  '凋残': 11.8212361103,\n",
       "  '悲咽': 12.5143832909,\n",
       "  '篾青': 13.900677652,\n",
       "  '蜜腺': 10.533381822,\n",
       "  '后文': 12.1089181827,\n",
       "  '嫡子': 10.9049453784,\n",
       "  '最爱': 8.77671367257,\n",
       "  '外延': 8.87679713113,\n",
       "  '嫡孙': 11.9547675029,\n",
       "  '米字旗': 13.2075304714,\n",
       "  '小团体': 11.2616203224,\n",
       "  '最爽': 12.5143832909,\n",
       "  '仡': 13.900677652,\n",
       "  '正梳妆': 13.900677652,\n",
       "  '指甲钳': 13.900677652,\n",
       "  '借壳上市': 9.5062284973,\n",
       "  '十大元帅': 13.900677652,\n",
       "  '后日': 9.87532596124,\n",
       "  '梦牵魂绕': 11.9547675029,\n",
       "  '潭子': 12.5143832909,\n",
       "  '拙': 10.2117981979,\n",
       "  '带头羊': 13.900677652,\n",
       "  '魏末': 11.5027823792,\n",
       "  '鼎立': 10.0294766411,\n",
       "  '书法': 7.8184587416,\n",
       "  '掩其不备': 13.2075304714,\n",
       "  '林网化': 11.598092559,\n",
       "  '交流电路': 10.9049453784,\n",
       "  '古定剑': 12.5143832909,\n",
       "  '少私寡欲': 12.8020653633,\n",
       "  '上课时数': 13.900677652,\n",
       "  '具体化': 10.2897597393,\n",
       "  '悲哭': 11.1926274509,\n",
       "  '尖锐湿疣': 11.2616203224,\n",
       "  '查字法': 13.900677652,\n",
       "  '技能': 8.16733637508,\n",
       "  '张勋遂': 12.8020653633,\n",
       "  '冰库': 12.2912397395,\n",
       "  '金丸珠': 13.900677652,\n",
       "  '闯王': 5.73730633552,\n",
       "  '孤身': 10.1630080337,\n",
       "  '元代': 7.09274270828,\n",
       "  '非线性': 8.55834340001,\n",
       "  '甄夫人': 12.8020653633,\n",
       "  '而立': 8.83177344976,\n",
       "  '汇率': 6.76658393078,\n",
       "  '袁锦': 13.900677652,\n",
       "  '可预测性': 10.642581114,\n",
       "  '电热水壶': 13.900677652,\n",
       "  '后放': 12.1089181827,\n",
       "  '官晋爵': 12.8020653633,\n",
       "  '神经衰弱': 9.98865464655,\n",
       "  '掘': 8.53003962385,\n",
       "  '查号': 13.900677652,\n",
       "  '挣到': 10.4041700905,\n",
       "  '褟': 9.30555780184,\n",
       "  '二十余处': 12.8020653633,\n",
       "  '养锐': 12.5143832909,\n",
       "  '战斗能力': 11.1280889297,\n",
       "  '栽插': 12.5143832909,\n",
       "  '李亚': 10.8561552143,\n",
       "  '史张腊': 13.2075304714,\n",
       "  '绝对性': 10.9562386728,\n",
       "  '政法委': 9.98865464655,\n",
       "  '日积月累': 10.4666904475,\n",
       "  '秒杀': 8.57766767284,\n",
       "  '言之士': 12.8020653633,\n",
       "  '不死不活': 11.7034530746,\n",
       "  '博耶': 12.5143832909,\n",
       "  '山药蛋': 12.5143832909,\n",
       "  '鳖精': 13.900677652,\n",
       "  '有用之才': 11.8212361103,\n",
       "  '李岩惊': 13.900677652,\n",
       "  '外币': 8.70772080109,\n",
       "  '马雅': 13.900677652,\n",
       "  '消息面': 8.11685246965,\n",
       "  '金融债权': 12.8020653633,\n",
       "  '丘伦梅': 13.900677652,\n",
       "  '马鲁穆': 13.900677652,\n",
       "  '棊': 12.8020653633,\n",
       "  '鹑': 10.1871055853,\n",
       "  '猛吃': 11.1926274509,\n",
       "  '广南路': 13.2075304714,\n",
       "  '乡土观念': 11.8212361103,\n",
       "  '浩然之气': 12.8020653633,\n",
       "  '太冲': 9.23723855786,\n",
       "  '唐复名': 12.5143832909,\n",
       "  '雷阵雨': 10.9562386728,\n",
       "  '自外而内': 13.900677652,\n",
       "  '亿千瓦': 9.33632946051,\n",
       "  '师道尊严': 12.2912397395,\n",
       "  '单家独户': 12.5143832909,\n",
       "  '口出怨言': 11.1926274509,\n",
       "  '外带': 10.6818018271,\n",
       "  '石渠阁': 11.7034530746,\n",
       "  '达生': 13.900677652,\n",
       "  '滕哈': 13.2075304714,\n",
       "  '二万二千八百七十七卷': 13.900677652,\n",
       "  '寒露风': 12.1089181827,\n",
       "  '卢峰': 12.2912397395,\n",
       "  '尿素氮': 10.642581114,\n",
       "  ...},\n",
       " 'median_idf': 11.9547675029}"
      ]
     },
     "execution_count": 157,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "print(tfidf.__dict__.keys())\n",
    "tfidf.__dict__"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 可以通过加载自定义词典和自定义IDF文件，提高关键词抽取有效性"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 154,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "11.9547675029\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "{'劳动防护': 13.900677652,\n",
       " '生化学': 13.900677652,\n",
       " '奥萨贝尔': 13.900677652,\n",
       " '考察队员': 13.900677652,\n",
       " '岗上': 11.5027823792,\n",
       " '倒车档': 12.2912397395,\n",
       " '编译': 9.21854642485,\n",
       " '蝶泳': 11.1926274509,\n",
       " '外委': 11.8212361103,\n",
       " '故作高深': 11.9547675029,\n",
       " '尉遂成': 13.2075304714,\n",
       " '心源性': 11.1926274509,\n",
       " '现役军人': 10.642581114,\n",
       " '杜勃留': 13.2075304714,\n",
       " '包天笑': 13.900677652,\n",
       " '贾政陪': 13.2075304714,\n",
       " '托尔湾': 13.900677652,\n",
       " '多瓦': 12.5143832909,\n",
       " '多瓣': 13.900677652,\n",
       " '巴斯特尔': 11.598092559,\n",
       " '刘皇帝': 12.8020653633,\n",
       " '亚历山德罗夫': 13.2075304714,\n",
       " '社会公众': 8.90346537821,\n",
       " '五百份': 12.8020653633,\n",
       " '两点阈': 12.5143832909,\n",
       " '多瓶': 13.900677652,\n",
       " '冰天': 12.2912397395,\n",
       " '库布齐': 11.598092559,\n",
       " '龙川县': 12.8020653633,\n",
       " '银燕': 11.9547675029,\n",
       " '历史风貌': 11.8212361103,\n",
       " '信仰主义': 13.2075304714,\n",
       " '頷': 10.2897597393,\n",
       " '好色': 10.0088573539,\n",
       " '款款而行': 12.5143832909,\n",
       " '凳子': 8.36728816325,\n",
       " '二部': 9.93038573842,\n",
       " '卢巴': 12.1089181827,\n",
       " '五百五': 13.2075304714,\n",
       " '鳓': 11.0103058941,\n",
       " '畅叙': 11.598092559,\n",
       " '吴栅子': 13.2075304714,\n",
       " '智力竞赛': 13.900677652,\n",
       " '库邦': 13.2075304714,\n",
       " '非正义': 11.3357282945,\n",
       " '编订': 10.2897597393,\n",
       " '悲号': 12.8020653633,\n",
       " '陈庄搭': 13.2075304714,\n",
       " '二郎': 9.62401153296,\n",
       " '电光石火': 11.8212361103,\n",
       " '抢球': 11.9547675029,\n",
       " '南澳大利亚': 10.9562386728,\n",
       " '失散多年': 12.5143832909,\n",
       " '有理有据': 10.9562386728,\n",
       " '盈利': 5.72260018813,\n",
       " '弗龙堡': 13.900677652,\n",
       " '悚然': 10.604840786,\n",
       " '查吓': 13.2075304714,\n",
       " '滕县': 10.9049453784,\n",
       " '毛瑟枪': 12.2912397395,\n",
       " '好花': 11.2616203224,\n",
       " '潮州人': 13.900677652,\n",
       " '头羊': 11.5027823792,\n",
       " '提足': 12.5143832909,\n",
       " '书款': 12.2912397395,\n",
       " '嗤之以鼻': 10.642581114,\n",
       " '代金券': 11.9547675029,\n",
       " '公共财产': 11.4157710022,\n",
       " '文化素质': 10.765183436,\n",
       " '口称': 10.0505300503,\n",
       " '聚异丁烯': 12.1089181827,\n",
       " '终南山': 10.4349417492,\n",
       " '东安动力': 10.2630914922,\n",
       " '集训营': 13.2075304714,\n",
       " '截留': 9.94943393339,\n",
       " '热烈欢迎': 9.91169360541,\n",
       " '岗亭': 11.598092559,\n",
       " '浑球': 13.900677652,\n",
       " '让座': 10.4349417492,\n",
       " '迁户': 13.2075304714,\n",
       " '布尔热': 12.5143832909,\n",
       " '绣花针儿': 11.598092559,\n",
       " '二通': 11.8212361103,\n",
       " '滑雪运动': 11.7034530746,\n",
       " '程颢': 10.3743171274,\n",
       " '五百万': 10.9049453784,\n",
       " '旱荒': 12.5143832909,\n",
       " '标准线': 13.900677652,\n",
       " '时后梁': 12.2912397395,\n",
       " '外备': 12.5143832909,\n",
       " '绝对权': 13.2075304714,\n",
       " '蕉麻': 11.5027823792,\n",
       " '痎': 12.5143832909,\n",
       " '黎刹': 12.2912397395,\n",
       " '二十余年': 10.0720362555,\n",
       " '好苦': 10.8096351986,\n",
       " '镇心': 11.598092559,\n",
       " '残茬': 11.598092559,\n",
       " '从界岭': 12.1089181827,\n",
       " '湟': 10.2117981979,\n",
       " '国际经济组织': 11.8212361103,\n",
       " '五百两': 9.94943393339,\n",
       " '后手': 11.3357282945,\n",
       " '广播公司': 10.0720362555,\n",
       " '诞生地': 10.533381822,\n",
       " '二遍': 10.8561552143,\n",
       " '縌': 12.8020653633,\n",
       " '遂溪': 12.1089181827,\n",
       " '五百个': 10.8096351986,\n",
       " '不知高下': 13.900677652,\n",
       " '盈动': 11.9547675029,\n",
       " '程颐': 9.89334446674,\n",
       " '外头': 7.76079309975,\n",
       " '二道': 9.43476953332,\n",
       " '外夷': 11.0103058941,\n",
       " '喷洒车': 13.2075304714,\n",
       " '过会芳': 13.2075304714,\n",
       " '含金量': 9.72629038208,\n",
       " '外壁': 10.7226238216,\n",
       " '运猪': 13.900677652,\n",
       " '伶俐': 9.5186510173,\n",
       " '滑来滑去': 13.2075304714,\n",
       " '四轮驱动': 10.9562386728,\n",
       " '多病': 9.75754292558,\n",
       " '时至今日': 8.81308131674,\n",
       " '上': 2.52604920291,\n",
       " '卖火柴': 12.1089181827,\n",
       " '后接': 12.5143832909,\n",
       " '发射器': 8.52078029844,\n",
       " '迭宕': 13.900677652,\n",
       " '索尼': 9.6811699468,\n",
       " '鹿角霜': 12.8020653633,\n",
       " '双日': 11.5027823792,\n",
       " '用之不竭': 10.8561552143,\n",
       " '诊病': 11.1280889297,\n",
       " '职能': 6.70924832194,\n",
       " '军民联欢': 13.900677652,\n",
       " '周迥': 13.2075304714,\n",
       " '策源地': 10.5684731418,\n",
       " '后掌': 12.8020653633,\n",
       " '奸夫淫妇': 12.5143832909,\n",
       " '北五祖': 11.8212361103,\n",
       " '分析仪器': 11.0103058941,\n",
       " '加州大学': 11.1926274509,\n",
       " '服用者': 12.2912397395,\n",
       " '付出代价': 10.0505300503,\n",
       " '枯': 9.02548032877,\n",
       " '小兴安岭': 9.5186510173,\n",
       " '暴涨暴跌': 9.89334446674,\n",
       " '额窦': 12.5143832909,\n",
       " '库里': 10.2117981979,\n",
       " '和良渚': 12.5143832909,\n",
       " '后排': 8.81927328699,\n",
       " '张羽': 11.1280889297,\n",
       " '落脚点': 10.4349417492,\n",
       " '多会儿': 11.9547675029,\n",
       " '地动仪': 11.9547675029,\n",
       " '外境': 12.2912397395,\n",
       " '进贤县': 13.2075304714,\n",
       " '冰塔': 12.8020653633,\n",
       " '乳腺': 9.25628675283,\n",
       " '漆绘': 12.2912397395,\n",
       " '尤尔弗': 13.900677652,\n",
       " '岗位': 7.86519621945,\n",
       " '诊疗': 9.15574552361,\n",
       " '万公斤': 11.2616203224,\n",
       " '救下来': 11.7034530746,\n",
       " '折梅': 12.8020653633,\n",
       " '壑': 9.63799777493,\n",
       " '虎口脱险': 11.9547675029,\n",
       " '蜜蜂': 8.78868986362,\n",
       " '长角牛': 12.1089181827,\n",
       " '平滑肌': 9.4233408375,\n",
       " '外墙': 10.3743171274,\n",
       " '斯坦贝克': 11.4157710022,\n",
       " '后援': 10.8096351986,\n",
       " '多疑': 9.25628675283,\n",
       " '大水沟': 13.2075304714,\n",
       " '光机所': 13.900677652,\n",
       " '王治朝': 13.2075304714,\n",
       " '孤行': 12.5143832909,\n",
       " '诉讼法': 9.37888907493,\n",
       " '奥运会': 8.16733637508,\n",
       " '会合点': 11.7034530746,\n",
       " '票子': 9.48183704418,\n",
       " '二重': 10.0505300503,\n",
       " '声全息图': 13.900677652,\n",
       " '胡正卿': 12.1089181827,\n",
       " '教学进度': 13.900677652,\n",
       " '人证物证': 11.5027823792,\n",
       " '算进来': 12.8020653633,\n",
       " '积雨云': 11.0674643079,\n",
       " '人微言轻': 11.3357282945,\n",
       " '开路先锋': 11.3357282945,\n",
       " '董琬': 12.8020653633,\n",
       " '梁父吟': 12.2912397395,\n",
       " '两百二十册': 13.2075304714,\n",
       " '傅大人': 11.2616203224,\n",
       " '张家辉': 13.900677652,\n",
       " '百米': 9.02548032877,\n",
       " '连遭败绩': 12.8020653633,\n",
       " '暴发户': 9.87532596124,\n",
       " '多留': 10.0088573539,\n",
       " '分宜': 12.2912397395,\n",
       " '汝可先': 12.2912397395,\n",
       " '宇文泰和': 12.5143832909,\n",
       " '五百余': 10.4666904475,\n",
       " '寒潮': 9.05649056552,\n",
       " '大水池': 12.5143832909,\n",
       " '陈循': 13.900677652,\n",
       " '多番': 11.9547675029,\n",
       " '旱船': 11.7034530746,\n",
       " '十一名': 11.9547675029,\n",
       " '慢条斯理': 9.91169360541,\n",
       " '卢尔': 13.2075304714,\n",
       " '高低杠': 11.5027823792,\n",
       " '海西州': 13.2075304714,\n",
       " '官腔': 10.3743171274,\n",
       " '求贤若渴': 11.9547675029,\n",
       " '日喀则市': 11.4157710022,\n",
       " '多种营养': 12.2912397395,\n",
       " '新老交替': 13.2075304714,\n",
       " '手牵着': 11.0674643079,\n",
       " '书橱': 11.2616203224,\n",
       " '情郎': 11.7034530746,\n",
       " '江陵县': 10.4349417492,\n",
       " '通布卡': 13.900677652,\n",
       " '医药卫生': 10.2117981979,\n",
       " '渭川千亩': 13.900677652,\n",
       " '莫恰洛': 12.5143832909,\n",
       " '房舱': 13.2075304714,\n",
       " '冰壁': 10.4349417492,\n",
       " '焦庄户': 12.8020653633,\n",
       " '既想': 11.7034530746,\n",
       " '就业结构': 11.9547675029,\n",
       " '人类学': 8.81308131674,\n",
       " '潭州': 10.4666904475,\n",
       " '训练班': 9.71102290995,\n",
       " '骚动': 8.61241062128,\n",
       " '鸿业': 11.5027823792,\n",
       " '今年底': 8.78868986362,\n",
       " '好菜': 11.1280889297,\n",
       " '小亚丁': 13.900677652,\n",
       " '店伙': 12.8020653633,\n",
       " '马鞭': 9.66657114738,\n",
       " '高负荷': 13.900677652,\n",
       " '房舍': 8.96620371885,\n",
       " '悲剧': 7.55855623325,\n",
       " '缅甸': 7.81390292506,\n",
       " '泌尿器官': 13.900677652,\n",
       " '免罚': 13.900677652,\n",
       " '总商会': 11.4157710022,\n",
       " '口喊着': 13.2075304714,\n",
       " '截球': 13.2075304714,\n",
       " '最省': 12.1089181827,\n",
       " '减薪': 10.642581114,\n",
       " '辛丑和约': 12.2912397395,\n",
       " '外寇': 13.2075304714,\n",
       " '躲藏着': 12.5143832909,\n",
       " '浮来': 13.2075304714,\n",
       " '莫尔耶': 13.900677652,\n",
       " '撒手不管': 10.4994802703,\n",
       " '卢循': 12.1089181827,\n",
       " '垬': 7.63537643924,\n",
       " '枯木朽株': 13.900677652,\n",
       " '卢德': 12.1089181827,\n",
       " '多盘': 12.2912397395,\n",
       " '幽期密约': 13.900677652,\n",
       " '花生饼': 12.8020653633,\n",
       " '斯堪尼亚': 13.2075304714,\n",
       " '易中天': 13.2075304714,\n",
       " '左膀': 13.900677652,\n",
       " '多目': 12.8020653633,\n",
       " '郎咸平': 11.0103058941,\n",
       " '赏月': 10.0505300503,\n",
       " '寒威': 12.5143832909,\n",
       " '贺兰': 10.7226238216,\n",
       " '邪风': 12.5143832909,\n",
       " '好者': 13.900677652,\n",
       " '蒋御史': 13.900677652,\n",
       " '多相': 10.2630914922,\n",
       " '古观象台': 11.7034530746,\n",
       " '好耍': 11.0103058941,\n",
       " '老谋深算': 10.4041700905,\n",
       " '后悔': 7.32142643997,\n",
       " '游嬉恰': 13.900677652,\n",
       " '伤心落泪': 10.9049453784,\n",
       " '韩非则': 13.2075304714,\n",
       " '服用药': 13.2075304714,\n",
       " '格林卡': 11.5027823792,\n",
       " '正话': 10.8561552143,\n",
       " '叶碧秋': 8.49350588052,\n",
       " '姜丝排': 12.5143832909,\n",
       " '贺卡': 12.1089181827,\n",
       " '拖住': 9.21854642485,\n",
       " '悲凄': 11.0674643079,\n",
       " '葛翠琳': 13.900677652,\n",
       " '吴景超': 12.1089181827,\n",
       " '银灯': 13.2075304714,\n",
       " '悲凉': 9.35738286971,\n",
       " '睃': 9.91169360541,\n",
       " '外客': 12.1089181827,\n",
       " '外宣': 10.9049453784,\n",
       " '情报搜集': 11.598092559,\n",
       " '狗仔队': 13.2075304714,\n",
       " '裁汰': 10.7226238216,\n",
       " '践': 10.8561552143,\n",
       " '位于下面': 13.2075304714,\n",
       " '子禄父': 12.1089181827,\n",
       " '埃弗里': 12.5143832909,\n",
       " '乌尔斯': 13.2075304714,\n",
       " '外宾': 10.5684731418,\n",
       " '外宿': 13.900677652,\n",
       " '咱村': 9.96885201925,\n",
       " '从宽处理': 11.9547675029,\n",
       " '赊贷': 11.3357282945,\n",
       " '免纳': 11.7034530746,\n",
       " '蜕壳激素': 13.900677652,\n",
       " '表意文字': 12.1089181827,\n",
       " '趁心如意': 13.900677652,\n",
       " '悲叹': 10.604840786,\n",
       " '人所共知': 10.0088573539,\n",
       " '家电企业': 10.3743171274,\n",
       " '距离处': 11.9547675029,\n",
       " '风情万种': 10.8561552143,\n",
       " '外存': 12.5143832909,\n",
       " '外孙': 9.85762638414,\n",
       " '梅里威': 13.2075304714,\n",
       " '亚圣': 12.1089181827,\n",
       " '周至县': 11.5027823792,\n",
       " '采编部': 13.900677652,\n",
       " '怀特河': 13.2075304714,\n",
       " '外学': 11.7034530746,\n",
       " '马八儿': 12.2912397395,\n",
       " '圣路易斯': 10.2630914922,\n",
       " '合线期': 13.900677652,\n",
       " '凿井': 10.6818018271,\n",
       " '联贯性': 13.900677652,\n",
       " '冰室': 13.2075304714,\n",
       " '显身手': 12.5143832909,\n",
       " '后怕': 9.91169360541,\n",
       " '赏析': 12.1089181827,\n",
       " '瓦德希': 13.2075304714,\n",
       " '卢彦': 13.900677652,\n",
       " '切齿痛恨': 11.4157710022,\n",
       " '不惜一战': 13.900677652,\n",
       " '千百万': 10.0720362555,\n",
       " '战斗分队': 12.2912397395,\n",
       " '夜壶': 10.9562386728,\n",
       " '配': 8.11071748108,\n",
       " '古巴共和国': 13.2075304714,\n",
       " '缘薄': 13.900677652,\n",
       " '麦禾': 12.8020653633,\n",
       " '毋须': 11.5027823792,\n",
       " '测试者': 12.2912397395,\n",
       " '乌巢劫': 13.2075304714,\n",
       " '吃大户': 11.2616203224,\n",
       " '平城南': 13.900677652,\n",
       " '勠': 12.5143832909,\n",
       " '风风光光': 11.4157710022,\n",
       " '镇巴': 12.5143832909,\n",
       " '江三公子': 13.2075304714,\n",
       " '拨乱反正': 10.3171587135,\n",
       " '戒酒': 10.4349417492,\n",
       " '一千五百多名': 13.2075304714,\n",
       " '好胜': 11.5027823792,\n",
       " '多瘦': 13.2075304714,\n",
       " '最矮': 12.5143832909,\n",
       " '铺设': 8.68574189437,\n",
       " '最短': 9.28555713513,\n",
       " '标准粉': 13.2075304714,\n",
       " '折款': 13.900677652,\n",
       " '房脊': 11.598092559,\n",
       " '信奉者': 11.5027823792,\n",
       " '绝对数': 11.0674643079,\n",
       " '鸡冠花': 11.8212361103,\n",
       " '坏血酸': 13.900677652,\n",
       " '外嫁': 13.900677652,\n",
       " '萝北': 12.5143832909,\n",
       " '张泽咸': 12.2912397395,\n",
       " '空置率': 11.0674643079,\n",
       " '款洽': 13.900677652,\n",
       " '恩仇记': 13.2075304714,\n",
       " '拖上': 11.598092559,\n",
       " '拖下': 12.8020653633,\n",
       " '好脸': 13.2075304714,\n",
       " '投河自尽': 11.7034530746,\n",
       " '博蒙': 12.8020653633,\n",
       " '张高丽': 12.8020653633,\n",
       " '欢音': 12.8020653633,\n",
       " '方方正正': 10.8096351986,\n",
       " '私人教师': 11.7034530746,\n",
       " '医务部': 12.8020653633,\n",
       " '慢点': 10.6818018271,\n",
       " '马宅': 11.7034530746,\n",
       " '查哨': 11.8212361103,\n",
       " '零所': 13.2075304714,\n",
       " '钥': 10.3171587135,\n",
       " '海关检查': 12.5143832909,\n",
       " '弗雷泽': 11.598092559,\n",
       " '血糖仪': 12.2912397395,\n",
       " '民航机场': 11.598092559,\n",
       " '异端邪说': 11.8212361103,\n",
       " '既成': 11.0103058941,\n",
       " '吹风会': 11.0674643079,\n",
       " '霅': 13.900677652,\n",
       " '活字版': 11.9547675029,\n",
       " '阝': 11.9547675029,\n",
       " '黄风吹': 13.2075304714,\n",
       " '多石': 12.2912397395,\n",
       " '朴不花': 12.5143832909,\n",
       " '广南西': 11.5027823792,\n",
       " '叶祖': 11.1926274509,\n",
       " '姊妹花': 11.5027823792,\n",
       " '仉': 10.7226238216,\n",
       " '萝卜': 8.6803218269,\n",
       " '陇海路': 9.93038573842,\n",
       " '刁羊': 11.9547675029,\n",
       " '供办': 12.8020653633,\n",
       " '二千五百元': 13.900677652,\n",
       " '地图更新': 13.900677652,\n",
       " '天津市委': 10.9562386728,\n",
       " '三四百斤': 12.1089181827,\n",
       " '百忙之中': 10.9562386728,\n",
       " '没前途': 12.1089181827,\n",
       " '刑讯': 11.8212361103,\n",
       " '百级': 13.900677652,\n",
       " '镤': 12.5143832909,\n",
       " '高得幸': 13.2075304714,\n",
       " '受贿者': 12.2912397395,\n",
       " '普通住宅': 10.2117981979,\n",
       " '枪打出头鸟': 13.2075304714,\n",
       " '树皮画': 12.8020653633,\n",
       " '强弩之末': 10.1164880181,\n",
       " '铸造蜡': 13.900677652,\n",
       " '咽喉': 8.22392384971,\n",
       " '阮大人': 12.8020653633,\n",
       " '暴发性': 11.598092559,\n",
       " '保险制度': 10.7226238216,\n",
       " '另行通知': 12.2912397395,\n",
       " '韩世昌': 12.2912397395,\n",
       " '侈': 11.9547675029,\n",
       " '外套': 9.20932976975,\n",
       " '多着': 12.5143832909,\n",
       " '甏': 10.9049453784,\n",
       " '空穴': 10.1871055853,\n",
       " '扫黄办': 13.2075304714,\n",
       " '祖白圭': 12.8020653633,\n",
       " '公平交易': 9.69598503258,\n",
       " '牵过来': 11.8212361103,\n",
       " '刑警': 11.1280889297,\n",
       " '陈求发': 12.8020653633,\n",
       " '刡': 11.8212361103,\n",
       " '贾政问': 12.8020653633,\n",
       " '立体声': 10.642581114,\n",
       " '卢布': 9.62401153296,\n",
       " '智能网': 13.2075304714,\n",
       " '左臂': 9.31571017331,\n",
       " '娄室之': 13.2075304714,\n",
       " '卢帕': 13.2075304714,\n",
       " '杜若': 12.2912397395,\n",
       " '郭攸之': 12.5143832909,\n",
       " '兄友弟恭': 12.5143832909,\n",
       " '容星桥': 13.2075304714,\n",
       " '萨拉班': 12.8020653633,\n",
       " '下流无耻': 13.900677652,\n",
       " '桑德斯': 12.8020653633,\n",
       " '二人同心': 13.900677652,\n",
       " '文崔二': 12.5143832909,\n",
       " '自误': 11.8212361103,\n",
       " '多看': 9.75754292558,\n",
       " '宁王': 11.3357282945,\n",
       " '玉华王': 11.9547675029,\n",
       " '不饱和': 9.16447920358,\n",
       " '慢火': 11.598092559,\n",
       " '王秀兰': 12.8020653633,\n",
       " '书档': 13.2075304714,\n",
       " '耐压性': 13.900677652,\n",
       " '截瘫': 11.7034530746,\n",
       " '圥': 13.2075304714,\n",
       " '宁玛': 12.1089181827,\n",
       " '户主': 10.6818018271,\n",
       " '易舟浮': 13.2075304714,\n",
       " '穆然城': 13.2075304714,\n",
       " '对话会': 13.2075304714,\n",
       " '海蜇头': 13.900677652,\n",
       " '多眼': 11.1926274509,\n",
       " '轳': 13.900677652,\n",
       " '书案': 9.49395840471,\n",
       " '瓕': 11.7034530746,\n",
       " '握力': 13.2075304714,\n",
       " '书桌': 9.87532596124,\n",
       " '遮面': 13.2075304714,\n",
       " '内廷紫': 13.2075304714,\n",
       " '八节': 11.598092559,\n",
       " '袁姑爷': 10.4349417492,\n",
       " '零散': 9.33632946051,\n",
       " '编过': 12.5143832909,\n",
       " '国台办': 11.5027823792,\n",
       " '蓝孔雀': 13.2075304714,\n",
       " '库银': 13.900677652,\n",
       " '同翅目': 10.8096351986,\n",
       " '零数': 11.9547675029,\n",
       " '上海滩': 10.4666904475,\n",
       " '正表': 13.900677652,\n",
       " '黎国': 13.900677652,\n",
       " '电焊条': 12.8020653633,\n",
       " '二钱': 11.0674643079,\n",
       " '交通违章': 12.2912397395,\n",
       " '五卅运动': 10.0940151622,\n",
       " '贡二水': 12.8020653633,\n",
       " '傣': 9.55687223012,\n",
       " '蜜色': 13.900677652,\n",
       " '以远': 11.9547675029,\n",
       " '百科': 10.1630080337,\n",
       " '左舷': 12.1089181827,\n",
       " '新媳妇': 9.85762638414,\n",
       " '外差': 11.9547675029,\n",
       " '竞争性': 9.62401153296,\n",
       " '编述': 12.5143832909,\n",
       " '孤负': 12.5143832909,\n",
       " '百种': 9.61021821083,\n",
       " '杨炎官': 13.2075304714,\n",
       " '每下愈况': 13.900677652,\n",
       " '博莱': 12.2912397395,\n",
       " '少数整': 12.8020653633,\n",
       " '宗羲': 12.2912397395,\n",
       " '新疆省': 10.9049453784,\n",
       " '由近而远': 12.8020653633,\n",
       " '镇子': 9.28555713513,\n",
       " '丽丽': 9.87532596124,\n",
       " '靳祥': 12.8020653633,\n",
       " '类型学': 11.2616203224,\n",
       " '小象虫': 13.2075304714,\n",
       " '烈女传': 13.2075304714,\n",
       " '史志宏': 11.8212361103,\n",
       " '四十六次': 13.2075304714,\n",
       " '编辑': 6.28685896717,\n",
       " '黑白两道': 11.598092559,\n",
       " '交换条件': 11.0103058941,\n",
       " '立体式': 12.8020653633,\n",
       " '发射区': 11.8212361103,\n",
       " '广陵派': 13.2075304714,\n",
       " '卢姆': 12.1089181827,\n",
       " '国务院法制办': 11.1926274509,\n",
       " '租下来': 13.2075304714,\n",
       " '孪': 10.4994802703,\n",
       " '私生活': 10.533381822,\n",
       " '山竹子': 13.2075304714,\n",
       " '神使鬼差': 13.900677652,\n",
       " '卢世荣': 12.2912397395,\n",
       " '任姓挚': 13.2075304714,\n",
       " '试述': 13.900677652,\n",
       " '多点': 8.86372504956,\n",
       " '囷': 8.98802276624,\n",
       " '诱导酶': 13.900677652,\n",
       " '阿旃陀': 10.9049453784,\n",
       " '夏耘': 13.900677652,\n",
       " '王爵封': 13.2075304714,\n",
       " '哈飞公司': 13.2075304714,\n",
       " '院校': 8.81927328699,\n",
       " '养阴': 10.7226238216,\n",
       " '个性特点': 12.5143832909,\n",
       " '第十七个': 13.900677652,\n",
       " '第二十六章': 10.5684731418,\n",
       " '潘公凯': 13.900677652,\n",
       " '镇定': 8.37124856446,\n",
       " '争嘴': 13.900677652,\n",
       " '专题讲座': 12.2912397395,\n",
       " '女追男': 13.900677652,\n",
       " '镇宅': 11.4157710022,\n",
       " '感受一下': 11.3357282945,\n",
       " '零时': 9.14708746087,\n",
       " '资源税': 10.2117981979,\n",
       " '项怀诚': 12.8020653633,\n",
       " '谛': 9.98865464655,\n",
       " '王立武': 13.2075304714,\n",
       " '镇安': 10.4041700905,\n",
       " '镇守': 8.38724890581,\n",
       " '一筐': 10.7226238216,\n",
       " '够格': 12.5143832909,\n",
       " '昐': 11.3357282945,\n",
       " '脉动': 9.98865464655,\n",
       " '级别': 7.50541605386,\n",
       " '竟陵': 10.7226238216,\n",
       " '全国学联': 12.2912397395,\n",
       " '贺喜': 9.38981814546,\n",
       " '宝钗素': 12.2912397395,\n",
       " '多灾': 11.598092559,\n",
       " '萨克森': 9.45802639549,\n",
       " '杨国强': 13.2075304714,\n",
       " '几十艘': 13.900677652,\n",
       " '严防': 9.56994431169,\n",
       " '元老级': 11.8212361103,\n",
       " '票庄': 13.2075304714,\n",
       " '足球界': 11.8212361103,\n",
       " '洮南': 11.9547675029,\n",
       " '双力': 13.2075304714,\n",
       " '后景': 12.8020653633,\n",
       " '截然': 9.05649056552,\n",
       " '照耀': 8.67493097826,\n",
       " '来江州': 12.5143832909,\n",
       " '丽人': 11.1926274509,\n",
       " '用途林': 12.8020653633,\n",
       " '戒面': 13.900677652,\n",
       " '上海港': 10.2371160058,\n",
       " '昏昏欲睡': 10.6818018271,\n",
       " '八艘': 11.9547675029,\n",
       " '撸子': 12.8020653633,\n",
       " '开门见山': 9.59661255877,\n",
       " '觞': 11.8212361103,\n",
       " '卢奇': 12.1089181827,\n",
       " '慢着': 10.533381822,\n",
       " '欢送': 10.604840786,\n",
       " '不作美': 13.900677652,\n",
       " '斯海姆': 12.8020653633,\n",
       " '合作局': 13.2075304714,\n",
       " '良': 9.45802639549,\n",
       " '丽亚': 12.2912397395,\n",
       " '上海电影制片厂': 10.2630914922,\n",
       " '川东南': 11.598092559,\n",
       " '布特莱齐': 13.900677652,\n",
       " '拉栖第': 10.3743171274,\n",
       " '明铁盖': 12.2912397395,\n",
       " '主掌': 11.7034530746,\n",
       " '脱氧核糖核酸': 10.1164880181,\n",
       " '阿拉斯加': 9.13850371718,\n",
       " '乌孙王': 11.9547675029,\n",
       " '塑胶管': 12.8020653633,\n",
       " '落马洲': 13.2075304714,\n",
       " '历经沧桑': 12.5143832909,\n",
       " '羊背石': 11.4157710022,\n",
       " '姑父': 9.72629038208,\n",
       " '姑爹': 13.2075304714,\n",
       " '桂林人': 12.2912397395,\n",
       " '张廷玉': 11.0674643079,\n",
       " '二十余家': 12.5143832909,\n",
       " '玎珰': 13.900677652,\n",
       " '冰封': 9.77354326693,\n",
       " '四出戏': 13.900677652,\n",
       " '海蚀台': 13.2075304714,\n",
       " '群而不党': 13.900677652,\n",
       " '戚': 9.94943393339,\n",
       " '鲁比亚': 12.8020653633,\n",
       " '输送泵': 13.2075304714,\n",
       " '老街区': 13.2075304714,\n",
       " '千态万状': 13.900677652,\n",
       " '铭心镂骨': 12.5143832909,\n",
       " '查克': 12.2912397395,\n",
       " '陈女士': 10.4994802703,\n",
       " '达官显宦': 12.8020653633,\n",
       " '人才流': 13.900677652,\n",
       " '适量水': 13.2075304714,\n",
       " '黑娃': 8.0985592766,\n",
       " '光纤网': 13.900677652,\n",
       " '傲雪凌霜': 13.900677652,\n",
       " '潭头': 12.8020653633,\n",
       " '电抗器': 11.5027823792,\n",
       " '后果': 7.19748953873,\n",
       " '牛山湖': 12.8020653633,\n",
       " '警报系统': 11.9547675029,\n",
       " '为民除害': 10.765183436,\n",
       " '应明辨': 12.8020653633,\n",
       " '喝进去': 12.2912397395,\n",
       " '李老爷': 11.598092559,\n",
       " '寒冬腊月': 11.2616203224,\n",
       " '冰屑': 11.9547675029,\n",
       " '多媒体信息': 12.8020653633,\n",
       " '美国纽约大学': 11.1926274509,\n",
       " '非常容易': 10.0505300503,\n",
       " '解放军部队': 12.1089181827,\n",
       " '睌': 8.95903522937,\n",
       " '复旦大学': 8.79473217808,\n",
       " '冰层': 9.28555713513,\n",
       " '二间': 12.8020653633,\n",
       " '仪器仪表': 9.56994431169,\n",
       " '远亲近友': 13.2075304714,\n",
       " '变幻莫测': 10.4994802703,\n",
       " '劲风': 11.0103058941,\n",
       " '外岛': 12.2912397395,\n",
       " '厚脸皮': 13.900677652,\n",
       " '奥威尔': 12.8020653633,\n",
       " '信息处理': 9.43476953332,\n",
       " '冰山': 9.29550746599,\n",
       " '几十箱': 13.2075304714,\n",
       " '老少爷们儿': 13.2075304714,\n",
       " '贩贱卖贵': 13.900677652,\n",
       " '非她不可': 13.2075304714,\n",
       " '成仙成': 13.2075304714,\n",
       " '夏历': 9.71102290995,\n",
       " '最灵': 11.3357282945,\n",
       " '投资银行业': 12.8020653633,\n",
       " '四时之气': 13.900677652,\n",
       " '外层': 8.83808261895,\n",
       " '长春电影制片厂': 11.1926274509,\n",
       " '张维': 11.598092559,\n",
       " '李虞候': 11.7034530746,\n",
       " '上海大众': 9.34680076038,\n",
       " '冰岛': 9.12155415886,\n",
       " '过磷酸': 13.2075304714,\n",
       " '外屋': 10.642581114,\n",
       " '小角色': 12.1089181827,\n",
       " '默不作声': 10.0505300503,\n",
       " '服罪': 11.9547675029,\n",
       " '查出': 8.40350942668,\n",
       " '哑巴亏': 11.9547675029,\n",
       " '防雷击': 13.900677652,\n",
       " '雅鲁藏布江': 8.97342396682,\n",
       " '分清主次': 13.900677652,\n",
       " '混起': 13.900677652,\n",
       " '后有': 11.0674643079,\n",
       " '海瑞罢官': 11.0674643079,\n",
       " '中饱私囊': 11.4157710022,\n",
       " '尼科西亚': 12.1089181827,\n",
       " '朱三松': 12.5143832909,\n",
       " '后期': 6.18778669049,\n",
       " '瀹': 6.80478443088,\n",
       " '画眉鸟': 12.1089181827,\n",
       " '洞鉴': 12.2912397395,\n",
       " '刑赏': 11.8212361103,\n",
       " '宇文泰嗣': 12.8020653633,\n",
       " '和平解决': 9.32596667347,\n",
       " '中草药': 9.28555713513,\n",
       " '一站式': 10.0720362555,\n",
       " '不怕困难': 12.5143832909,\n",
       " '标准箱': 11.2616203224,\n",
       " '后来': 4.99211827683,\n",
       " '心细': 10.5684731418,\n",
       " '戒除': 10.9049453784,\n",
       " '八荒': 12.8020653633,\n",
       " '刑责': 12.5143832909,\n",
       " '电信业': 11.0103058941,\n",
       " '帅营': 13.900677652,\n",
       " '逗乐': 11.0103058941,\n",
       " '固溶体': 10.642581114,\n",
       " '玄稽沉': 13.2075304714,\n",
       " '情夫': 13.2075304714,\n",
       " '减色': 11.9547675029,\n",
       " '巴拉那': 11.7034530746,\n",
       " '明叔让': 12.5143832909,\n",
       " '冰峰': 12.2912397395,\n",
       " '最烦': 11.8212361103,\n",
       " '待命状态': 12.8020653633,\n",
       " '近红外': 11.0103058941,\n",
       " '李永芳': 12.2912397395,\n",
       " '闸阀': 11.9547675029,\n",
       " '快撤': 11.7034530746,\n",
       " '宗明昌': 12.8020653633,\n",
       " '最热': 8.73589167805,\n",
       " '森严壁垒': 13.900677652,\n",
       " '千岛群岛': 10.6818018271,\n",
       " '技艺': 8.0600359946,\n",
       " '激光管': 13.900677652,\n",
       " '相当规模': 9.82314020807,\n",
       " '极端愚蠢': 13.2075304714,\n",
       " '业务室': 13.2075304714,\n",
       " '诉讼案': 10.2897597393,\n",
       " '杨国平': 12.1089181827,\n",
       " '从乐亭': 13.900677652,\n",
       " '降霜': 13.900677652,\n",
       " '闸门': 9.28555713513,\n",
       " '静止': 7.98988100794,\n",
       " '几万倍': 12.2912397395,\n",
       " '悲喜': 11.2616203224,\n",
       " '氦氖激光器': 13.2075304714,\n",
       " '后撤': 9.40086798165,\n",
       " '既未': 11.5027823792,\n",
       " '帝斯': 13.900677652,\n",
       " '创立': 6.8787012289,\n",
       " '自投罗网': 10.3171587135,\n",
       " '二难': 11.4157710022,\n",
       " '统战部门': 13.900677652,\n",
       " '马小舍': 12.2912397395,\n",
       " '团服': 13.900677652,\n",
       " '内利斯': 11.598092559,\n",
       " '贾政道': 9.45802639549,\n",
       " '卢宅': 12.8020653633,\n",
       " '八股': 9.53122979951,\n",
       " '幻灯机': 12.5143832909,\n",
       " '背不住': 13.900677652,\n",
       " '中国人民解放军空军': 11.1926274509,\n",
       " '拔出去': 13.900677652,\n",
       " '王峰': 10.642581114,\n",
       " '外快': 10.7226238216,\n",
       " '四五千里': 13.2075304714,\n",
       " '既有': 7.11622058934,\n",
       " '宗社': 10.9049453784,\n",
       " '纻': 10.642581114,\n",
       " '百无一见': 13.900677652,\n",
       " '纯棉纱': 12.8020653633,\n",
       " '百篇': 10.9562386728,\n",
       " '从维熙': 12.8020653633,\n",
       " '斯宾诺': 13.900677652,\n",
       " '外径': 11.0674643079,\n",
       " '童大人': 11.0103058941,\n",
       " '市政建设': 10.3743171274,\n",
       " '猜谜': 11.1280889297,\n",
       " '当代人': 12.1089181827,\n",
       " '谄上欺下': 13.900677652,\n",
       " '宗祖': 12.8020653633,\n",
       " '神农本草经': 10.9049453784,\n",
       " '卡波济': 13.900677652,\n",
       " '骑马打仗': 11.3357282945,\n",
       " '梅斯基': 13.2075304714,\n",
       " '减至': 9.19114745066,\n",
       " '查到': 9.66657114738,\n",
       " '尼泊尔共产党': 13.2075304714,\n",
       " '卢寻': 13.2075304714,\n",
       " '另起炉灶': 11.2616203224,\n",
       " '不可理喻': 10.6818018271,\n",
       " '宗祠': 10.533381822,\n",
       " '零月': 13.2075304714,\n",
       " '未处理': 13.2075304714,\n",
       " '少尉': 9.85762638414,\n",
       " '情面': 10.2897597393,\n",
       " '政法干部': 12.5143832909,\n",
       " '高等学府': 9.37888907493,\n",
       " '懊悔无及': 12.8020653633,\n",
       " '马加比': 13.2075304714,\n",
       " '不安全感': 11.4157710022,\n",
       " '和启东': 13.2075304714,\n",
       " '米勒德': 12.8020653633,\n",
       " '民族乐器': 10.9049453784,\n",
       " '由合子': 13.2075304714,\n",
       " '查勤': 13.900677652,\n",
       " '中国篮协': 13.900677652,\n",
       " '慢用': 12.5143832909,\n",
       " '统战部长': 11.9547675029,\n",
       " '二阶': 10.2117981979,\n",
       " '韦奇伍': 13.900677652,\n",
       " '利润率': 7.2673592187,\n",
       " '岸线': 8.80692745117,\n",
       " '亿加元': 12.5143832909,\n",
       " '地广': 12.1089181827,\n",
       " '逆我者死': 13.900677652,\n",
       " '南泥湾': 11.1926274509,\n",
       " '缘自': 11.9547675029,\n",
       " '外形': 7.45178825783,\n",
       " '多数三项': 13.900677652,\n",
       " '汪若海': 11.4157710022,\n",
       " '中国人民解放军三军仪仗队': 12.2912397395,\n",
       " '特库蒂': 13.2075304714,\n",
       " '欢闹': 12.8020653633,\n",
       " '百等': 13.2075304714,\n",
       " '风信子': 12.5143832909,\n",
       " '查勘': 10.2897597393,\n",
       " '如法炮制': 11.0103058941,\n",
       " '二队': 10.642581114,\n",
       " '坛坛罐罐': 11.2616203224,\n",
       " '游览胜地': 8.83177344976,\n",
       " '博多湾': 13.900677652,\n",
       " '镇委': 12.2912397395,\n",
       " '日本东京证券交易所': 13.900677652,\n",
       " '从今以后': 9.4233408375,\n",
       " '我姐': 10.7226238216,\n",
       " '阿弥陀': 11.4157710022,\n",
       " '戊子': 13.2075304714,\n",
       " '金乌西坠': 12.8020653633,\n",
       " '埃努古': 13.900677652,\n",
       " '纯如': 13.900677652,\n",
       " '冰心': 10.4349417492,\n",
       " '姬宗周': 13.2075304714,\n",
       " '魏延领': 11.8212361103,\n",
       " '外引': 13.2075304714,\n",
       " '家电网': 12.1089181827,\n",
       " '待物': 13.900677652,\n",
       " '杭嘉和': 8.39534611604,\n",
       " '千百件': 13.900677652,\n",
       " '职蜂': 13.2075304714,\n",
       " '外弦': 13.2075304714,\n",
       " '悲啼': 11.0103058941,\n",
       " '耳边风': 12.5143832909,\n",
       " '旱芹': 13.900677652,\n",
       " '查办': 9.74179456862,\n",
       " '配在一起': 12.5143832909,\n",
       " '情韵': 11.598092559,\n",
       " '别难过': 11.2616203224,\n",
       " '外强': 11.7034530746,\n",
       " '文国庆': 11.3357282945,\n",
       " '大连市': 9.66657114738,\n",
       " '岸礁': 11.9547675029,\n",
       " '开发计划署': 13.900677652,\n",
       " '反省': 9.4233408375,\n",
       " '减肥': 8.30225569298,\n",
       " '向父皇': 12.8020653633,\n",
       " '宫太后': 10.0088573539,\n",
       " '工具书': 9.91169360541,\n",
       " '图尔卡纳湖': 12.8020653633,\n",
       " '后方': 7.57811241205,\n",
       " '血循环': 10.604840786,\n",
       " '提供方便': 10.5684731418,\n",
       " '百端': 11.598092559,\n",
       " '龙的传人': 13.900677652,\n",
       " '十五丈': 13.2075304714,\n",
       " '目标群体': 12.5143832909,\n",
       " '廊房头条': 13.2075304714,\n",
       " '多班': 13.2075304714,\n",
       " '莫泽尔': 13.900677652,\n",
       " '乳状物': 13.900677652,\n",
       " '凋残': 11.8212361103,\n",
       " '悲咽': 12.5143832909,\n",
       " '篾青': 13.900677652,\n",
       " '蜜腺': 10.533381822,\n",
       " '后文': 12.1089181827,\n",
       " '嫡子': 10.9049453784,\n",
       " '最爱': 8.77671367257,\n",
       " '外延': 8.87679713113,\n",
       " '嫡孙': 11.9547675029,\n",
       " '米字旗': 13.2075304714,\n",
       " '小团体': 11.2616203224,\n",
       " '最爽': 12.5143832909,\n",
       " '仡': 13.900677652,\n",
       " '正梳妆': 13.900677652,\n",
       " '指甲钳': 13.900677652,\n",
       " '借壳上市': 9.5062284973,\n",
       " '十大元帅': 13.900677652,\n",
       " '后日': 9.87532596124,\n",
       " '梦牵魂绕': 11.9547675029,\n",
       " '潭子': 12.5143832909,\n",
       " '拙': 10.2117981979,\n",
       " '带头羊': 13.900677652,\n",
       " '魏末': 11.5027823792,\n",
       " '鼎立': 10.0294766411,\n",
       " '书法': 7.8184587416,\n",
       " '掩其不备': 13.2075304714,\n",
       " '林网化': 11.598092559,\n",
       " '交流电路': 10.9049453784,\n",
       " '古定剑': 12.5143832909,\n",
       " '少私寡欲': 12.8020653633,\n",
       " '上课时数': 13.900677652,\n",
       " '具体化': 10.2897597393,\n",
       " '悲哭': 11.1926274509,\n",
       " '尖锐湿疣': 11.2616203224,\n",
       " '查字法': 13.900677652,\n",
       " '技能': 8.16733637508,\n",
       " '张勋遂': 12.8020653633,\n",
       " '冰库': 12.2912397395,\n",
       " '金丸珠': 13.900677652,\n",
       " '闯王': 5.73730633552,\n",
       " '孤身': 10.1630080337,\n",
       " '元代': 7.09274270828,\n",
       " '非线性': 8.55834340001,\n",
       " '甄夫人': 12.8020653633,\n",
       " '而立': 8.83177344976,\n",
       " '汇率': 6.76658393078,\n",
       " '袁锦': 13.900677652,\n",
       " '可预测性': 10.642581114,\n",
       " '电热水壶': 13.900677652,\n",
       " '后放': 12.1089181827,\n",
       " '官晋爵': 12.8020653633,\n",
       " '神经衰弱': 9.98865464655,\n",
       " '掘': 8.53003962385,\n",
       " '查号': 13.900677652,\n",
       " '挣到': 10.4041700905,\n",
       " '褟': 9.30555780184,\n",
       " '二十余处': 12.8020653633,\n",
       " '养锐': 12.5143832909,\n",
       " '战斗能力': 11.1280889297,\n",
       " '栽插': 12.5143832909,\n",
       " '李亚': 10.8561552143,\n",
       " '史张腊': 13.2075304714,\n",
       " '绝对性': 10.9562386728,\n",
       " '政法委': 9.98865464655,\n",
       " '日积月累': 10.4666904475,\n",
       " '秒杀': 8.57766767284,\n",
       " '言之士': 12.8020653633,\n",
       " '不死不活': 11.7034530746,\n",
       " '博耶': 12.5143832909,\n",
       " '山药蛋': 12.5143832909,\n",
       " '鳖精': 13.900677652,\n",
       " '有用之才': 11.8212361103,\n",
       " '李岩惊': 13.900677652,\n",
       " '外币': 8.70772080109,\n",
       " '马雅': 13.900677652,\n",
       " '消息面': 8.11685246965,\n",
       " '金融债权': 12.8020653633,\n",
       " '丘伦梅': 13.900677652,\n",
       " '马鲁穆': 13.900677652,\n",
       " '棊': 12.8020653633,\n",
       " '鹑': 10.1871055853,\n",
       " '猛吃': 11.1926274509,\n",
       " '广南路': 13.2075304714,\n",
       " '乡土观念': 11.8212361103,\n",
       " '浩然之气': 12.8020653633,\n",
       " '太冲': 9.23723855786,\n",
       " '唐复名': 12.5143832909,\n",
       " '雷阵雨': 10.9562386728,\n",
       " '自外而内': 13.900677652,\n",
       " '亿千瓦': 9.33632946051,\n",
       " '师道尊严': 12.2912397395,\n",
       " '单家独户': 12.5143832909,\n",
       " '口出怨言': 11.1926274509,\n",
       " '外带': 10.6818018271,\n",
       " '石渠阁': 11.7034530746,\n",
       " '达生': 13.900677652,\n",
       " '滕哈': 13.2075304714,\n",
       " '二万二千八百七十七卷': 13.900677652,\n",
       " '寒露风': 12.1089181827,\n",
       " '卢峰': 12.2912397395,\n",
       " '尿素氮': 10.642581114,\n",
       " ...}"
      ]
     },
     "execution_count": 154,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "idf_freq = tfidf.idf_freq\n",
    "median_idf = tfidf.median_idf\n",
    "print(median_idf)\n",
    "idf_freq  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 159,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('中央空调系统', 2.988691875725),\n",
       " ('制冷', 2.336700190095),\n",
       " ('末端', 2.0194079391225),\n",
       " ('包括', 1.0559129123075)]"
      ]
     },
     "execution_count": 159,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentence = '中央空调系统包括制冷站，末端'\n",
    "tfidf.extract_tags(sentence,withWeight=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.2.2 基于Textrank提取关键词 ：jieba.analyse.textrank"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 原理介绍见：\n",
    "https://blog.csdn.net/qq_41664845/article/details/82869596\n",
    "\n",
    "https://blog.csdn.net/qq_33373858/article/details/90810066\n",
    "\n",
    "TextRank算法是由 Google 搜索的核心网页排序算法 PageRank 改编而来，利用图模型来提取文章中的关键词，首先介绍一下 PageRank 排序算法\n",
    "\n",
    "### 一、PageRank 算法\n",
    "![jupyter](https://img-blog.csdnimg.cn/20190604193542365.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzczODU4,size_16,color_FFFFFF,t_70)\n",
    "\n",
    "#### PageRank 算法是一种网页排名算法，其基本思想有两条：\n",
    "\n",
    "    链接数量：一个网页被越多的其他网页链接，说明这个网页越重要。\n",
    "    链接质量：一个网页被一个越高权值的网页链接，也能表明这个网页越重要。\n",
    "\n",
    "![jupyter](https://img-blog.csdnimg.cn/20190530204915270.png)\n",
    "\n",
    "* 其中V表示网页，S表示每个网页的score，S越大表示网页的重要程度越高。d是阻尼系数，一般取0.85\n",
    "\n",
    "* In(V) 表示存在指向网页 i 的链接的网页集合。Out(V)表示网页 j 中的链接指向的网页的集合；|Out(V)| 是集合中元素的个数\n",
    "\n",
    "* #### 在评价网页的重要性时，根据所有指向该网页 i 的网页 j 的重要性以及网页 j 中的链接指向的网页的数目。比如：一篇文章被许多权重高的网页指向，而且指向它的网页本身指出去的链接并不多，那这篇文章就十分重要，其得分就很高。（换句话来说，这篇文章被很多人借鉴，并且是唯一被引用的）\n",
    "\n",
    "* 初始时，可以设置每个网页的重要性为 1，进行迭代。当S（V）的变化量小于阈值（0.0001）时停止迭代。\n",
    "\n",
    "### 2、TextRank 算法\n",
    "\n",
    "TextRank在构建图的时候将节点由网页改成了句子，并为节点之间的边引入了权值，其中权值表示两个句子的相似程度，本质上构建的是一个带权无向图，其计算公式如下：\n",
    "![jupyter](https://img-blog.csdnimg.cn/20190604193622308.png)\n",
    "![jupyter](https://img-blog.csdnimg.cn/20190604193604339.png)\n",
    "在 TextRank 构建的图中，默认节点就是句子，权重 w_{ij} 为两个句子 S_{i} 和 S_{j} 的相似度分数，公式如下：\n",
    "![jupyter](https://img-blog.csdnimg.cn/20190604193659990.png)\n",
    "\n",
    "使用TextRank提取关键词,和网页中选哪个网页比较重要其实是异曲同工的，so，我们只需要想办法把图构建出来就好了。\n",
    "\n",
    "图的结点其实比较好定义，就是单词喽，把文章拆成句子，每个句子再拆成单词，以单词为结点。\n",
    "\n",
    "那么边如何定义呢？这里就可以利用n-gram的思路，简单来说，某个单词，只与它附近的n个单词有关，即与它附近的n个词对应的结点连一条无向边（两个有向边）。\n",
    "\n",
    "另外，还可以做一些操作，比如把某类词性的词删掉，一些自定义词删掉，只保留一部分单词，只有这些词之间能够连边。\n",
    "\n",
    "下面是论文中给出的例子：\n",
    "![jupyter](https://img-blog.csdnimg.cn/20181104103703911.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpYW45OQ==,size_16,color_FFFFFF,t_70)\n",
    "\n",
    "##### 例如要从下面的文本中提取关键词：\n",
    "![jupyter](https://img-blog.csdnimg.cn/20190604193726678.png)\n",
    "1）对这句话分词，去掉里面的停用词\n",
    "![jupyter](https://img-blog.csdnimg.cn/20190604193735347.png)\n",
    "2）现在建立一个大小为 9 的窗口，即相当于每个单词要将票投给它身前身后距离 5 以内的单词：\n",
    "![jupyter](https://img-blog.csdnimg.cn/20190604193744939.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzczODU4,size_16,color_FFFFFF,t_70)\n",
    "然后开始迭代投票，直至收敛：\n",
    "![jupyter](https://img-blog.csdnimg.cn/20190604193753354.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzczODU4,size_16,color_FFFFFF,t_70)\n",
    "可以看到“程序员”的得票数最多，因而它是整段文本最重要的单词，我们将文本中得票数多的若干单词作为该段文本的关键词。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Jieba分词TextRank：\n",
    "https://blog.csdn.net/qq_41664845/article/details/82869596\n",
    "\n",
    "* 对每个句子进行分词和词性标注处理\n",
    "* 过滤掉除指定词性外的其他单词，过滤掉出现在停用词表的单词，过滤掉长度小于2的单词\n",
    "* 将剩下的单词中循环选择一个单词，将其与其后面4个单词分别组合成4条边。\n",
    "\n",
    "例如：\n",
    "\n",
    "['有','媒体', '曝光','高圆圆', '和', '赵又廷','现身', '台北', '桃园','机场','的', '照片']\n",
    "\n",
    "对于‘媒体‘这个单词，就有（'媒体', '曝光'）、（'媒体', '高圆圆'）、（'媒体', '和'）、（'媒体', '赵又廷'）4条边，且每条边权值为1，当这条边在之后再次出现时，权值再在基础上加1.\n",
    "\n",
    "有了这些数据后，我们就可以构建出候选关键词图，把2个单词组成的边，和其权值记录了下来。\n",
    "\n",
    "这样我们就可以套用TextRank的公式，迭代传播各节点的权值，直至收敛。\n",
    "\n",
    "对结果中的Rank值进行倒序排序，筛选出前面的几个单词，就是我们需要的关键词了。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "    def textrank(self, sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'), withFlag=False):\n",
    " \n",
    "        self.pos_filt = frozenset(allowPOS)\n",
    "        # 定义无向有权图\n",
    "        g = UndirectWeightedGraph()\n",
    "        # 定义共现词典\n",
    "        cm = defaultdict(int)\n",
    "        # 分词\n",
    "        words = tuple(self.tokenizer.cut(sentence))\n",
    "        # 依次遍历每个词\n",
    "        for i, wp in enumerate(words):\n",
    "            # 词i 满足过滤条件\n",
    "            if self.pairfilter(wp):\n",
    "                # 依次遍历词i 之后窗口范围内的词\n",
    "                for j in xrange(i + 1, i + self.span):\n",
    "                    # 词j 不能超出整个句子\n",
    "                    if j >= len(words):\n",
    "                        break\n",
    "                    # 词j不满足过滤条件，则跳过\n",
    "                    if not self.pairfilter(words[j]):\n",
    "                        continue\n",
    "                    # 将词i和词j作为key，出现的次数作为value，添加到共现词典中\n",
    "                    if allowPOS and withFlag:\n",
    "                        cm[(wp, words[j])] += 1\n",
    "                    else:\n",
    "                        cm[(wp.word, words[j].word)] += 1\n",
    "        # 依次遍历共现词典的每个元素，将词i，词j作为一条边起始点和终止点，共现的次数作为边的权重\n",
    "        for terms, w in cm.items():\n",
    "            g.addEdge(terms[0], terms[1], w)\n",
    "\n",
    "        # 运行textrank算法\n",
    "        nodes_rank = g.rank()\n",
    "\n",
    "        # 根据指标值进行排序\n",
    "        if withWeight:\n",
    "            tags = sorted(nodes_rank.items(), key=itemgetter(1), reverse=True)\n",
    "        else:\n",
    "            tags = sorted(nodes_rank, key=nodes_rank.__getitem__, reverse=True)\n",
    "\n",
    "        # 输出topK个词作为关键词\n",
    "        if topK:\n",
    "            return tags[:topK]\n",
    "        else:\n",
    "            return tags"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 关于有向图的数据结构：\n",
    "    def addEdge(self, start, end, weight):\n",
    "        # use a tuple (start, end, weight) instead of a Edge object\n",
    "        self.graph[start].append((start, end, weight))\n",
    "        self.graph[end].append((end, start, weight))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### rank实现：\n",
    "      def rank(self):\n",
    "        #yan:暴露ws出来\n",
    "        self.ws = defaultdict(float)\n",
    "        outSum = defaultdict(float)\n",
    "\n",
    "        wsdef = 1.0 / (len(self.graph) or 1.0)\n",
    "        for n, out in self.graph.items():\n",
    "            self.ws[n] = wsdef\n",
    "            outSum[n] = sum((e[2] for e in out), 0.0)\n",
    "\n",
    "        # this line for build stable iteration\n",
    "        sorted_keys = sorted(self.graph.keys())\n",
    "        for x in xrange(10):  # 10 iters\n",
    "            #yan:\n",
    "            print('迭代轮次:',x)\n",
    "            for n in sorted_keys:\n",
    "                s = 0\n",
    "                #graph:\n",
    "                #{'了解': [('了解', '时候', 1)],\n",
    "                #    '时候': [('时候', '了解', 1), ('时候', '参考', 1)],\n",
    "![jupyter](https://img-blog.csdnimg.cn/20190604193622308.png)\n",
    "“在评价网页的重要性时，根据所有指向该网页 i 的网页 j 的重要性以及网页 j 中的链接指向的网页的数目。比如：一篇文章被许多权重高的网页指向，而且指向它的网页本身指出去的链接并不多，那这篇文章就十分重要，其得分就很高。（换句话来说，这篇文章被很多人借鉴，并且是唯一被引用的）”\n",
    "\n",
    "                for e in self.graph[n]:\n",
    "                    s += e[2] / outSum[e[1]] * self.ws[e[1]]\n",
    "                self.ws[n] = (1 - self.d) + self.d * s\n",
    "                #yan：\n",
    "                print(\"(n, self.ws[n]):\",n,self.ws[n])\n",
    "\n",
    "        (min_rank, max_rank) = (sys.float_info[0], sys.float_info[3])\n",
    "\n",
    "        # 获取权值的最大值和最小值\n",
    "        for w in itervalues(ws):\n",
    "            if w < min_rank:\n",
    "                min_rank = w\n",
    "            if w > max_rank:\n",
    "                max_rank = w\n",
    "\n",
    "        # 对权值进行归一化\n",
    "        for n, w in ws.items():\n",
    "            # to unify the weights, don't *100.\n",
    "            ws[n] = (w - min_rank / 10.0) / (max_rank - min_rank / 10.0)\n",
    "\n",
    "        return ws"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from jieba.analyse.textrank import UndirectWeightedGraph,TextRank"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'graph': defaultdict(list, {})}"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "undirectWeightedGraph = UndirectWeightedGraph()\n",
    "undirectWeightedGraph.__dict__"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "sentence=' 上山打猎，下河摸鱼，打猎山上，摸鱼下河，这就是野外生存节目一贯套路。'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'tokenizer': <POSTokenizer tokenizer=<Tokenizer dictionary=None>>,\n",
       " 'postokenizer': <POSTokenizer tokenizer=<Tokenizer dictionary=None>>,\n",
       " 'stop_words': {'all',\n",
       "  'an',\n",
       "  'and',\n",
       "  'are',\n",
       "  'as',\n",
       "  'at',\n",
       "  'be',\n",
       "  'by',\n",
       "  'can',\n",
       "  'for',\n",
       "  'from',\n",
       "  'has',\n",
       "  'have',\n",
       "  'if',\n",
       "  'in',\n",
       "  'is',\n",
       "  'it',\n",
       "  'not',\n",
       "  'of',\n",
       "  'on',\n",
       "  'one',\n",
       "  'or',\n",
       "  'that',\n",
       "  'the',\n",
       "  'then',\n",
       "  'this',\n",
       "  'to',\n",
       "  'we',\n",
       "  'which',\n",
       "  'with',\n",
       "  'you'},\n",
       " 'pos_filt': frozenset({'n', 'ns', 'v', 'vn'}),\n",
       " 'span': 5}"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "textrank = TextRank()\n",
    "textrank.__dict__"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "迭代轮次: 0\n",
      "(n, self.ws[n]): 上山 0.2078231292517007\n",
      "(n, self.ws[n]): 下河 0.30140022675736966\n",
      "(n, self.ws[n]): 套路 0.27142857142857146\n",
      "(n, self.ws[n]): 打猎 0.39769260204081636\n",
      "(n, self.ws[n]): 摸鱼 0.43915368446981967\n",
      "(n, self.ws[n]): 生存 0.32607142857142857\n",
      "(n, self.ws[n]): 节目 0.4039375\n",
      "迭代轮次: 1\n",
      "(n, self.ws[n]): 上山 0.30320304862404623\n",
      "(n, self.ws[n]): 下河 0.5052081413105116\n",
      "(n, self.ws[n]): 套路 0.4602537946428572\n",
      "(n, self.ws[n]): 打猎 0.6372613064001207\n",
      "(n, self.ws[n]): 摸鱼 0.6111950273367401\n",
      "(n, self.ws[n]): 生存 0.5172813002232143\n",
      "(n, self.ws[n]): 节目 0.5654524153180804\n",
      "迭代轮次: 2\n",
      "(n, self.ws[n]): 上山 0.3855388456212325\n",
      "(n, self.ws[n]): 下河 0.6645531208600409\n",
      "(n, self.ws[n]): 套路 0.6101618291050503\n",
      "(n, self.ws[n]): 打猎 0.8014289692429811\n",
      "(n, self.ws[n]): 摸鱼 0.7394751816796372\n",
      "(n, self.ws[n]): 生存 0.6496360538798306\n",
      "(n, self.ws[n]): 节目 0.6854141002685744\n",
      "迭代轮次: 3\n",
      "(n, self.ws[n]): 上山 0.44622038436310213\n",
      "(n, self.ws[n]): 下河 0.7778962015553859\n",
      "(n, self.ws[n]): 套路 0.7173963155130721\n",
      "(n, self.ws[n]): 打猎 0.9213119467777637\n",
      "(n, self.ws[n]): 摸鱼 0.8324538132888046\n",
      "(n, self.ws[n]): 生存 0.7461944267071998\n",
      "(n, self.ws[n]): 节目 0.7720260654436155\n",
      "迭代轮次: 4\n",
      "(n, self.ws[n]): 上山 0.4900065123068935\n",
      "(n, self.ws[n]): 下河 0.8603178728640142\n",
      "(n, self.ws[n]): 套路 0.7952437091640965\n",
      "(n, self.ws[n]): 打猎 1.008263145101901\n",
      "(n, self.ws[n]): 摸鱼 0.8998877691331639\n",
      "(n, self.ws[n]): 生存 0.8160896542082776\n",
      "(n, self.ws[n]): 节目 0.834816679433259\n",
      "迭代轮次: 5\n",
      "(n, self.ws[n]): 上山 0.5217944192834025\n",
      "(n, self.ws[n]): 下河 0.9201058133861005\n",
      "(n, self.ws[n]): 套路 0.851635191797653\n",
      "(n, self.ws[n]): 打猎 1.0713390247009849\n",
      "(n, self.ws[n]): 摸鱼 0.9488119011117178\n",
      "(n, self.ws[n]): 生存 0.8667420452731376\n",
      "(n, self.ws[n]): 节目 0.880310325755086\n",
      "迭代轮次: 6\n",
      "(n, self.ws[n]): 上山 0.5448545101723106\n",
      "(n, self.ws[n]): 下河 0.9634789850525\n",
      "(n, self.ws[n]): 套路 0.8924972576869951\n",
      "(n, self.ws[n]): 打猎 1.117099071168614\n",
      "(n, self.ws[n]): 摸鱼 0.9843043900489296\n",
      "(n, self.ws[n]): 生存 0.9034432229628845\n",
      "(n, self.ws[n]): 节目 0.9132747042761988\n",
      "迭代轮次: 7\n",
      "(n, self.ws[n]): 上山 0.561583722495558\n",
      "(n, self.ws[n]): 下河 0.9949448649561714\n",
      "(n, self.ws[n]): 套路 0.9221051190766104\n",
      "(n, self.ws[n]): 打猎 1.150296321417576\n",
      "(n, self.ws[n]): 摸鱼 1.0100529501991544\n",
      "(n, self.ws[n]): 生存 0.9300364249249439\n",
      "(n, self.ws[n]): 节目 0.9371601562006606\n",
      "迭代轮次: 8\n",
      "(n, self.ws[n]): 上山 0.5737201961762816\n",
      "(n, self.ws[n]): 下河 1.0177722418942048\n",
      "(n, self.ws[n]): 套路 0.9435585469783818\n",
      "(n, self.ws[n]): 打猎 1.1743797622229573\n",
      "(n, self.ws[n]): 摸鱼 1.0287326279773816\n",
      "(n, self.ws[n]): 生存 0.949305448851093\n",
      "(n, self.ws[n]): 节目 0.9544671982275268\n",
      "迭代轮次: 9\n",
      "(n, self.ws[n]): 上山 0.5825247800731672\n",
      "(n, self.ws[n]): 下河 1.034332702805066\n",
      "(n, self.ws[n]): 套路 0.9591033750084135\n",
      "(n, self.ws[n]): 打猎 1.1918514532699378\n",
      "(n, self.ws[n]): 摸鱼 1.0422840781257388\n",
      "(n, self.ws[n]): 生存 0.9632674936252746\n",
      "(n, self.ws[n]): 节目 0.9670076191693174\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[('打猎', 1.0),\n",
       " ('摸鱼', 0.8680597121133171),\n",
       " ('下河', 0.8610454367882793),\n",
       " ('节目', 0.8016548717781519),\n",
       " ('生存', 0.7983555343354938),\n",
       " ('套路', 0.7946821730254269),\n",
       " ('上山', 0.46248480592035845)]"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "textrank.textrank(sentence, withWeight=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "改造TextRank中的textrank方法，将g= UndirectWeightedGraph()暴露出来,\n",
    "\n",
    "改造UndirectWeightedGraph.rank中的ws，将其暴露出来"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<jieba.analyse.textrank.UndirectWeightedGraph at 0x1c1c0291308>"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "textrank.g"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "defaultdict(list,\n",
       "            {'上山': [('上山', '打猎', 1), ('上山', '下河', 1), ('上山', '摸鱼', 1)],\n",
       "             '打猎': [('打猎', '上山', 1),\n",
       "              ('打猎', '下河', 2),\n",
       "              ('打猎', '摸鱼', 2),\n",
       "              ('打猎', '下河', 1),\n",
       "              ('打猎', '摸鱼', 1)],\n",
       "             '下河': [('下河', '上山', 1),\n",
       "              ('下河', '打猎', 2),\n",
       "              ('下河', '摸鱼', 1),\n",
       "              ('下河', '打猎', 1),\n",
       "              ('下河', '摸鱼', 1)],\n",
       "             '摸鱼': [('摸鱼', '上山', 1),\n",
       "              ('摸鱼', '打猎', 2),\n",
       "              ('摸鱼', '下河', 1),\n",
       "              ('摸鱼', '打猎', 1),\n",
       "              ('摸鱼', '下河', 1)],\n",
       "             '生存': [('生存', '节目', 1), ('生存', '套路', 1)],\n",
       "             '节目': [('节目', '生存', 1), ('节目', '套路', 1)],\n",
       "             '套路': [('套路', '生存', 1), ('套路', '节目', 1)]})"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "textrank.g.graph"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "defaultdict(int,\n",
       "            {('上山', '打猎'): 1,\n",
       "             ('上山', '下河'): 1,\n",
       "             ('上山', '摸鱼'): 1,\n",
       "             ('打猎', '下河'): 2,\n",
       "             ('打猎', '摸鱼'): 2,\n",
       "             ('下河', '摸鱼'): 1,\n",
       "             ('下河', '打猎'): 1,\n",
       "             ('摸鱼', '打猎'): 1,\n",
       "             ('摸鱼', '下河'): 1,\n",
       "             ('生存', '节目'): 1,\n",
       "             ('生存', '套路'): 1,\n",
       "             ('节目', '套路'): 1})"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "textrank.cm"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "defaultdict(float,\n",
       "            {'上山': 0.46248480592035845,\n",
       "             '打猎': 1.0,\n",
       "             '下河': 0.8610454367882793,\n",
       "             '摸鱼': 0.8680597121133171,\n",
       "             '生存': 0.7983555343354938,\n",
       "             '节目': 0.8016548717781519,\n",
       "             '套路': 0.7946821730254269})"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "textrank.g.ws"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}