VKR.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "3fdfe6e0",
   "metadata": {},
   "outputs": [],
   "source": [
    "from random import sample, seed\n",
    "\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "ed49b4d8",
   "metadata": {},
   "outputs": [],
   "source": [
    "pd.options.display.max_colwidth = 1000"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "00622b4d",
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_csv('D:\\\\University\\\\вкр магистр\\\\Исходные\\\\Epicrises\\\\example\\\\epicrises_text.csv')\n",
    "\n",
    "df_clean = df\n",
    "df_clean = df_clean.fillna('')  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "9e0c5fc3",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_main = pd.DataFrame()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "c58bf093",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_clean['id'] = list(range(1, len(df_clean) + 1))\n",
    "df_main['id'] = df_clean['id']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "9a47ab11",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_main['diagnosis'] = df_clean['diagnosis']\n",
    "df_main['complaint'] = df_clean['complaint']\n",
    "df_main['anamnesis'] = df_clean['anamnesis']\n",
    "df_main['status_end'] = df_clean['status_end']\n",
    "df_main['disease_outcome'] = df_clean['disease_outcome']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "db6c5837",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>diagnosis</th>\n",
       "      <th>complaint</th>\n",
       "      <th>anamnesis</th>\n",
       "      <th>status_end</th>\n",
       "      <th>disease_outcome</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1024</th>\n",
       "      <td>1025</td>\n",
       "      <td>Основной: Коронавирусная инфекция CОVID-19 (вирус не идентифицирован), средне-тяжелая форма. Осложнение: Внебольничная двусторонняя полисегментарная пневмония. ДН 0-IСопутствующий: ИБС. Стенокардия напряжения ФК 2. Коронарное шунтирование: МКШ-ПНА, ВТК 29.06.20г.ХСН 1, ФК 3.Гипертоническая болезнь стадия 3, степень АГ корригирована, риск 4.</td>\n",
       "      <td>на одышку в покое, слабость, ломоту в теле, повышение температуры до 37,6 С.</td>\n",
       "      <td>Считает себя больным с 01.07.2020  , когда впервые появились вышеперечисленные жалобы. Обратился в  Клинику БГМУ,  где проведено КТ ОГК,  выявлены изменения в легких с обеих сторон по типу матового стекла (24% поражения легких). Госпитализируется  для консервативного лечения в Инфекционный госпиталь кл БГМУ.</td>\n",
       "      <td>удовлетворительное</td>\n",
       "      <td>с улучшением</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1201</th>\n",
       "      <td>1202</td>\n",
       "      <td>Основной: Коронавирусная инфекция CОVID-19 (вирус не идентифицирован), среднетяжелая форма. \\n \\nОсложнения: Внебольничная двусторонняя полисегментарная пневмония. ДН 0 ст.</td>\n",
       "      <td>на одышку в покое, слабость, ломоту в теле, кашель сухой с мокротой, повышение температуры до  С.</td>\n",
       "      <td>Считает себя больным неделю  , когда впервые появились вышеперечисленные жалобы. Не лечилась. 17.06.2020 самостоятельно обратилась в  клинику БГМУ,  где проведено КТ ОГК выявлены изменения в легких с обеих сторон по типу матового стекла. Госпитализируется  для консервативного лечения в инфекционный госпиталь клиники БГМУ.</td>\n",
       "      <td>удовлетворительное</td>\n",
       "      <td>с улучшением</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>245</th>\n",
       "      <td>246</td>\n",
       "      <td>Основной: Коронавирусная инфекция CОVID-19 (вирус не идентифицирован), средне-тяжелая форма. Осложнение: Внебольничная двусторонняя полисегментарная пневмония. ДН I</td>\n",
       "      <td>на одышку в покое, слабость, ломоту в теле, кашель сухой, повышение температуры до 38 С.</td>\n",
       "      <td>Считает себя больным с  04.08.2020г., когда впервые появились вышеперечисленные жалобы. Обратился в поликлинику по м/ж, принимал азитромицин, цефтриоксон, парацетамол.  Состояние без особой динамики, нарастает одышка. По линии СМП направлен на стационарное лечение в  Клинику БГМУ,  где проведено КТ ОГК выявлены изменения в легких с обеих сторон по типу матового стекла (64% поражения легких). Госпитализируется  для консервативного лечения в Инфекционный госпиталь кл БГМУ.</td>\n",
       "      <td>удовлетворительное</td>\n",
       "      <td>с улучшением</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1167</th>\n",
       "      <td>1168</td>\n",
       "      <td>Основной: Коронавирусная инфекция CОVID-19 (вирус не идентифицирован), средне-тяжелая форма. Осложнение: Внебольничная двусторонняя полисегментарная пневмония. ДН IСопутствующий: ИБС: ПИКС, АКШ от 2015 г.</td>\n",
       "      <td>на одышку в покое, слабость, ломоту в теле, кашель сухой, повышение температуры до  38,0 С</td>\n",
       "      <td>Считает себя больным с  09/10/2020   , когда впервые появились вышеперечисленные жалобы.Обратился в поликлинику по м/ж, принимал ингаверин, парацетамол, азитромицин. Сдан мазок на ПЦР коронавируса от14/10/2020 - результат не известен.Состояние без особой динамики, нарастает одышка. Обратился в  Клинику БГМУ,  где проведено КТ ОГК выявлены изменения в легких с обеих сторон по типу матового стекла . Госпитализируется  для консервативного лечения в Инфекционный госпиталь Клиники БГМУ.</td>\n",
       "      <td>удовлетворительное</td>\n",
       "      <td>с улучшением</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>55</th>\n",
       "      <td>56</td>\n",
       "      <td>Основной: Коронавирусная инфекция CОVID-19 (вирус идентифицирован), средне-тяжелая форма. Осложнение: Внебольничная двусторонняя полисегментарная пневмония, средней степени тяжести. ДН 0-IСопутствующий: Гипертоническая болезнь 2 ст, 1 степень риск 3.</td>\n",
       "      <td>на одышку в покое, слабость, ломоту в теле, кашель сухой, повышение температуры до 37,8 С.</td>\n",
       "      <td>Считает себя больным с   14.12.2020 , когда впервые появились вышеперечисленные жалобы.Обратился в поликлинику по м/ж, принимал  парацетамол.Состояние без особой динамики, нарастает одышка. По линии СМП направлен на стационарное лечение в  Клинику БГМУ,  где проведено КТ ОГК выявлены изменения в легких с обеих сторон по типу матового стекла (18.12.2020 - 52%). Госпитализируется  для консервативного лечения в Инфекционный госпиталь Клиники БГМУ.</td>\n",
       "      <td>удовлетворительное</td>\n",
       "      <td>с улучшением</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "        id  \\\n",
       "1024  1025   \n",
       "1201  1202   \n",
       "245    246   \n",
       "1167  1168   \n",
       "55      56   \n",
       "\n",
       "                                                                                                                                                                                                                                                                                                                                                   diagnosis  \\\n",
       "1024  Основной: Коронавирусная инфекция CОVID-19 (вирус не идентифицирован), средне-тяжелая форма. Осложнение: Внебольничная двусторонняя полисегментарная пневмония. ДН 0-IСопутствующий: ИБС. Стенокардия напряжения ФК 2. Коронарное шунтирование: МКШ-ПНА, ВТК 29.06.20г.ХСН 1, ФК 3.Гипертоническая болезнь стадия 3, степень АГ корригирована, риск 4.   \n",
       "1201                                                                                                                                                                            Основной: Коронавирусная инфекция CОVID-19 (вирус не идентифицирован), среднетяжелая форма. \\n \\nОсложнения: Внебольничная двусторонняя полисегментарная пневмония. ДН 0 ст.   \n",
       "245                                                                                                                                                                                     Основной: Коронавирусная инфекция CОVID-19 (вирус не идентифицирован), средне-тяжелая форма. Осложнение: Внебольничная двусторонняя полисегментарная пневмония. ДН I   \n",
       "1167                                                                                                                                            Основной: Коронавирусная инфекция CОVID-19 (вирус не идентифицирован), средне-тяжелая форма. Осложнение: Внебольничная двусторонняя полисегментарная пневмония. ДН IСопутствующий: ИБС: ПИКС, АКШ от 2015 г.   \n",
       "55                                                                                                Основной: Коронавирусная инфекция CОVID-19 (вирус идентифицирован), средне-тяжелая форма. Осложнение: Внебольничная двусторонняя полисегментарная пневмония, средней степени тяжести. ДН 0-IСопутствующий: Гипертоническая болезнь 2 ст, 1 степень риск 3.   \n",
       "\n",
       "                                                                                              complaint  \\\n",
       "1024                       на одышку в покое, слабость, ломоту в теле, повышение температуры до 37,6 С.   \n",
       "1201  на одышку в покое, слабость, ломоту в теле, кашель сухой с мокротой, повышение температуры до  С.   \n",
       "245            на одышку в покое, слабость, ломоту в теле, кашель сухой, повышение температуры до 38 С.   \n",
       "1167         на одышку в покое, слабость, ломоту в теле, кашель сухой, повышение температуры до  38,0 С   \n",
       "55           на одышку в покое, слабость, ломоту в теле, кашель сухой, повышение температуры до 37,8 С.   \n",
       "\n",
       "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   anamnesis  \\\n",
       "1024                                                                                                                                                                                   Считает себя больным с 01.07.2020  , когда впервые появились вышеперечисленные жалобы. Обратился в  Клинику БГМУ,  где проведено КТ ОГК,  выявлены изменения в легких с обеих сторон по типу матового стекла (24% поражения легких). Госпитализируется  для консервативного лечения в Инфекционный госпиталь кл БГМУ.   \n",
       "1201                                                                                                                                                                     Считает себя больным неделю  , когда впервые появились вышеперечисленные жалобы. Не лечилась. 17.06.2020 самостоятельно обратилась в  клинику БГМУ,  где проведено КТ ОГК выявлены изменения в легких с обеих сторон по типу матового стекла. Госпитализируется  для консервативного лечения в инфекционный госпиталь клиники БГМУ.   \n",
       "245              Считает себя больным с  04.08.2020г., когда впервые появились вышеперечисленные жалобы. Обратился в поликлинику по м/ж, принимал азитромицин, цефтриоксон, парацетамол.  Состояние без особой динамики, нарастает одышка. По линии СМП направлен на стационарное лечение в  Клинику БГМУ,  где проведено КТ ОГК выявлены изменения в легких с обеих сторон по типу матового стекла (64% поражения легких). Госпитализируется  для консервативного лечения в Инфекционный госпиталь кл БГМУ.   \n",
       "1167  Считает себя больным с  09/10/2020   , когда впервые появились вышеперечисленные жалобы.Обратился в поликлинику по м/ж, принимал ингаверин, парацетамол, азитромицин. Сдан мазок на ПЦР коронавируса от14/10/2020 - результат не известен.Состояние без особой динамики, нарастает одышка. Обратился в  Клинику БГМУ,  где проведено КТ ОГК выявлены изменения в легких с обеих сторон по типу матового стекла . Госпитализируется  для консервативного лечения в Инфекционный госпиталь Клиники БГМУ.   \n",
       "55                                          Считает себя больным с   14.12.2020 , когда впервые появились вышеперечисленные жалобы.Обратился в поликлинику по м/ж, принимал  парацетамол.Состояние без особой динамики, нарастает одышка. По линии СМП направлен на стационарное лечение в  Клинику БГМУ,  где проведено КТ ОГК выявлены изменения в легких с обеих сторон по типу матового стекла (18.12.2020 - 52%). Госпитализируется  для консервативного лечения в Инфекционный госпиталь Клиники БГМУ.   \n",
       "\n",
       "              status_end disease_outcome  \n",
       "1024  удовлетворительное    с улучшением  \n",
       "1201  удовлетворительное    с улучшением  \n",
       "245   удовлетворительное    с улучшением  \n",
       "1167  удовлетворительное    с улучшением  \n",
       "55    удовлетворительное    с улучшением  "
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_main.sample(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "a01ecd85",
   "metadata": {},
   "outputs": [],
   "source": [
    "from typing import Optional, List, Tuple\n",
    "from collections import namedtuple"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "3d091ea7",
   "metadata": {},
   "outputs": [],
   "source": [
    "from typing import Optional, List, Dict\n",
    "from collections import defaultdict\n",
    "\n",
    "from pymorphy2.shapes import is_roman_number\n",
    "from ipymarkup import show_span_box_markup  as show_markup\n",
    "from yargy import (\n",
    "    Parser\n",
    ")\n",
    "from IPython.display import display\n",
    "\n",
    "ROMAN = {\n",
    "    'I': 1,\n",
    "    'V': 5,\n",
    "    'X': 10,\n",
    "    'L': 50,\n",
    "    'C': 100,\n",
    "    'D': 500,\n",
    "    'M': 1000\n",
    "}\n",
    "\n",
    "\n",
    "def roman_to_int(S: str) -> Optional[int]:\n",
    "    \"\"\"\n",
    "    Перевод римских чисел в арабские.\n",
    "    \"\"\"\n",
    "    if is_roman_number(S):\n",
    "        summ = 0\n",
    "        for i in range(len(S) - 1, -1, -1):\n",
    "            num = ROMAN.get(S[i].upper())\n",
    "            if 3 * num < summ:\n",
    "                summ = summ - num\n",
    "            else:\n",
    "                summ = summ + num\n",
    "        return summ\n",
    "\n",
    "    return None\n",
    "\n",
    "\n",
    "def show_matches(rule, *lines):\n",
    "    \"\"\"\n",
    "    Вывод найденных сущностей \n",
    "    \"\"\"\n",
    "    parser = Parser(rule)\n",
    "    for line in lines:\n",
    "        try:\n",
    "            matches = parser.findall(line)\n",
    "            if matches:\n",
    "                matches = sorted(matches, key=lambda _: _.span)\n",
    "                spans = [_.span for _ in matches]\n",
    "                show_markup(line, spans)\n",
    "                facts = [_.fact for _ in matches]\n",
    "                if len(facts) == 1:\n",
    "                    facts = facts[0]\n",
    "                display(facts)\n",
    "        except Exception as e:\n",
    "            print(f'Строка: {line}.\\n {e} \\n{list(matches)}')\n",
    "            raise\n",
    "\n",
    "\n",
    "def join_spans(text, spans):\n",
    "    spans = sorted(spans)\n",
    "    return ' '.join(\n",
    "        text[start:stop]\n",
    "        for start, stop in spans\n",
    "    )\n",
    "\n",
    "\n",
    "class Match(object):\n",
    "    def __init__(self, facts, spans):\n",
    "        self.facts = facts\n",
    "        self.spans = spans\n",
    "\n",
    "\n",
    "class Extractor:\n",
    "    def __init__(self, RULE):\n",
    "        self.parser = Parser(RULE)\n",
    "\n",
    "    def __call__(self, line):\n",
    "        matches = self.parser.findall(line)\n",
    "        spans = [_.span for _ in matches]\n",
    "        line = join_spans(line, spans)\n",
    "        matches = self.parser.findall(line)\n",
    "        matches = sorted(matches, key=lambda _: _.span)\n",
    "        facts = [_.fact for _ in matches]\n",
    "        return Match(facts, spans)\n",
    "\n",
    "\n",
    "def update(main, fact, features=None):\n",
    "    if features is None:\n",
    "        features = []\n",
    "\n",
    "    for key, value in fact.items():\n",
    "        if key in features:\n",
    "            main[key].append(value)\n",
    "        else:\n",
    "            main[key] = value\n",
    "\n",
    "\n",
    "def show_matches_extractor(rule, features, *lines):\n",
    "    extractor = Extractor(rule)\n",
    "    for line in lines:\n",
    "        match = extractor(line)\n",
    "        show_markup(line, match.spans)\n",
    "        if match.facts:\n",
    "            main_fact = defaultdict(list)\n",
    "            for fact in match.facts:\n",
    "                fact_json = fact.as_json\n",
    "                print(fact_json)\n",
    "                update(main_fact, fact_json, features)\n",
    "            print(main_fact)\n",
    "\n",
    "\n",
    "def matches_extractor(extractor: Extractor, text: str, show = False) -> List[Dict]:\n",
    "    main_fact = []\n",
    "    match = extractor(text)\n",
    "    if show:\n",
    "        show_markup(text, match.spans)\n",
    "    if match.facts:\n",
    "        for fact in match.facts:\n",
    "            fact_json = fact.as_json\n",
    "            main_fact.append(fact_json)\n",
    "\n",
    "    return main_fact\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "id": "055be008",
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "\n",
    "from yargy.predicates import (\n",
    "    eq, type as type_, gram,\n",
    "    in_, dictionary\n",
    ")\n",
    "from yargy import (\n",
    "    or_, rule\n",
    ")\n",
    "from yargy import interpretation as interp\n",
    "from yargy.interpretation import fact\n",
    "\n",
    "\n",
    "\n",
    "#CONSTANTS\n",
    "INT = type_('INT')\n",
    "NOUN = gram('NOUN')\n",
    "ADJF = gram('ADJF')\n",
    "PRTF = gram('PRTF')\n",
    "GENT = gram('gent')\n",
    "NUMR = gram('NUMR')\n",
    "NUMB = gram('NUMB')\n",
    "PNCT = type_('PUNCT')\n",
    "LATIN = type_('LATIN')\n",
    "DOT = eq('.')\n",
    "COLON = eq(':')\n",
    "\n",
    "\n",
    "#NUMBERS\n",
    "def normalize_float(value):\n",
    "    value = re.sub('[\\s,.]+', '.', value)\n",
    "    return float(value)\n",
    "\n",
    "FLOAT = rule(\n",
    "    INT,\n",
    "    in_('.,'),\n",
    "    INT\n",
    ").interpretation(\n",
    "    interp.custom(normalize_float)\n",
    ")\n",
    "\n",
    "DIGIT = INT.interpretation(\n",
    "    interp.custom(int)\n",
    ")\n",
    "\n",
    "ROMN = rule(\n",
    "    LATIN\n",
    ").interpretation(\n",
    "    interp.custom(roman_to_int)\n",
    ")\n",
    "\n",
    "LITERALS = {\n",
    "    'один': 1,\n",
    "    'два': 2,\n",
    "    'три': 3,\n",
    "    'четыре': 4,\n",
    "    'пять': 5,\n",
    "    'шесть': 6,\n",
    "    'семь': 7,\n",
    "    'восемь': 8,\n",
    "    'девять': 9,\n",
    "    'десять': 10\n",
    "}\n",
    "\n",
    "LITERAL = dictionary(LITERALS).interpretation(\n",
    "    interp.normalized().custom(LITERALS.get)\n",
    ")\n",
    "\n",
    "Range = fact(\n",
    "    'Range',\n",
    "    ['start', 'stop']\n",
    ")\n",
    "\n",
    "VALUE = or_(\n",
    "    DIGIT,\n",
    "    FLOAT,\n",
    "    LITERAL,\n",
    "    ROMN\n",
    ")\n",
    "\n",
    "RANGE = or_(\n",
    "    rule(\n",
    "        VALUE.interpretation(Range.start),\n",
    "        '-',\n",
    "        VALUE.interpretation(Range.stop),\n",
    "    ),\n",
    "    rule(\n",
    "         VALUE.interpretation(Range.start),\n",
    "        '-',\n",
    "        VALUE,\n",
    "        '-',\n",
    "        VALUE.interpretation(Range.stop)\n",
    "    )\n",
    ").interpretation(\n",
    "    Range\n",
    ")\n",
    "\n",
    "Amount = fact(\n",
    "    'Amount',\n",
    "    ['value']\n",
    ")\n",
    "\n",
    "AMOUNT = or_(\n",
    "    VALUE,\n",
    "    RANGE\n",
    ").interpretation(\n",
    "    Amount.value\n",
    ").interpretation(\n",
    "    Amount\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "92b810ff",
   "metadata": {},
   "outputs": [],
   "source": [
    "from typing import Optional\n",
    "\n",
    "from yargy import (\n",
    "    or_, rule, not_\n",
    ")\n",
    "from yargy.pipelines import morph_pipeline\n",
    "from yargy.predicates import (\n",
    "    eq, in_\n",
    ")\n",
    "from yargy.interpretation import fact\n",
    "\n",
    "import pymorphy2\n",
    "\n",
    "\n",
    "\n",
    "with open('D:\\\\University\\\\вкр магистр\\\\Исходные\\\\Epicrises\\\\example\\\\data\\\\diseases_сustom.txt', encoding='utf-8') as f:\n",
    "    diseases = f.read()\n",
    "    diseases = diseases.split('\\n')\n",
    "\n",
    "Diseases = morph_pipeline(\n",
    "    diseases\n",
    ")\n",
    "DISEASES = rule(Diseases)\n",
    "\n",
    "MORPH = pymorphy2.MorphAnalyzer()\n",
    "\n",
    "\n",
    "# Правила для основного диагноза\n",
    "MainDiagnosis = fact(\n",
    "    'MainDiagnosis',\n",
    "    ['form', 'virus', 'diseases']\n",
    ")\n",
    "\n",
    "virus_identified = (\n",
    "    'идентифицирован',\n",
    "    'подтвержденная',\n",
    "    'подтверждённая',\n",
    "    'U07.1'\n",
    ")\n",
    "VIRUS_IDENTIFIED = morph_pipeline(\n",
    "    virus_identified\n",
    ").interpretation(MainDiagnosis.virus.const(True))\n",
    "\n",
    "virus_not_identified = (\n",
    "    'не идентифицирован',\n",
    "    'неидентифицирован',\n",
    "    'неиндентифицирован',\n",
    "    'U07.2',    \n",
    "    'неподтвержденная',\n",
    "    'неподтверждённая',\n",
    "    'не подтверждённая',\n",
    "    'не подтвержденная',\n",
    "    'подозрение'\n",
    ")\n",
    "VIRUS_NOT_IDENTIFIED = morph_pipeline(\n",
    "    virus_not_identified\n",
    ").interpretation(MainDiagnosis.virus.const(False))\n",
    "\n",
    "# Правило для подтверждения ковида (True, False)\n",
    "VIRUS = or_(\n",
    "    VIRUS_IDENTIFIED,\n",
    "    VIRUS_NOT_IDENTIFIED\n",
    ").interpretation(MainDiagnosis.virus)\n",
    "\n",
    "\n",
    "# Правило для поиска заболеваний\n",
    "DISEASES_FOR_MAIN = DISEASES.interpretation(MainDiagnosis.diseases)\n",
    "\n",
    "Forms_dict = {\n",
    "    'легкий': 1,\n",
    "    'лёгкий': 1,\n",
    "    'средний': 2,\n",
    "    'тяжелый': 3,\n",
    "    'тяжёлый': 3\n",
    "}\n",
    "Forms_set = set(Forms_dict.keys())\n",
    "\n",
    "Forms = morph_pipeline(\n",
    "    Forms_dict.keys()\n",
    ")\n",
    "\n",
    "def forms_morph(form: str) -> Optional[int]:\n",
    "    \"\"\"\n",
    "    Поиск пересечения нормальных форм стадий ковида с нормальной формой слова из текста\n",
    "    \"\"\"\n",
    "    parsers = MORPH.parse(form)\n",
    "    normal_forms = {parser.normal_form for parser in parsers}\n",
    "    intersection = Forms_set & normal_forms\n",
    "    if intersection:\n",
    "        return Forms_dict[list(intersection)[0]]\n",
    "    print(f'НЕ НАЙДЕНА НОРМАЛЬНАЯ ФОРМА. word: {form}, forms: {normal_forms}')\n",
    "    return None\n",
    "\n",
    "FORM_RANGE = rule(\n",
    "        Forms.interpretation(Range.start.normalized().custom(forms_morph)),\n",
    "        not_(eq(Forms)).optional(),\n",
    "        Forms.interpretation(Range.stop.normalized().custom(forms_morph)),\n",
    ").interpretation(\n",
    "    Range\n",
    ")\n",
    "\n",
    "FORM = rule(Forms).interpretation(\n",
    "    Range.start.normalized().custom(forms_morph)\n",
    ").interpretation(\n",
    "    Range\n",
    ")\n",
    "\n",
    "# Правило для форм ковида\n",
    "FORMS = or_(\n",
    "    FORM,\n",
    "    FORM_RANGE\n",
    ").interpretation(\n",
    "    MainDiagnosis.form\n",
    ")\n",
    "\n",
    "MAIN_DIAGNOSIS = or_(\n",
    "    DISEASES_FOR_MAIN,\n",
    "    FORMS,\n",
    "    VIRUS\n",
    ").interpretation(\n",
    "    MainDiagnosis\n",
    ")\n",
    "\n",
    "\n",
    "# Осложнение в диагнозе\n",
    "СomplicationDiagnosis = fact(\n",
    "    'СomplicationDiagnosis',\n",
    "    ['diseases', 'form', 'respiratory_failure']\n",
    ")\n",
    "\n",
    "DISEASES_FOR_COMPLICATION = DISEASES.interpretation(СomplicationDiagnosis.diseases)\n",
    "\n",
    "FORMS = or_(\n",
    "    FORM,\n",
    "    FORM_RANGE\n",
    ").interpretation(\n",
    "    СomplicationDiagnosis.form\n",
    ")\n",
    "\n",
    "DN = morph_pipeline(['дн', 'дыхательная недостаточность'])\n",
    "\n",
    "RESPIRATORY_FAILURE = rule(\n",
    "    DN,\n",
    "    not_(eq(AMOUNT)).optional(), \n",
    "    AMOUNT.interpretation(СomplicationDiagnosis.respiratory_failure),\n",
    "    not_(eq(AMOUNT)).optional()\n",
    ")\n",
    "\n",
    "СOMPLICATION_DIAGNOSIS = or_(\n",
    "        DISEASES_FOR_COMPLICATION,    \n",
    "        FORMS,\n",
    "        RESPIRATORY_FAILURE\n",
    ").interpretation(СomplicationDiagnosis)\n",
    "\n",
    "\n",
    "# Сопутствующий диагноз\n",
    "ConcomitantDiagnosis = fact(\n",
    "    'ConcomitantDiagnosis',\n",
    "    ['diseases', 'info']\n",
    ")\n",
    "\n",
    "DISEASES_FOR_CONCOMITANT = DISEASES.interpretation(ConcomitantDiagnosis.diseases)\n",
    "\n",
    "CONCOMITANT_DIAGNOSIS = or_(\n",
    "    rule(\n",
    "        DISEASES_FOR_CONCOMITANT\n",
    "    ),\n",
    "    rule(\n",
    "        DISEASES_FOR_CONCOMITANT,\n",
    "        not_(eq(DISEASES_FOR_CONCOMITANT)).repeatable().interpretation(ConcomitantDiagnosis.info),\n",
    "        DISEASES_FOR_CONCOMITANT.optional()\n",
    "    ),\n",
    "    rule(\n",
    "        not_(eq(DISEASES_FOR_CONCOMITANT)).repeatable().interpretation(ConcomitantDiagnosis.info),\n",
    "        DISEASES_FOR_CONCOMITANT,\n",
    "        in_('.,').optional()\n",
    "    )\n",
    "   ).interpretation(ConcomitantDiagnosis)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "524e2f3a",
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "\n",
    "\n",
    "def make_translation(source, target):\n",
    "    assert len(source) == len(target)\n",
    "    return {\n",
    "        ord(a): ord(b)\n",
    "        for a, b in zip(source, target)\n",
    "    }\n",
    "\n",
    "\n",
    "DASHES_TRANSLATION = make_translation(\n",
    "    '‑–—−',\n",
    "    '----'\n",
    ")\n",
    "\n",
    "\n",
    "def delete_punct(text):\n",
    "    punct = '[\\\\n\\\\xa0¬\\\\xad()]'\n",
    "    text = re.sub(punct, ' ', text)\n",
    "    text = re.sub(' +', ' ', text)\n",
    "    text = re.sub('ё', 'е', text)\n",
    "    text = re.sub('Ё', 'Е', text)\n",
    "    return text\n",
    "\n",
    "\n",
    "def preprocess(text):\n",
    "    text = delete_punct(text)\n",
    "    text = text.translate(DASHES_TRANSLATION)\n",
    "    # text = tokenize_text(text)\n",
    "\n",
    "    return text\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "6cbc2898",
   "metadata": {},
   "outputs": [],
   "source": [
    "from typing import List, Tuple, Dict\n",
    "from collections import namedtuple, defaultdict\n",
    "import re\n",
    "from multiprocessing import Process, Manager\n",
    "\n",
    "import pandas as pd\n",
    "from pandas import DataFrame\n",
    "\n",
    "\n",
    "\n",
    "class ExtractionDiagnosis:\n",
    "\n",
    "    def __init__(self, diagnosis: List[str]) -> None:\n",
    "        self.diagnosis = diagnosis\n",
    "    \n",
    "    def preprocessing(self) -> List[str]:\n",
    "        for index in range(len(self.diagnosis)):\n",
    "            if 'U07.2' in self.diagnosis[index]:\n",
    "                find_diagnosis = self.diagnosis[index].find('U07.2')\n",
    "                self.diagnosis[index] = self.diagnosis[index][:find_diagnosis + 5] + ' ' + self.diagnosis[index][find_diagnosis + 5:]\n",
    "                \n",
    "            if 'среднетяжелая' in self.diagnosis[index]:\n",
    "                self.diagnosis[index] = self.diagnosis[index].replace('среднетяжелая', 'средне-тяжелая')\n",
    "    \n",
    "        clean_texts = [preprocess(text) for text in self.diagnosis]\n",
    "        \n",
    "        return clean_texts\n",
    "\n",
    "    @staticmethod\n",
    "    def split_texts(clean_texts: List[str]) -> Tuple[List[str], List[str], List[str]]:\n",
    "        Diagnosis_text = namedtuple('Diagnosis', 'ind main complication concomitant', defaults=[None, '', '', ''])\n",
    "        split_text = []\n",
    "        for ind, text in enumerate(clean_texts):\n",
    "            _diagnosis =  Diagnosis_text(ind, *re.split('Соп|Осл', text, maxsplit=2))\n",
    "            split_text.append(_diagnosis)\n",
    "\n",
    "        main_texts = [text.main for text in split_text]\n",
    "        complication_texts = [text.complication for text in split_text]\n",
    "        concomitant_texts = [text.concomitant for text in split_text]\n",
    "        \n",
    "        for ind in range(len(concomitant_texts)):\n",
    "            concomitant_texts[ind] = re.sub('утствующий:', '', concomitant_texts[ind])\n",
    "            concomitant_texts[ind] = re.sub('утствующие:', '', concomitant_texts[ind])\n",
    "            \n",
    "        for ind in range(len(complication_texts)):\n",
    "            complication_texts[ind] = re.sub('ожнение:', '', complication_texts[ind])\n",
    "            \n",
    "        return main_texts, complication_texts, concomitant_texts\n",
    "    \n",
    "    @staticmethod\n",
    "    def show_extract_main_diagnosis(texts: List[str]) -> None:\n",
    "        extractor = Extractor(MAIN_DIAGNOSIS)\n",
    "        facts = []\n",
    "        for text in texts:\n",
    "            facts_by_text = matches_extractor(extractor, text, True)\n",
    "            main_fact = defaultdict(list)\n",
    "            for fact in facts_by_text:\n",
    "                update(main_fact, fact, ['diseases'])\n",
    "\n",
    "            if main_fact.get('form'):\n",
    "                new_form = str(main_fact['form']['start'])\n",
    "                if main_fact['form'].get('stop'):\n",
    "                    new_form += f\"-{str(main_fact['form']['stop'])}\"\n",
    "                main_fact['form'] = new_form\n",
    "                \n",
    "            print(dict(main_fact))\n",
    "            facts.append(main_fact)\n",
    "            \n",
    "    @staticmethod\n",
    "    def show_extract_complication_diagnosis(texts: List[str]) -> None:\n",
    "        extractor = Extractor(СOMPLICATION_DIAGNOSIS)\n",
    "        facts = []\n",
    "        for text in texts:\n",
    "            facts_by_text = matches_extractor(extractor, text, True)\n",
    "            main_fact = defaultdict(list)\n",
    "            for fact in facts_by_text:\n",
    "                update(main_fact, fact, ['diseases'])\n",
    "\n",
    "            if main_fact.get('form'):\n",
    "                new_form = str(main_fact['form']['start'])\n",
    "                if main_fact['form'].get('stop'):\n",
    "                    new_form += f\"-{str(main_fact['form']['stop'])}\"\n",
    "                main_fact['form'] = new_form\n",
    "\n",
    "            if main_fact.get('respiratory_failure'):\n",
    "                value = main_fact['respiratory_failure']['value']\n",
    "                if isinstance(value, int):\n",
    "                    respiratory_failure = str(value)\n",
    "                elif isinstance(value, dict):\n",
    "                    respiratory_failure = str(value['start'])\n",
    "                    respiratory_failure += f\"-{str(value['stop'])}\"\n",
    "                else:\n",
    "                    raise ValueError(f\"respiratory_failure type: {type(value)}, value: {value}\")\n",
    "\n",
    "                main_fact['respiratory_failure'] = respiratory_failure\n",
    "            \n",
    "            print(dict(main_fact))\n",
    "            facts.append(main_fact)\n",
    "            \n",
    "    \n",
    "    @staticmethod\n",
    "    def show_extract_concomitant_diagnosis(texts: List[str]) -> None:           \n",
    "        extractor = Extractor(CONCOMITANT_DIAGNOSIS)\n",
    "        facts = []\n",
    "        for text in texts:\n",
    "            facts_by_text = matches_extractor(extractor, text, True)\n",
    "            main_fact = defaultdict(list)\n",
    "            for fact in facts_by_text:\n",
    "                update(main_fact, fact, ['diseases', 'info'])\n",
    "                \n",
    "            print(dict(main_fact))\n",
    "            facts.append(main_fact)\n",
    "            \n",
    "            \n",
    "        \n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "7ec7c9ca",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_diagnosis = list(df_main.diagnosis.copy())\n",
    "extraction = ExtractionDiagnosis(df_diagnosis)\n",
    "clean_texts = extraction.preprocessing()\n",
    "main_texts, complication_texts, concomitant_texts = extraction.split_texts(clean_texts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "df1faf3b",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_main['main_diagnosis'] = main_texts\n",
    "df_main['complication_diagnosis'] = complication_texts\n",
    "df_main['concomitant_diagnosis'] = concomitant_texts"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "fcb94d33",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">Основной: <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Коронавирусная инфекция</span> CОVID-19 вирус <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">идентифицирован</span> , <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">средне-тяжелая</span> форма. </div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Коронавирусная инфекция'], 'virus': True, 'form': '2-3'}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">Основной: <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Подозрение на коронавирусную инфекцию</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">средне-тяжелое</span> течение. <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">U07.2</span> . </div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Подозрение на коронавирусную инфекцию'], 'form': '2-3', 'virus': False}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">Основной: <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Коронавирусная инфекция</span> CОVID-19 вирус <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">неидентифицирован</span> , <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">средне-тяжелая</span> форма. </div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Коронавирусная инфекция'], 'virus': False, 'form': '2-3'}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">Основной: <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Коронавирусная инфекция</span> CОVID-19 вирус <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">не идентифицирован</span> , <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">средне-тяжелая</span> форма. </div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Коронавирусная инфекция'], 'virus': False, 'form': '2-3'}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">Основной: <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Коронавирусная инфекция</span> CОVID-19 вирус <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">не идентифицирован</span> , <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">средне-тяжелая</span> форма. </div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Коронавирусная инфекция'], 'virus': False, 'form': '2-3'}\n"
     ]
    }
   ],
   "source": [
    "extraction.show_extract_main_diagnosis(sample(main_texts, 5))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "id": "9d6829a8",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\"> <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Внебольничная двусторонняя полисегментарная пневмония</span>. <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">ДН I</span></div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Внебольничная двусторонняя полисегментарная пневмония'], 'respiratory_failure': '1'}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">ожнения: <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Внебольничная двусторонняя полисегментарная пневмония</span>. <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">ДН 0 ст</span>.</div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Внебольничная двусторонняя полисегментарная пневмония'], 'respiratory_failure': '0'}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">ожнения: <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Внебольничная двусторонняя полисегментарная пневмония</span>. <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">ДН 2 ст</span>. </div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Внебольничная двусторонняя полисегментарная пневмония'], 'respiratory_failure': '2'}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\"> <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Внебольничная двусторонняя полисегментарная пневмония</span>. <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">ДН I</span> </div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Внебольничная двусторонняя полисегментарная пневмония'], 'respiratory_failure': '1'}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\"> <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Внебольничная двусторонняя полисегментарная пневмония</span>. <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">ДН 0-I</span> </div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Внебольничная двусторонняя полисегментарная пневмония'], 'respiratory_failure': '0-1'}\n"
     ]
    }
   ],
   "source": [
    "extraction.show_extract_complication_diagnosis(sample(complication_texts, 5))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "id": "dc705e0e",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\"></div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\"> <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Сахарный диабет 2 типа, инсулиннезависимый</span> <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Гипертоническая болезнь II стадия, 1 степень АГ, риск ССО 4</span></div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Сахарный диабет 2 типа', 'Гипертоническая болезнь'], 'info': [', инсулиннезависимый', 'II стадия, 1 степень АГ, риск ССО 4']}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\"> <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">ИБС. Стенокардия напряжения ФК 2</span></div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['ИБС'], 'info': ['. Стенокардия напряжения ФК 2']}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">утствующее:<span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Гипертоническая болезнь 2 ст.,1 ст.,р.3</span></div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Гипертоническая болезнь'], 'info': ['2 ст.,1 ст.,р.3']}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\"> <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Гипертоническая болезнь 3 стадия, 2 степень, риск ССО 4.</span> <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Гипертоническая энцефалопатия. ХСН 0 ст.</span></div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'diseases': ['Гипертоническая болезнь', 'Гипертоническая энцефалопатия'], 'info': ['3 стадия, 2 степень, риск ССО 4.', '. ХСН 0 ст.']}\n"
     ]
    }
   ],
   "source": [
    "extraction.show_extract_concomitant_diagnosis(sample(concomitant_texts, 5))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "d0d13545",
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "from copy import copy\n",
    "\n",
    "from yargy import (\n",
    "    or_, rule, not_\n",
    ")\n",
    "from yargy.pipelines import morph_pipeline, pipeline, caseless_pipeline\n",
    "from yargy.predicates import (\n",
    "    eq, in_caseless\n",
    ")\n",
    "from yargy.interpretation import fact\n",
    "\n",
    "\n",
    "\n",
    "with open('D:\\\\University\\\\вкр магистр\\\\Исходные\\\\Epicrises\\\\example\\\\data\\\\complaints.json', encoding='utf-8') as f:\n",
    "    complaints = json.load(f)\n",
    "    \n",
    "Complaint = fact(\n",
    "    'Complaint',\n",
    "    list(complaints.keys())\n",
    ")\n",
    "\n",
    "temperature = copy(complaints['temperature'])\n",
    "complaints.pop('temperature', None)\n",
    "complaints.pop('temperature_value', None)\n",
    "\n",
    "complaint_pipelines = []\n",
    "for complaint, synonyms in complaints.items():\n",
    "    complaint_pipelines.append(\n",
    "        rule(morph_pipeline(synonyms)).interpretation(getattr(Complaint, complaint).normalized()).interpretation(Complaint)\n",
    "    )\n",
    "\n",
    "temperature_pipeline = morph_pipeline(temperature)\n",
    "TEMPERATURE = or_(\n",
    "    # rule(\n",
    "    #     temperature_pipeline.interpretation(Complaint.temperature)\n",
    "    # ),\n",
    "    rule(\n",
    "        temperature_pipeline.interpretation(Complaint.temperature),\n",
    "        not_(eq(AMOUNT)).optional().repeatable(), \n",
    "        AMOUNT.optional().interpretation(Complaint.temperature),\n",
    "        in_caseless('СC')\n",
    "    )\n",
    ")\n",
    "\n",
    "COMPLAINT = or_(*complaint_pipelines, TEMPERATURE).interpretation(Complaint)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "id": "356c54ad",
   "metadata": {},
   "outputs": [],
   "source": [
    "from typing import List, Tuple, Dict\n",
    "from collections import namedtuple, defaultdict\n",
    "import re\n",
    "from multiprocessing import Process, Manager, Pool\n",
    "\n",
    "import pandas as pd\n",
    "from pandas import DataFrame\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "class ExtractionComplaints:\n",
    "\n",
    "    def __init__(self, texts: List[str]):\n",
    "        self.texts = texts\n",
    "        self.extractor = Extractor(COMPLAINT)\n",
    "\n",
    "    def __call__(self, *args, **kwargs) -> DataFrame:\n",
    "        clean_texts = [preprocess(text) for text in self.texts]\n",
    "        facts = self.get_facts(clean_texts)\n",
    "\n",
    "        df_facts = pd.DataFrame(columns=complaints.keys())\n",
    "        for fact in facts:\n",
    "            #df_facts = pd.concat([df_facts, fact], ignore_index=True, axis=0)\n",
    "            df_facts = df_facts.append(fact, ignore_index=True)\n",
    "\n",
    "        return df_facts\n",
    "\n",
    "    def get_facts(self, texts: List[str]) -> None:\n",
    "        facts = []\n",
    "        for text in texts:\n",
    "            main_fact = self.extraction_fact(text)\n",
    "            facts.append(main_fact)\n",
    "\n",
    "        return facts\n",
    "\n",
    "    def extraction_fact(self, text: str):\n",
    "        facts_by_text = matches_extractor(self.extractor, text)\n",
    "        main_fact = defaultdict(list)\n",
    "        for fact in facts_by_text:\n",
    "            update(main_fact, fact)\n",
    "\n",
    "        if main_fact.get('temperature') and isinstance(main_fact['temperature'], dict):\n",
    "            if isinstance(main_fact['temperature']['value'], dict):\n",
    "                aver = (main_fact['temperature']['value']['start'] + main_fact['temperature']['value']['stop']) / 2\n",
    "                main_fact['temperature_value'] = str(aver)\n",
    "            else:\n",
    "                main_fact['temperature_value'] = str(main_fact['temperature']['value'])\n",
    "            main_fact['temperature'] = True\n",
    "\n",
    "        for key in main_fact.keys():\n",
    "            if key not in ('temperature_value',):\n",
    "                main_fact[key] = True\n",
    "\n",
    "        return main_fact\n",
    "    \n",
    "    def show_extract(self):\n",
    "        for text in self.texts:\n",
    "            facts_by_text = matches_extractor(self.extractor, text, True)\n",
    "            main_fact = defaultdict(list)\n",
    "            for fact in facts_by_text:\n",
    "                update(main_fact, fact)\n",
    "\n",
    "            if main_fact.get('temperature') and isinstance(main_fact['temperature'], dict):\n",
    "                if isinstance(main_fact['temperature']['value'], dict):\n",
    "                    aver = (main_fact['temperature']['value']['start'] + main_fact['temperature']['value']['stop']) / 2\n",
    "                    main_fact['temperature_value'] = str(aver)\n",
    "                else:\n",
    "                    main_fact['temperature_value'] = str(main_fact['temperature']['value'])\n",
    "                main_fact['temperature'] = True\n",
    "\n",
    "            for key in main_fact.keys():\n",
    "                if key not in ('temperature_value',):\n",
    "                    main_fact[key] = True\n",
    "            \n",
    "            print(dict(main_fact))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "id": "46a36db9",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\"><span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">слабость</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">ломоту в теле</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">кашель</span> со скудной <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">мокротой</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">одышку</span> при незначительной нагрузке, чувство <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">заложенности в грудной клетке</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">повышение температуры до 38 С</span>.</div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'weakness': True, 'body_aches': True, 'cough': True, 'sputum': True, 'dyspnea': True, 'chest_congestion': True, 'temperature': True, 'temperature_value': '38'}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">на <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">слабость</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">ломоту в теле</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">кашель сухой</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">повышение температуры до 38,4 С</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">озноб</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">отсутствие аппетита</span>.</div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'weakness': True, 'body_aches': True, 'cough': True, 'temperature': True, 'chills': True, 'loss_appetite': True, 'temperature_value': '38.4'}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">на <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">одышку</span> в покое, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">слабость</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">ломоту в теле</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">кашель сухой</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">повышение температуры до 39 С</span>.</div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'dyspnea': True, 'weakness': True, 'body_aches': True, 'cough': True, 'temperature': True, 'temperature_value': '39'}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">на <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">одышку</span> , общую <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">слабость</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">ломоту в теле</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">кашель</span> , повышение температуры , <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">снижение аппетита</span>.</div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'dyspnea': True, 'weakness': True, 'body_aches': True, 'cough': True, 'loss_appetite': True}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\"><span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Повышение температуры до 38 С</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">слабость</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">головные боли</span>.</div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'temperature': True, 'weakness': True, 'headache': True, 'temperature_value': '38'}\n"
     ]
    }
   ],
   "source": [
    "df_complaint = list(df_main.complaint.copy())\n",
    "clean_texts = [preprocess(text) for text in df_complaint]\n",
    "extraction = ExtractionComplaints(sample(clean_texts, 5))\n",
    "\n",
    "extraction.show_extract()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "id": "3d0389f1",
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('D:\\\\University\\\\вкр магистр\\\\Исходные\\\\Epicrises\\\\example\\\\data\\\\medicaments.txt', encoding='utf-8') as f:\n",
    "    medicaments = f.read()\n",
    "    medicaments = medicaments.split('\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "id": "1fca859e",
   "metadata": {},
   "outputs": [],
   "source": [
    "from typing import Optional\n",
    "\n",
    "from yargy import (\n",
    "    or_, rule, not_\n",
    ")\n",
    "from yargy.pipelines import morph_pipeline\n",
    "from yargy.predicates import (\n",
    "    eq, in_\n",
    ")\n",
    "from yargy.interpretation import fact\n",
    "\n",
    "import pymorphy2\n",
    "\n",
    "\n",
    "\n",
    "Medicaments = caseless_pipeline(\n",
    "    medicaments\n",
    ")\n",
    "\n",
    "Anamnesis = fact(\n",
    "    'Anamnesis',\n",
    "    ['medicaments', 'complaints', 'lung_damage_value']\n",
    ")\n",
    "\n",
    "MEDICAMENTS = rule(Medicaments).interpretation(Anamnesis.medicaments)\n",
    "\n",
    "with open('D:\\\\University\\\\вкр магистр\\\\Исходные\\\\Epicrises\\\\example\\\\data\\\\complaints.json', encoding='utf-8') as f:\n",
    "    complaints_json = json.load(f)\n",
    "    complaints_json.pop('temperature_value', None)\n",
    "    \n",
    "compalints_values = []    \n",
    "for values in complaints_json.values():\n",
    "    compalints_values += values\n",
    "\n",
    "complaint_pipeline = morph_pipeline(compalints_values).interpretation(Anamnesis.complaints.normalized())\n",
    "\n",
    "COMPLAINTS = rule(complaint_pipeline).interpretation(Anamnesis)\n",
    "\n",
    "ANAMNESIS = or_(\n",
    "    MEDICAMENTS,\n",
    "    COMPLAINTS\n",
    ").interpretation(Anamnesis)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "id": "2fd4217d",
   "metadata": {},
   "outputs": [],
   "source": [
    "from typing import List, Tuple, Dict\n",
    "from collections import namedtuple, defaultdict\n",
    "import re\n",
    "from multiprocessing import Process, Manager, Pool\n",
    "\n",
    "import pandas as pd\n",
    "from pandas import DataFrame\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "class ExtractionAnamnesis:\n",
    "\n",
    "    def __init__(self, texts: List[str]) -> None:\n",
    "        self.texts = texts\n",
    "    \n",
    "    def preprocessing(self) -> List[str]:\n",
    "        for index in range(len(self.texts)):\n",
    "            if 'Состояние' in self.texts[index]:\n",
    "                find_texts = self.texts[index].find('Состояние')\n",
    "                self.texts[index] = self.texts[index][:find_texts] + ' ' + self.texts[index][find_texts:]\n",
    "            \n",
    "        \n",
    "        clean_texts = [preprocess(text) for text in self.texts]\n",
    "        \n",
    "        return clean_texts\n",
    "    \n",
    "    \n",
    "    @staticmethod\n",
    "    def show_extract(texts: List[str]) -> None:\n",
    "        extractor = Extractor(ANAMNESIS)\n",
    "        for text in texts:\n",
    "            facts_by_text = matches_extractor(extractor, text, True)\n",
    "            main_fact = defaultdict(list)\n",
    "            for fact in facts_by_text:\n",
    "                update(main_fact, fact, ['medicaments', 'complaints'])\n",
    "                \n",
    "            print(dict(main_fact))\n",
    "            \n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "id": "51398d64",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">Считает себя больным с 01.12.2020г., когда впервые появились вышеперечисленные жалобы.Обратился в поликлинику по м/ж, принимал <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Парацетамол</span>. Состояние без особой динамики, нарастает <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">одышка</span>. 11.12.2020 По линии СМП направлен на стационарное лечение в Клинику БГМУ, где проведено КТ ОГК выявлены изменения в легких с обеих сторон по типу матового стекла 24% . Госпитализируется для консервативного лечения в Инфекционный госпиталь Клиники БГМУ.</div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'medicaments': ['Парацетамол'], 'complaints': ['одышка']}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">Считает себя больным с 22.07.2020, когда впервые появились вышеперечисленные жалобы. Обратился в поликлинику по м/ж, принимал <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">абактал</span> 5 дней, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">арбидол</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">курантил</span>. Состояние без особой динамики, нарастает <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">одышка</span>. По линии СМП направлен на стационарное лечение в Клинику БГМУ, где проведено КТ ОГК выявлены изменения в легких с обеих сторон по типу матового стекла 32% поражения легких . Госпитализируется для консервативного лечения в Инфекционный госпиталь кл БГМУ.</div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'medicaments': ['абактал', 'арбидол', 'курантил'], 'complaints': ['одышка']}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">Считает себя больной с 26.11.2020 , когда впервые появились вышеперечисленные жалобы.Обратилась в поликлинику по м/ж, принимала <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">азитромицин</span>, реамбирин, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">эликвис</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">дексаметазон</span> Состояние без особой динамики, нарастает <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">одышка</span>. 29.11.2020 проведено КТ ОГК - Двусторонняя полисегментарная пневмония вирусной этиологии объем поражения 28 % . По линии СМП направлен на стационарное лечение в Клинику БГМУ. Госпитализируется для консервативного лечения в Инфекционный госпиталь Клиники БГМУ.</div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'medicaments': ['азитромицин', 'эликвис', 'дексаметазон'], 'complaints': ['одышка']}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">Считает себя больным с 10.11.2020 , когда впервые появились вышеперечисленные жалобы.Обратился в поликлинику по м/ж, принимал <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">аспирин</span>. Состояние без особой динамики, нарастает <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">одышка</span>. По линии СМП направлен на стационарное лечение в Клинику БГМУ. Госпитализируется для консервативного лечения в Инфекционный госпиталь Клиники БГМУ.</div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'medicaments': ['аспирин'], 'complaints': ['одышка']}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div class=\"tex2jax_ignore\" style=\"white-space: pre-wrap\">Считает себя больным с 29.06.20г , когда впервые появились вышеперечисленные жалобы. Обратился в поликлинику по м/ж, принимала <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Экоклав</span>, <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Осельтамивир</span>, Найз,свечи <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Галавит</span>,<span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">Парацетамол</span>. Состояние без особой динамики, нарастает <span style=\"padding: 2px; border-radius: 4px; border: 1px solid #bbdefb; background: #e3f2fd\">одышка</span>. 06.07.20г. в РКБ им. Куватова проведено КТ ОГК выявлены изменения в легких с левой стороны по типу матового стекла 30% поражения легких </div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'medicaments': ['Экоклав', 'Осельтамивир', 'Галавит', 'Парацетамол'], 'complaints': ['одышка']}\n"
     ]
    }
   ],
   "source": [
    "df_anamnesis = list(df_main.anamnesis.copy())\n",
    "extraction = ExtractionAnamnesis(list(df_anamnesis))\n",
    "clean_texts = extraction.preprocessing()\n",
    "extraction.show_extract(sample(clean_texts, 5))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3bd0fdad",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "VKR.ipynb",
   "provenance": []
  },
  "interpreter": {
   "hash": "1b451c1fe36bad717eccf57851907ab1d42977e8db3c53c7c4972e28692404fb"
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}