Chapitre 04.3 - requetes.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Chapitre 4.3 - Les fichiers CSV, JSON et les requêtes\n",
    "\n",
    "---\n",
    "\n",
    "## 1. La structure du web : comment communique-t-on avec un serveur ?\n",
    "\n",
    "![Anatomie d'une communication HTTP](images/http.request.scheme.png)\n",
    "\n",
    "Lors d'une communication HTTP avec un serveur, la communication est divisible en deux : l'envoi de la requête et la réponse du serveur. Ces deux éléments de la communication répondent à un ensemble de standards très stricts permettant le fonctionnement du web tel que nous le connaissons."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1.A. Anatomie d'une requête :\n",
    "\n",
    "![Anatomie d'une requête HTTP](images/http.request.request.png)\n",
    "\n",
    "La requête, c'est-à-dire l'information envoyée au serveur, est composée à minima de trois types d'informations :\n",
    "\n",
    "- l'URL\n",
    "- la méthode\n",
    "- les headers\n",
    "\n",
    "#### URL\n",
    "\n",
    "Voir le [schéma](images/url.png) ([Source](https://cascadingmedia.com/assets/images/insites/2015/02/url-anatomy/url-anatomy-55598c24.png) \n",
    "L'URL est une information que l'on connait tous. C'est l'adresse dont on requiert le contenu. Typiquement, l'adresse est divisible en plusieurs parties. Celle qui peut être importante et qui changera surement suivant les utilisateurs est la partie *query* qui permet d'apporter des informations supplémentaires.\n",
    "\n",
    "Par exemple, dans http://cts.dh.uni-leipzig.de/api/cts?request=GetCapabilities&urn=urn:cts:latinLit:phi1294 , on a deux paramètres fournis :\n",
    "\n",
    "| Nom | Valeur |\n",
    "| --- | ------ |\n",
    "| urn | urn:cts:latinLit:phi1294 |\n",
    "| request | GetCapabilities |\n",
    "\n",
    "#### Méthode\n",
    "\n",
    "La méthode informe le serveur de ce que vous allez vouloir faire. 90% des requêtes que vous faites en naviguant sur le web sont en GET : vous récupérez de l'information. Vous utilisez sur les 9.9% restant la requête POST, notamment quand vous vous connectez sur vos comptes sur les divers sites que vous utilisez.\n",
    "\n",
    "#### Les Headers\n",
    "\n",
    "Le Header comporte des informations sur vos attentes et votre contexte de requêtage. Par exemple, on peut demander via les Headers un format de réponse particulier (d'après son [mimetype](https://fr.wikipedia.org/wiki/Type_MIME) : html, xml ou json par exemple : \n",
    "\n",
    "| Headers Clé | Headers Valeur   |\n",
    "| ----------- | ---------------- |\n",
    "| Accept      | application/json |\n",
    "\n",
    "#### (Optionnel) Le Corps (Body, data, etc.)\n",
    "\n",
    "Dans le cadre de l'envoi d'un formulaire ou d'un fichier, on a un corps dans la requête. Beaucoup de formats différents sont possibles dans ce cadre. De nombreuses API acceptent par exemple l'encodage en JSON de vos informations."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1.B. Anatomie d'une réponse\n",
    "\n",
    "![Anatomie d'une réponse HTTP](images/http.request.response.png)\n",
    "\n",
    "La réponse est composée de trois éléments aussi :\n",
    "\n",
    "#### Les Headers \n",
    "\n",
    "Tout comme la requête, les Headers nous renvoient l'information sur la réponse. Voici quelques headers utiles.\n",
    "\n",
    "\n",
    "| Headers Clé | Headers Valeur   | Note |\n",
    "| ----------- | ---------------- | ---- |\n",
    "| Encoding      | application/json | Type Mime de la réponse |\n",
    "\n",
    "#### Le code HTTP\n",
    "\n",
    "Le code HTTP nous informe sur le statut de la réponse. Vous connaissez *à minima* le code 404, qui indique que la ressource demandée n'est pas disponible. Il existe bien d'autres codes (*cf.* [Wikipedia](https://fr.wikipedia.org/wiki/Liste_des_codes_HTTP) :\n",
    "- 200 : succès de la requête ;\n",
    "- 301 et 302 : redirection, respectivement permanente et temporaire ;\n",
    "- 401 : utilisateur non authentifié ;\n",
    "- 403 : accès refusé ;\n",
    "- 404 : page non trouvée ;\n",
    "- 500 et 503 : erreur serveur.\n",
    "- 418 : \"I’m a teapot\" (Blague du 1er avril 1998 restée dans le standard)\n",
    "\n",
    "\n",
    "\n",
    "#### Le Corps\n",
    "\n",
    "Le corps de la réponse contient bien évidemment ce que vous voyez lorsque vous faites une requête : le contenu html, le contenu en plein texte, le contenu json, etc."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2. Faire des requêtes http en python : le module request\n",
    "\n",
    "\n",
    "### 2.A Le module `requests`\n",
    "\n",
    "Tout comme il existe pour python des modules pour gérer les CSV et les JSON, il en existe pour faire des requêtes WEB. Cela dit, ils ne font pas partie du coeur de Python ! C'est pour ça que nous les avons installés. En effet, quant à l'installation, vous avez tapé `pip install -r requirements.txt`, vous avez demandé à PIP (un gestionnaire de dépendances/librairies de python) d'installer chaque librairie citée dans le fichier `requirements.txt`. L'une d'entre elles était `requests`\n",
    "\n",
    "Le module `requests` possède sa documentation sur son [propre site](http://docs.python-requests.org/en/master/). Au moment de l'écriture, le module est dans sa version 2.18.4.\n",
    "\n",
    "### 2.B Faire une requête GET:\n",
    "\n",
    "Le module est très simple : il propose une fonction `get` qui prend une URL !"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<Response [504]>\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "\n",
    "# Pour l'exemple nous utilisons l'API de Chronicling America, un projet de numérisation de journaux\n",
    "# Américains\n",
    "req = requests.get(\"https://chroniclingamerica.loc.gov/search/pages/results/?format=json&proxtext=ecole+nationale\")\n",
    "print(req)\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Les objets `Response` ont plusieurs propriétés intéressantes : \n",
    "\n",
    "- `.status_code` sous la forme d'un entier qui informe du succès de la requête\n",
    "- `.headers` sous la forme d'un dictionnaire qui comporte l'ensemble des headers\n",
    "- `.encoding` qui comprend la méthode d'encodage\n",
    "- `.text` qui contient le contenu de la réponse\n",
    "- `.json()` qui, si `.headers['content-type']` est `application/json`, parse lui-même le json de la réponse. \n",
    "\n",
    "Voyons un peu leur contenu :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "200\n",
      "{'Date': 'Sun, 07 Nov 2021 23:51:43 GMT', 'Content-Type': 'application/json', 'Transfer-Encoding': 'chunked', 'Connection': 'keep-alive', 'Last-Modified': 'Sun, 07 Nov 2021 23:51:43 GMT', 'Expires': 'Mon, 08 Nov 2021 23:51:43 GMT', 'Cache-Control': 's-maxage=86400, public, max-age=86400', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Headers': 'X-requested-with', 'X-Frame-Options': 'SAMEORIGIN', 'Content-Encoding': 'gzip', 'Vary': 'Accept-Encoding', 'X-Varnish': '61812758', 'Via': '1.1 varnish (Varnish/5.2)', 'CF-Cache-Status': 'EXPIRED', 'Expect-CT': 'max-age=604800, report-uri=\"https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct\"', 'Server': 'cloudflare', 'CF-RAY': '6aaa787c1fd4ee54-CDG'}\n",
      "utf-8\n"
     ]
    }
   ],
   "source": [
    "print(req.status_code)\n",
    "print(req.headers)\n",
    "print(req.encoding)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Ça c'est mon code, pour voir sur un fichier la structure json du site\n",
    "import json\n",
    "\n",
    "text = req.json()\n",
    "with open(\"text.json\", mode='w') as f:\n",
    "    json.dump(text, f)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\"arizona post\" a publié un article comprenant 'école nationale' le 11/01/1963\n",
      "\"mississippi enterprise\" a publié un article comprenant 'école nationale' le 16/10/1954\n",
      "\"evening star\" a publié un article comprenant 'école nationale' le 27/04/1930\n",
      "\"washington times\" a publié un article comprenant 'école nationale' le 13/11/1921\n",
      "\"evening star\" a publié un article comprenant 'école nationale' le 26/06/1932\n",
      "\"evening star\" a publié un article comprenant 'école nationale' le 10/04/1932\n",
      "\"evening star\" a publié un article comprenant 'école nationale' le 28/06/1931\n",
      "\"jackson advocate\" a publié un article comprenant 'école nationale' le 09/10/1954\n",
      "\"auttaja\" a publié un article comprenant 'école nationale' le 22/11/1951\n",
      "\"sistersville daily oil review\" a publié un article comprenant 'école nationale' le 16/09/1902\n",
      "\"santa fe new mexican\" a publié un article comprenant 'école nationale' le 13/01/1910\n",
      "\"wenatchee daily world\" a publié un article comprenant 'école nationale' le 10/01/1910\n",
      "\"evening star\" a publié un article comprenant 'école nationale' le 10/06/1956\n",
      "\"waterbury democrat\" a publié un article comprenant 'école nationale' le 22/03/1934\n",
      "\"evening star\" a publié un article comprenant 'école nationale' le 04/10/1927\n",
      "\"evening star\" a publié un article comprenant 'école nationale' le 28/09/1952\n",
      "\"weekly thibodaux sentinel and journal of the 8th senatorial district\" a publié un article comprenant 'école nationale' le 02/03/1895\n",
      "\"echo de l'ouest\" a publié un article comprenant 'école nationale' le 25/04/1889\n",
      "\"echo de l'ouest\" a publié un article comprenant 'école nationale' le 18/10/1895\n",
      "\"echo de l'ouest\" a publié un article comprenant 'école nationale' le 03/04/1914\n"
     ]
    }
   ],
   "source": [
    "# Puisque l'on a du json, on peut le traiter comme un dictionnaire ou une liste\n",
    "# Une rapide ouverture de la page m'informe que le nom du journal est disponible à la clé \"\"\n",
    "#moi : texte fautif ? la clé est [\"items\"][0][\"title\"] : on peut itérer sur items car c'est une liste\n",
    "\n",
    "for resultat in req.json()[\"items\"]:\n",
    "    print(\"\\\"{titre}\\\" a publié un article comprenant 'école nationale' le {jour}/{mois}/{annee}\".format(\n",
    "        titre=resultat[\"title_normal\"].replace(\".\", \"\"),     #moi : ajout de replace car le \".\" était relou\n",
    "        annee=resultat[\"date\"][:4], \n",
    "        mois=resultat[\"date\"][4:6],\n",
    "        jour=resultat[\"date\"][6:]\n",
    "    ))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "La construction d'URL pouvant poser des problèmes (échappement de caractère par exemple), `requests.get()` accepte un paramètre `params`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "ename": "ConnectionError",
     "evalue": "HTTPConnectionPool(host='cts.dh.uni-leipzig.de', port=80): Max retries exceeded with url: /api/cts?urn=urn%3Acts%3AlatinLit%3Aphi1294.phi002.perseus-lat2%3A1.pr.1&request=GetPassage (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8eedd60f40>: Failed to establish a new connection: [Errno 60] Operation timed out'))",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mTimeoutError\u001b[0m                              Traceback (most recent call last)",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/urllib3/connection.py\u001b[0m in \u001b[0;36m_new_conn\u001b[0;34m(self)\u001b[0m\n\u001b[1;32m    158\u001b[0m         \u001b[0;32mtry\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 159\u001b[0;31m             conn = connection.create_connection(\n\u001b[0m\u001b[1;32m    160\u001b[0m                 \u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_dns_host\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mport\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mtimeout\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mextra_kw\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/urllib3/util/connection.py\u001b[0m in \u001b[0;36mcreate_connection\u001b[0;34m(address, timeout, source_address, socket_options)\u001b[0m\n\u001b[1;32m     83\u001b[0m     \u001b[0;32mif\u001b[0m \u001b[0merr\u001b[0m \u001b[0;32mis\u001b[0m \u001b[0;32mnot\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 84\u001b[0;31m         \u001b[0;32mraise\u001b[0m \u001b[0merr\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     85\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/urllib3/util/connection.py\u001b[0m in \u001b[0;36mcreate_connection\u001b[0;34m(address, timeout, source_address, socket_options)\u001b[0m\n\u001b[1;32m     73\u001b[0m                 \u001b[0msock\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mbind\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0msource_address\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 74\u001b[0;31m             \u001b[0msock\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mconnect\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0msa\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     75\u001b[0m             \u001b[0;32mreturn\u001b[0m \u001b[0msock\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mTimeoutError\u001b[0m: [Errno 60] Operation timed out",
      "\nDuring handling of the above exception, another exception occurred:\n",
      "\u001b[0;31mNewConnectionError\u001b[0m                        Traceback (most recent call last)",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/urllib3/connectionpool.py\u001b[0m in \u001b[0;36murlopen\u001b[0;34m(self, method, url, body, headers, retries, redirect, assert_same_host, timeout, pool_timeout, release_conn, chunked, body_pos, **response_kw)\u001b[0m\n\u001b[1;32m    669\u001b[0m             \u001b[0;31m# Make the request on the httplib connection object.\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 670\u001b[0;31m             httplib_response = self._make_request(\n\u001b[0m\u001b[1;32m    671\u001b[0m                 \u001b[0mconn\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/urllib3/connectionpool.py\u001b[0m in \u001b[0;36m_make_request\u001b[0;34m(self, conn, method, url, timeout, chunked, **httplib_request_kw)\u001b[0m\n\u001b[1;32m    391\u001b[0m         \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 392\u001b[0;31m             \u001b[0mconn\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mrequest\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mmethod\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0murl\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mhttplib_request_kw\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    393\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/http/client.py\u001b[0m in \u001b[0;36mrequest\u001b[0;34m(self, method, url, body, headers, encode_chunked)\u001b[0m\n\u001b[1;32m   1254\u001b[0m         \u001b[0;34m\"\"\"Send a complete request to the server.\"\"\"\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1255\u001b[0;31m         \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_send_request\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mmethod\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0murl\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mbody\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mheaders\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mencode_chunked\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1256\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/http/client.py\u001b[0m in \u001b[0;36m_send_request\u001b[0;34m(self, method, url, body, headers, encode_chunked)\u001b[0m\n\u001b[1;32m   1300\u001b[0m             \u001b[0mbody\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0m_encode\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mbody\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m'body'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1301\u001b[0;31m         \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mendheaders\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mbody\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mencode_chunked\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mencode_chunked\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1302\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/http/client.py\u001b[0m in \u001b[0;36mendheaders\u001b[0;34m(self, message_body, encode_chunked)\u001b[0m\n\u001b[1;32m   1249\u001b[0m             \u001b[0;32mraise\u001b[0m \u001b[0mCannotSendHeader\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1250\u001b[0;31m         \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_send_output\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mmessage_body\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mencode_chunked\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mencode_chunked\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1251\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/http/client.py\u001b[0m in \u001b[0;36m_send_output\u001b[0;34m(self, message_body, encode_chunked)\u001b[0m\n\u001b[1;32m   1009\u001b[0m         \u001b[0;32mdel\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_buffer\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1010\u001b[0;31m         \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0msend\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mmsg\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1011\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/http/client.py\u001b[0m in \u001b[0;36msend\u001b[0;34m(self, data)\u001b[0m\n\u001b[1;32m    949\u001b[0m             \u001b[0;32mif\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mauto_open\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 950\u001b[0;31m                 \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mconnect\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    951\u001b[0m             \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/urllib3/connection.py\u001b[0m in \u001b[0;36mconnect\u001b[0;34m(self)\u001b[0m\n\u001b[1;32m    186\u001b[0m     \u001b[0;32mdef\u001b[0m \u001b[0mconnect\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 187\u001b[0;31m         \u001b[0mconn\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_new_conn\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    188\u001b[0m         \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_prepare_conn\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mconn\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/urllib3/connection.py\u001b[0m in \u001b[0;36m_new_conn\u001b[0;34m(self)\u001b[0m\n\u001b[1;32m    170\u001b[0m         \u001b[0;32mexcept\u001b[0m \u001b[0mSocketError\u001b[0m \u001b[0;32mas\u001b[0m \u001b[0me\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 171\u001b[0;31m             raise NewConnectionError(\n\u001b[0m\u001b[1;32m    172\u001b[0m                 \u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m\"Failed to establish a new connection: %s\"\u001b[0m \u001b[0;34m%\u001b[0m \u001b[0me\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mNewConnectionError\u001b[0m: <urllib3.connection.HTTPConnection object at 0x7f8eedd60f40>: Failed to establish a new connection: [Errno 60] Operation timed out",
      "\nDuring handling of the above exception, another exception occurred:\n",
      "\u001b[0;31mMaxRetryError\u001b[0m                             Traceback (most recent call last)",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/requests/adapters.py\u001b[0m in \u001b[0;36msend\u001b[0;34m(self, request, stream, timeout, verify, cert, proxies)\u001b[0m\n\u001b[1;32m    438\u001b[0m             \u001b[0;32mif\u001b[0m \u001b[0;32mnot\u001b[0m \u001b[0mchunked\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 439\u001b[0;31m                 resp = conn.urlopen(\n\u001b[0m\u001b[1;32m    440\u001b[0m                     \u001b[0mmethod\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mrequest\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mmethod\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/urllib3/connectionpool.py\u001b[0m in \u001b[0;36murlopen\u001b[0;34m(self, method, url, body, headers, retries, redirect, assert_same_host, timeout, pool_timeout, release_conn, chunked, body_pos, **response_kw)\u001b[0m\n\u001b[1;32m    725\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 726\u001b[0;31m             retries = retries.increment(\n\u001b[0m\u001b[1;32m    727\u001b[0m                 \u001b[0mmethod\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0murl\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0merror\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0me\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0m_pool\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0m_stacktrace\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0msys\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mexc_info\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;36m2\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/urllib3/util/retry.py\u001b[0m in \u001b[0;36mincrement\u001b[0;34m(self, method, url, response, error, _pool, _stacktrace)\u001b[0m\n\u001b[1;32m    445\u001b[0m         \u001b[0;32mif\u001b[0m \u001b[0mnew_retry\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mis_exhausted\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 446\u001b[0;31m             \u001b[0;32mraise\u001b[0m \u001b[0mMaxRetryError\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0m_pool\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0murl\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0merror\u001b[0m \u001b[0;32mor\u001b[0m \u001b[0mResponseError\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mcause\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    447\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mMaxRetryError\u001b[0m: HTTPConnectionPool(host='cts.dh.uni-leipzig.de', port=80): Max retries exceeded with url: /api/cts?urn=urn%3Acts%3AlatinLit%3Aphi1294.phi002.perseus-lat2%3A1.pr.1&request=GetPassage (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8eedd60f40>: Failed to establish a new connection: [Errno 60] Operation timed out'))",
      "\nDuring handling of the above exception, another exception occurred:\n",
      "\u001b[0;31mConnectionError\u001b[0m                           Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-9-dec5137243c2>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m req = requests.get(\"http://cts.dh.uni-leipzig.de/api/cts\", params={\n\u001b[0m\u001b[1;32m      2\u001b[0m     \u001b[0;34m\"urn\"\u001b[0m\u001b[0;34m:\u001b[0m \u001b[0;34m\"urn:cts:latinLit:phi1294.phi002.perseus-lat2:1.pr.1\"\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      3\u001b[0m     \u001b[0;34m\"request\"\u001b[0m\u001b[0;34m:\u001b[0m \u001b[0;34m\"GetPassage\"\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      4\u001b[0m })\n\u001b[1;32m      5\u001b[0m \u001b[0mprint\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"URL : \"\u001b[0m \u001b[0;34m+\u001b[0m \u001b[0mreq\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0murl\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/requests/api.py\u001b[0m in \u001b[0;36mget\u001b[0;34m(url, params, **kwargs)\u001b[0m\n\u001b[1;32m     74\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     75\u001b[0m     \u001b[0mkwargs\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0msetdefault\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'allow_redirects'\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;32mTrue\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 76\u001b[0;31m     \u001b[0;32mreturn\u001b[0m \u001b[0mrequest\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'get'\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0murl\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mparams\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mparams\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     77\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     78\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/requests/api.py\u001b[0m in \u001b[0;36mrequest\u001b[0;34m(method, url, **kwargs)\u001b[0m\n\u001b[1;32m     59\u001b[0m     \u001b[0;31m# cases, and look like a memory leak in others.\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     60\u001b[0m     \u001b[0;32mwith\u001b[0m \u001b[0msessions\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mSession\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mas\u001b[0m \u001b[0msession\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 61\u001b[0;31m         \u001b[0;32mreturn\u001b[0m \u001b[0msession\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mrequest\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mmethod\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mmethod\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0murl\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0murl\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     62\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     63\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/requests/sessions.py\u001b[0m in \u001b[0;36mrequest\u001b[0;34m(self, method, url, params, data, headers, cookies, files, auth, timeout, allow_redirects, proxies, hooks, stream, verify, cert, json)\u001b[0m\n\u001b[1;32m    528\u001b[0m         }\n\u001b[1;32m    529\u001b[0m         \u001b[0msend_kwargs\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mupdate\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0msettings\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 530\u001b[0;31m         \u001b[0mresp\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0msend\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mprep\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0msend_kwargs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    531\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    532\u001b[0m         \u001b[0;32mreturn\u001b[0m \u001b[0mresp\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/requests/sessions.py\u001b[0m in \u001b[0;36msend\u001b[0;34m(self, request, **kwargs)\u001b[0m\n\u001b[1;32m    641\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    642\u001b[0m         \u001b[0;31m# Send the request\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 643\u001b[0;31m         \u001b[0mr\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0madapter\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0msend\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mrequest\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    644\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    645\u001b[0m         \u001b[0;31m# Total elapsed time of the request (approximately)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/opt/anaconda3/lib/python3.8/site-packages/requests/adapters.py\u001b[0m in \u001b[0;36msend\u001b[0;34m(self, request, stream, timeout, verify, cert, proxies)\u001b[0m\n\u001b[1;32m    514\u001b[0m                 \u001b[0;32mraise\u001b[0m \u001b[0mSSLError\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0me\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mrequest\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mrequest\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    515\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 516\u001b[0;31m             \u001b[0;32mraise\u001b[0m \u001b[0mConnectionError\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0me\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mrequest\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mrequest\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    517\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    518\u001b[0m         \u001b[0;32mexcept\u001b[0m \u001b[0mClosedPoolError\u001b[0m \u001b[0;32mas\u001b[0m \u001b[0me\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mConnectionError\u001b[0m: HTTPConnectionPool(host='cts.dh.uni-leipzig.de', port=80): Max retries exceeded with url: /api/cts?urn=urn%3Acts%3AlatinLit%3Aphi1294.phi002.perseus-lat2%3A1.pr.1&request=GetPassage (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8eedd60f40>: Failed to establish a new connection: [Errno 60] Operation timed out'))"
     ]
    }
   ],
   "source": [
    "req = requests.get(\"http://cts.dh.uni-leipzig.de/api/cts\", params={\n",
    "    \"urn\": \"urn:cts:latinLit:phi1294.phi002.perseus-lat2:1.pr.1\",\n",
    "    \"request\": \"GetPassage\"\n",
    "})\n",
    "print(\"URL : \" + req.url)\n",
    "\n",
    "#ce code ne marche que avec l'environnement virtual env (source env/bin/activate) en linux\n",
    "#marche aussi sur mac, si on utilise source env/bin/activate et pas conda\n",
    "#cependant, ne marche plus sur aucun endroit.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "De la même manière, la méthode `.get()` accepte des headers sous la forme d'un dictionnaire :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<rdf:RDF xmlns:rdf=\"http://www.w3.org/1999/02/22-rdf-syntax-ns#\">\n",
      "  <oac:Annotation xmlns:oac=\"http://www.openannotation.org/ns/\" rdf:about=\"urn:TuftsMorphologyService:lasciva:whitakerLat\">\n",
      "    <dcterms:creator xmlns:dcterms=\"http://purl.org/dc/terms/\">\n",
      "      <foaf:Agent xmlns:foaf=\"http://xmlns.com/foaf/0.1/\" rdf:about=\"net.alpheios:tools:wordsxml.v1\"/>\n",
      "    </dcterms:creator>\n",
      "    <dcterms:created xmlns:dcterms=\"http://purl.org/dc/terms/\">2021-10-27T13:00:33.102515</dcterms:created>\n",
      "    <dc:rights xmlns:dc=\"http://purl.org/dc/elements/1.1/\">Short definitions and morphology from Words by William Whitaker, Copyright 1993-2007.</dc:rights>\n",
      "    <oac:hasTarget>\n",
      "      <rdf:Description rdf:about=\"urn:word:lasciva\"/>\n",
      "    </oac:hasTarget>\n",
      "    <dc:title xmlns:dc=\"http://purl.org/dc/elements/1.1/\"/>\n",
      "    <oac:hasBody rdf:resource=\"urn:uuid:idm139817375002344\"/>\n",
      "    <oac:Body rdf:about=\"urn:uuid:idm139817375002344\">\n",
      "      <rdf:type rdf:resource=\"cnt:ContentAsXML\"/>\n",
      "      <cnt:rest xmlns:cnt=\"http://www.w3.org/2008/content#\">\n",
      "        <entry>\n",
      "          <infl>\n",
      "            <term xml:lang=\"lat\">\n",
      "              <stem>lasciv</stem>\n",
      "              <suff>a</suff>\n",
      "            </term>\n",
      "            <pofs order=\"4\">adjective</pofs>\n",
      "            <decl>1st</decl>\n",
      "            <var>1st</var>\n",
      "            <case order=\"7\">nominative</case>\n",
      "            <num>singular</num>\n",
      "            <gend>feminine</gend>\n",
      "            <comp>positive</comp>\n",
      "          </infl>\n",
      "          <infl>\n",
      "            <term xml:lang=\"lat\">\n",
      "              <stem>lasciv</stem>\n",
      "              <suff>a</suff>\n",
      "            </term>\n",
      "            <pofs order=\"4\">adjective</pofs>\n",
      "            <decl>1st</decl>\n",
      "            <var>1st</var>\n",
      "            <case order=\"1\">vocative</case>\n",
      "            <num>singular</num>\n",
      "            <gend>feminine</gend>\n",
      "            <comp>positive</comp>\n",
      "          </infl>\n",
      "          <infl>\n",
      "            <term xml:lang=\"lat\">\n",
      "              <stem>lasciv</stem>\n",
      "              <suff>a</suff>\n",
      "            </term>\n",
      "            <pofs order=\"4\">adjective</pofs>\n",
      "            <decl>1st</decl>\n",
      "            <var>1st</var>\n",
      "            <case order=\"3\">ablative</case>\n",
      "            <num>singular</num>\n",
      "            <gend>feminine</gend>\n",
      "            <comp>positive</comp>\n",
      "          </infl>\n",
      "          <infl>\n",
      "            <term xml:lang=\"lat\">\n",
      "              <stem>lasciv</stem>\n",
      "              <suff>a</suff>\n",
      "            </term>\n",
      "            <pofs order=\"4\">adjective</pofs>\n",
      "            <decl>1st</decl>\n",
      "            <var>1st</var>\n",
      "            <case order=\"7\">nominative</case>\n",
      "            <num>plural</num>\n",
      "            <gend>neuter</gend>\n",
      "            <comp>positive</comp>\n",
      "          </infl>\n",
      "          <infl>\n",
      "            <term xml:lang=\"lat\">\n",
      "              <stem>lasciv</stem>\n",
      "              <suff>a</suff>\n",
      "            </term>\n",
      "            <pofs order=\"4\">adjective</pofs>\n",
      "            <decl>1st</decl>\n",
      "            <var>1st</var>\n",
      "            <case order=\"1\">vocative</case>\n",
      "            <num>plural</num>\n",
      "            <gend>neuter</gend>\n",
      "            <comp>positive</comp>\n",
      "          </infl>\n",
      "          <infl>\n",
      "            <term xml:lang=\"lat\">\n",
      "              <stem>lasciv</stem>\n",
      "              <suff>a</suff>\n",
      "            </term>\n",
      "            <pofs order=\"4\">adjective</pofs>\n",
      "            <decl>1st</decl>\n",
      "            <var>1st</var>\n",
      "            <case order=\"4\">accusative</case>\n",
      "            <num>plural</num>\n",
      "            <gend>neuter</gend>\n",
      "            <comp>positive</comp>\n",
      "          </infl>\n",
      "          <dict>\n",
      "            <hdwd xml:lang=\"lat\">lascivus, lasciva, lascivum</hdwd>\n",
      "            <pofs order=\"4\">adjective</pofs>\n",
      "            <freq order=\"5\">frequent</freq>\n",
      "          </dict>\n",
      "          <mean>playful; lustful, wanton; impudent, mischievous; free from restraint;</mean>\n",
      "        </entry>\n",
      "      </cnt:rest>\n",
      "    </oac:Body>\n",
      "  </oac:Annotation>\n",
      "</rdf:RDF>\n",
      "\n",
      "{\"RDF\": {\"Annotation\": {\"about\": \"urn:TuftsMorphologyService:lasciva:whitakerLat\", \"creator\": {\"Agent\": {\"about\": \"net.alpheios:tools:wordsxml.v1\"}}, \"created\": {\"$\": \"2021-10-27T13:00:37.569463\"}, \"rights\": {\"$\": \"Short definitions and morphology from Words by William Whitaker, Copyright 1993-2007.\"}, \"hasTarget\": {\"Description\": {\"about\": \"urn:word:lasciva\"}}, \"title\": {}, \"hasBody\": {\"resource\": \"urn:uuid:idm140103426515360\"}, \"Body\": {\"about\": \"urn:uuid:idm140103426515360\", \"type\": {\"resource\": \"cnt:ContentAsXML\"}, \"rest\": {\"entry\": {\"infl\": [{\"term\": {\"lang\": \"lat\", \"stem\": {\"$\": \"lasciv\"}, \"suff\": {\"$\": \"a\"}}, \"pofs\": {\"order\": 4, \"$\": \"adjective\"}, \"decl\": {\"$\": \"1st\"}, \"var\": {\"$\": \"1st\"}, \"case\": {\"order\": 7, \"$\": \"nominative\"}, \"num\": {\"$\": \"singular\"}, \"gend\": {\"$\": \"feminine\"}, \"comp\": {\"$\": \"positive\"}}, {\"term\": {\"lang\": \"lat\", \"stem\": {\"$\": \"lasciv\"}, \"suff\": {\"$\": \"a\"}}, \"pofs\": {\"order\": 4, \"$\": \"adjective\"}, \"decl\": {\"$\": \"1st\"}, \"var\": {\"$\": \"1st\"}, \"case\": {\"order\": 1, \"$\": \"vocative\"}, \"num\": {\"$\": \"singular\"}, \"gend\": {\"$\": \"feminine\"}, \"comp\": {\"$\": \"positive\"}}, {\"term\": {\"lang\": \"lat\", \"stem\": {\"$\": \"lasciv\"}, \"suff\": {\"$\": \"a\"}}, \"pofs\": {\"order\": 4, \"$\": \"adjective\"}, \"decl\": {\"$\": \"1st\"}, \"var\": {\"$\": \"1st\"}, \"case\": {\"order\": 3, \"$\": \"ablative\"}, \"num\": {\"$\": \"singular\"}, \"gend\": {\"$\": \"feminine\"}, \"comp\": {\"$\": \"positive\"}}, {\"term\": {\"lang\": \"lat\", \"stem\": {\"$\": \"lasciv\"}, \"suff\": {\"$\": \"a\"}}, \"pofs\": {\"order\": 4, \"$\": \"adjective\"}, \"decl\": {\"$\": \"1st\"}, \"var\": {\"$\": \"1st\"}, \"case\": {\"order\": 7, \"$\": \"nominative\"}, \"num\": {\"$\": \"plural\"}, \"gend\": {\"$\": \"neuter\"}, \"comp\": {\"$\": \"positive\"}}, {\"term\": {\"lang\": \"lat\", \"stem\": {\"$\": \"lasciv\"}, \"suff\": {\"$\": \"a\"}}, \"pofs\": {\"order\": 4, \"$\": \"adjective\"}, \"decl\": {\"$\": \"1st\"}, \"var\": {\"$\": \"1st\"}, \"case\": {\"order\": 1, \"$\": \"vocative\"}, \"num\": {\"$\": \"plural\"}, \"gend\": {\"$\": \"neuter\"}, \"comp\": {\"$\": \"positive\"}}, {\"term\": {\"lang\": \"lat\", \"stem\": {\"$\": \"lasciv\"}, \"suff\": {\"$\": \"a\"}}, \"pofs\": {\"order\": 4, \"$\": \"adjective\"}, \"decl\": {\"$\": \"1st\"}, \"var\": {\"$\": \"1st\"}, \"case\": {\"order\": 4, \"$\": \"accusative\"}, \"num\": {\"$\": \"plural\"}, \"gend\": {\"$\": \"neuter\"}, \"comp\": {\"$\": \"positive\"}}], \"dict\": {\"hdwd\": {\"lang\": \"lat\", \"$\": \"lascivus, lasciva, lascivum\"}, \"pofs\": {\"order\": 4, \"$\": \"adjective\"}, \"freq\": {\"order\": 5, \"$\": \"frequent\"}}, \"mean\": {\"$\": \"playful; lustful, wanton; impudent, mischievous; free from restraint;\"}}}}}}}\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "\n",
    "# L'adresse suivante permet de demander l'analyse morphologique d'un terme :\n",
    "url = \"http://morph.alpheios.net/api/v1/analysis/word?word=lasciva&lang=lat&engine=whitakerLat\"\n",
    "\n",
    "xml = requests.get(url, headers={\"Accept\": \"text/xml\"})   #moi : on peut mettre le lien au lieu de la variable url\n",
    "print(xml.text)\n",
    "req_json = requests.get(url, headers={\"Accept\": \"application/json\"})\n",
    "print(req_json.text)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.C Les autres types de requêtes :\n",
    "\n",
    "Le module possède de la même manière une méthode `requests.post()` qui prendra en plus un paramètre `data` tout comme il possède les méthodes :\n",
    "\n",
    "- `.update()`\n",
    "- `.delete()`\n",
    "- `.put()`\n",
    "- `.options()`\n",
    "\n",
    "Toutes ces requêtes prennent les mêmes paramètres que `.get()`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.D Générer une erreur\n",
    "\n",
    "Imaginons que vous avez un code 404. Vous voulez peut-être éviter de faire tourner un script si cela arrive. L'objet `Response` possède une méthode utile en ce cas : le `.raise_for_status()` :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests \n",
    "bad_r = requests.get(\"http://cts.dh.uni-leipzig.de/collections/urn:cts:froLit\")\n",
    "bad_r.raise_for_status()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Exercice de compréhension \n",
    "\n",
    "Lisez le code ci-dessous. Il est issu du projet EHRI ( https://portal.ehri-project.eu/api/v1#api-usage-python ). Essayez de comprendre ce qu'il fait, commentez-le de manière à vous en souvenir. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato\n",
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato&page=2\n",
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato&page=3\n",
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato&page=4\n",
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato&page=5\n",
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato&page=6\n",
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato&page=7\n",
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato&page=8\n",
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato&page=9\n",
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato&page=10\n",
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato&page=11\n",
      "Fetching: https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato&page=12\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "\"\\nCe code présente des chose qu'on a pas vu : la recursivité : une fonction qui s'appelle elle-même\\n# dans la dernière partie du code : .get est l'équivalent d'entre crochets pour un dictionnaire; et si jamais la clé n'est pas présente ça renvoie une erreur #\\n# donc : si la clé est là : valeur. Si la clé n'est pas là : none\\n# if : va vérifier que la clé est true, et si on a une page suivante : on refait la fonction\\n#rappel : une addition de deux listes donne une seule liste avec tous les éléments\\ntry : essayer de lancer le code\\nexcept : et si ça ne marche pas à cause de (arguments), passer à la suivante, et stocker l'erreur dans e\\n\""
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import requests \n",
    "\n",
    "def scope_content(url):\n",
    "    \"\"\"Recherche une chaine en tant qu'item \"DocumentaryUnit\" sur l'api du site EHRI, et retourne \n",
    "    une liste d'ocurrences qui indique l'id de l'item, le scopecontent et le nom.\n",
    "    \n",
    "    :param url: lien url\n",
    "    :type url: str\n",
    "    :returns: simplified\n",
    "    :rtype: list\n",
    "    \"\"\"\n",
    "    print(\"Fetching: \" + url)            #moi : print de chaque page recherchée (12 au total). Sur le site, DocumentaryUnit = archival description, c'est un type d'item\n",
    "    r = requests.get(url)                #get url\n",
    "    data = r.json()                      #parser en json le contenu json de la réponse\n",
    "    simplified = []                      #création d'une liste vide, qui sera la valeur de return à la fin\n",
    "\n",
    "    for item in data[\"data\"]:            #pour chaque élément de l'entité json. Data contient une liste de dictionnaires ; chaque dic est un item DocumentaryUnit\n",
    "        try:\n",
    "            # fetch the ID and first description...\n",
    "            identifier = item[\"id\"]\n",
    "            desc = item[\"attributes\"][\"descriptions\"][0]       #descriptions est une liste de dics, [0] est en anglais\n",
    "            name = desc[\"name\"]                          #part de desc, la variable antérieur, ce qui évite de tout réércire\n",
    "            scopecontent = desc[\"scopeAndContent\"]\n",
    "            simplified.append((\"id: \"+identifier, \"Documentary Unit: \"+name, \"scopecontent: \"+scopecontent)) #envoie un tuple vers la liste simplifie. J'ai rajouté moi meme les str pour comprendre les tuples retournés\n",
    "        except (IndexError, KeyError) as e:                 #stocker les params suivants dans la variable e, pour stocker les eurreurs\n",
    "            # no description or scope and content found... skipping...\n",
    "            pass                                                #passe outre l'item si un des éléments n'est pas présent\n",
    "\n",
    "    # fetch the next page of data...                       #dans le metadata de chaque page, on voit que le json correspond à 1 des 12 pages\n",
    "    if data.get(\"links\") and data[\"links\"].get(\"next\"):        #links est un des trois éléments du fichier data (avec data et meta). Condition = s'il est possible de faire la méthode .get sur le dic link, puis sur l'item next :\n",
    "        simplified += scope_content(data[\"links\"][\"next\"])       #la valeur de \"next\" est la page suivante, par ex la 2 si on est sur json de la page 1\n",
    "    return(simplified)\n",
    "scope_content(\"https://portal.ehri-project.eu/api/v1/search?type=DocumentaryUnit&q=potato\")\n",
    "\n",
    "\"\"\"\n",
    "Ce code présente des chose qu'on a pas vu : la recursivité : une fonction qui s'appelle elle-même\n",
    "# dans la dernière partie du code : .get est l'équivalent d'entre crochets pour un dictionnaire; et si jamais la clé n'est pas présente ça renvoie une erreur #\n",
    "# donc : si la clé est là : valeur. Si la clé n'est pas là : none\n",
    "# if : va vérifier que la clé est true, et si on a une page suivante : on refait la fonction\n",
    "#rappel : une addition de deux listes donne une seule liste avec tous les éléments\n",
    "try : essayer de lancer le code\n",
    "except : et si ça ne marche pas à cause de (arguments), passer à la suivante, et stocker l'erreur dans e\n",
    "\"\"\" \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Exercice de fin de chapitre\n",
    "\n",
    "1. Ouvrir http://gallica.bnf.fr/iiif/ark:/12148/btv1b84259980/manifest.json\n",
    "2. Comprendre le format de http://gallica.bnf.fr/iiif/ark:/12148/btv1b84259980/manifest.json\n",
    "3. En Python, faire une fonction qui prend un identifiant ark BNF et qui:\n",
    "    1. Affiche l'ensemble des métadonnées sur l'objet décrit en JSON\n",
    "    2. Génère un fichier CSV avec les colonnes `Numéro | Nom de Page | Lien image | Largeur | Longueur` en fonction d'un argument `nom_csv`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Métadonnées associées à cet objet: [{'label': 'Repository', 'value': ''}, {'label': 'Digitised by', 'value': 'Bibliothèque nationale de France'}, {'label': 'Source Images', 'value': 'https://gallica.bnf.fr/ark:/12148/btv1b84259980'}, {'label': 'Metadata Source', 'value': 'http://oai.bnf.fr/oai2/OAIHandler?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai:bnf.fr:gallica/ark:/12148/btv1b84259980'}, {'label': 'Shelfmark', 'value': 'Bibliothèque nationale de France. Département des Manuscrits. Français 412'}, {'label': 'Title', 'value': 'Recueil de textes , Vie de saints'}, {'label': 'Date', 'value': '1285'}, {'label': 'Language', 'value': 'français'}, {'label': 'Format', 'value': 'Vélin, miniatures, lettres ornées'}, {'label': 'Relation', 'value': 'Notice du catalogue : http://archivesetmanuscrits.bnf.fr/ark:/12148/cc50522d'}, {'label': 'Type', 'value': 'Manuscrit'}]\n",
      "[{'label': 'Repository', 'value': ''}, {'label': 'Digitised by', 'value': 'Bibliothèque nationale de France'}, {'label': 'Source Images', 'value': 'https://gallica.bnf.fr/ark:/12148/btv1b84259980'}, {'label': 'Metadata Source', 'value': 'http://oai.bnf.fr/oai2/OAIHandler?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai:bnf.fr:gallica/ark:/12148/btv1b84259980'}, {'label': 'Shelfmark', 'value': 'Bibliothèque nationale de France. Département des Manuscrits. Français 412'}, {'label': 'Title', 'value': 'Recueil de textes , Vie de saints'}, {'label': 'Date', 'value': '1285'}, {'label': 'Language', 'value': 'français'}, {'label': 'Format', 'value': 'Vélin, miniatures, lettres ornées'}, {'label': 'Relation', 'value': 'Notice du catalogue : http://archivesetmanuscrits.bnf.fr/ark:/12148/cc50522d'}, {'label': 'Type', 'value': 'Manuscrit'}]\n"
     ]
    }
   ],
   "source": [
    "#votre code\n",
    "import csv\n",
    "import requests\n",
    "\n",
    "#je créé un fichier .json pour voir les données :\n",
    "data = requests.get(\"http://gallica.bnf.fr/iiif/ark:/12148/btv1b84259980/manifest.json\")\n",
    "text = data.json()\n",
    "with open (\"gallica_data.json\", mode='w') as json_file:\n",
    "    json.dump(text, json_file)\n",
    "\n",
    "#je définie la fonction :\n",
    "def iiif_csv(ark, nom_csv):\n",
    "    \"\"\"À partir d'un identifiant ark de la BnF, affiche en json les métadonnées associées à l'objet décrit, \n",
    "    puis génère un fichier CSV qui consiste en un tableau listant les images iiif associées à  cet objet, \n",
    "    avec les colonnes suivantes : Numéro, Nom de Page, Lien image, Largeur, Longueur.\n",
    "    \n",
    "    :param ark: identifiant ark complet\n",
    "    :type ark: str\n",
    "    :param nom_csv: nom souhaité pour le fichier csv à produire\n",
    "    :type nom_csv: str\n",
    "    :returns: none\n",
    "    \"\"\"\n",
    "    #A. afficher l'ensemble des métadonnées sur l'objet décrit en JSON\n",
    "    url = \"http://gallica.bnf.fr/iiif/{}/manifest.json\".format(ark)\n",
    "    data = requests.get(url)\n",
    "    data_json = data.json()\n",
    "    print(\"Métadonnées associées à cet objet: \"+str(data_json[\"metadata\"])) \n",
    "    #ou bien, si l'on souhaite afficher en json : print(data_json[\"metadata\"])\n",
    "    #B. si il n'y a pas de .csv, le rajouter\n",
    "    if \".csv\" not in nom_csv:\n",
    "        nom_csv = nom_csv+\".csv\"\n",
    "    #B. créér un fichier CSV en fonction de l'argument nom_CSV\n",
    "    with open (nom_csv, mode=\"w\") as tableau:\n",
    "        ecriveur = csv.writer(tableau, delimiter=\"\\t\")\n",
    "        ecriveur.writerow([\"Numéro\", \"Nom de Page\", \"Lien image\", \"Largeur\", \"Longueur\"])\n",
    "        images = data_json[\"sequences\"][0][\"canvases\"]\n",
    "        numero_image = 0\n",
    "        for image in images:\n",
    "            numero_image += 1\n",
    "            ecriveur.writerow(\"{numero}|{nom}|{lien}|{largeur}|{longueur}\".format(\n",
    "            numero=numero_image, nom=image[\"label\"], lien=image[\"images\"][0][\"resource\"][\"@id\"],largeur=image[\"height\"], longueur=image[\"width\"]).split(\"|\"))\n",
    "    return None  \n",
    "\n",
    "#correction  (j'ai rajouté toute la partie json qui n'était pas dans le code de la correction)\n",
    "def iiif_csv_correction(ark, nom_csv):\n",
    "    # A. Afficher Json\n",
    "    rep = requests.get(\"https://gallica.bnf.fr/iiif/{}/manifest.json\".format(ark))\n",
    "    rep = rep.json()\n",
    "    print(rep[\"metadata\"])\n",
    "    #B. générer csv\n",
    "    colonnes = [\"Numéro\", \"Nom de Page\", \"Lien image\", \"Largeur\",\"Longueur\"]\n",
    "    with open(nom_csv, mode=\"w\") as f:\n",
    "        # Mes images sont dans\\\n",
    "        writer = csv.writer(f)\n",
    "        writer.writerow(colonnes)\n",
    "        for i, image in enumerate(rep[\"sequences\"][0][\"canvases\"]):           \n",
    "            writer.writerow([\n",
    "            str(i+1),    #moi : cette correction ne me plait pas, car la numérotation commence à 0 dans le tableau. J'ai donc rajouté +1 à i\n",
    "            image[\"label\"],\n",
    "            image[\"images\"][0][\"resource\"][\"@id\"],\n",
    "            str(image[\"width\"]),\n",
    "            str(image[\"height\"])\n",
    "             ])\n",
    "    return None\n",
    "\n",
    "\n",
    "# Testez le code ici     \n",
    "iiif_csv(\"ark:/12148/btv1b84259980\", \"csv/pages.csv\")\n",
    "iiif_csv_correction(\"ark:/12148/btv1b84259980\", \"csv/pages_correction.csv\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "----\n",
    "\n",
    "#### Ce que l'on a appris\n",
    "\n",
    "Pour finir cette section, voici un récapitulatif des concepts appris. Lisez la liste et posez des questions si certaines choses ne sont pas claires.\n",
    "\n",
    "- la structure d'une requête http et de sa réponse\n",
    "- `requests.get`\n",
    "- `requests.post` et les autres\n",
    "- `Response.json()`\n",
    "- `Response.status_code`\n",
    "- `Response.text`\n",
    "- `Response.headers`\n",
    "- `Response.raise_for_status()`"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}