CER.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": []
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "source": [
        "## Set Up CER Tool"
      ],
      "metadata": {
        "id": "fPWAbR371R8J"
      }
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "_3qyDnHZfFPj",
        "outputId": "6d9a5baa-ef1e-43e3-ab23-186c2826e5c2"
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Collecting jiwer\n",
            "  Downloading jiwer-3.0.3-py3-none-any.whl (21 kB)\n",
            "Requirement already satisfied: click<9.0.0,>=8.1.3 in /usr/local/lib/python3.10/dist-packages (from jiwer) (8.1.7)\n",
            "Collecting rapidfuzz<4,>=3 (from jiwer)\n",
            "  Downloading rapidfuzz-3.6.2-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (3.4 MB)\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m3.4/3.4 MB\u001b[0m \u001b[31m11.8 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hInstalling collected packages: rapidfuzz, jiwer\n",
            "Successfully installed jiwer-3.0.3 rapidfuzz-3.6.2\n"
          ]
        }
      ],
      "source": [
        "!pip install jiwer\n",
        "from jiwer import cer\n",
        "import numpy as np"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Set Up docxreader"
      ],
      "metadata": {
        "id": "F0uw9qle1Ya1"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install docx2txt\n",
        "import docx2txt"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "sXFlCCm0ATGC",
        "outputId": "6a1dd262-f5d8-434a-f598-0ab8482f4d68"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Collecting docx2txt\n",
            "  Downloading docx2txt-0.8.tar.gz (2.8 kB)\n",
            "  Preparing metadata (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "Building wheels for collected packages: docx2txt\n",
            "  Building wheel for docx2txt (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "  Created wheel for docx2txt: filename=docx2txt-0.8-py3-none-any.whl size=3960 sha256=af9666e509a6254cd6884ab6b33a2afb5b86a0310fce06080568f25553b05621\n",
            "  Stored in directory: /root/.cache/pip/wheels/22/58/cf/093d0a6c3ecfdfc5f6ddd5524043b88e59a9a199cb02352966\n",
            "Successfully built docx2txt\n",
            "Installing collected packages: docx2txt\n",
            "Successfully installed docx2txt-0.8\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Testing the whole text"
      ],
      "metadata": {
        "id": "OtFD2V0F1jAQ"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "reference = docx2txt.process(\"/content/Case study 1 interviews.docx\")\n",
        "f = open(\"/content/Amazon_transcrip_CS1.txt\", 'r')\n",
        "amazon_hypothesis = f.read()\n",
        "\n",
        "error = cer(reference, amazon_hypothesis)"
      ],
      "metadata": {
        "id": "blzJgXzQ1AL8"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "print(\"Amazon Error: \" , error)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "M9zgAyX9BNtr",
        "outputId": "b2ea7f09-4144-405b-a37a-907bc4eed5f3"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Amazon Error:  0.29685984481086325\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "f = open(\"/content/Google_transcription_CS1.txt\", 'r')\n",
        "google_hypothesis =  f.read()\n",
        "\n",
        "error = cer(reference, google_hypothesis)\n",
        "print(\"Google Error: \" , error)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "wTP04GG4_gy0",
        "outputId": "bdcb87d3-72fa-416c-d249-516ef8485850"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Google Error:  0.24047243776268995\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "reference = \"hello world\"\n",
        "hypothesis = \"hello duck\"\n",
        "\n",
        "test_error = cer(reference, hypothesis)\n",
        "print(test_error)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "maM7dLl4COiN",
        "outputId": "f21daa59-0102-416a-f16d-b8a091768f19"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "0.45454545454545453\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Testing Chunks"
      ],
      "metadata": {
        "id": "38mudb6t1npu"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "for i in range(1,5):\n",
        "  reference_path = \"/content/trans\"+ str(i) + \".txt\"\n",
        "  reference_pointer = open(reference_path, 'r')\n",
        "  reference = reference_pointer.read()\n",
        "\n",
        "  trans_path = \"/content/google\"+ str(i) + \".txt\"\n",
        "  f = open(trans_path, 'r')\n",
        "  google_hypothesis = f.read()\n",
        "\n",
        "  error = cer(reference, amazon_hypothesis)\n",
        "  print(str(i), error)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "JMcIvnO30Xfn",
        "outputId": "38e61fe2-0135-49d1-be09-14a73f5222fb"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "1 0.1376396143882448\n",
            "2 0.20485311902625522\n",
            "3 0.18208140998741082\n",
            "4 0.40803222461513916\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "google_hypothesis = \"\"\n",
        "reference = \"\"\n",
        "for i in range(1,4):\n",
        "  reference_path = \"/content/trans\"+ str(i) + \".txt\"\n",
        "  reference_pointer = open(reference_path, 'r')\n",
        "  reference += reference_pointer.read()\n",
        "\n",
        "  trans_path = \"/content/google\"+ str(i) + \".txt\"\n",
        "  f = open(trans_path, 'r')\n",
        "  google_hypothesis += f.read()\n",
        "\n",
        "error = cer(reference, google_hypothesis)\n",
        "print(\"Total: \", error)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "dSNuKhDR3M0J",
        "outputId": "22371f36-364a-41cd-8542-62fb2dc9dbc0"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Total:  0.17573823481071604\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## GPT Effect"
      ],
      "metadata": {
        "id": "rqqX2-10cDmr"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "ref = \"\"\"\n",
        "Hienoa. Fanfaari nauhoituksen alkuun. Heh. Eli tämmönen puolen tunnin haastattelu.\n",
        "Joo.\n",
        "Ja sit on semmonen weppisivukysely.\n",
        "Juu.\n",
        "Mikä sun tarttis täyttää.\n",
        "Juu.\n",
        "Ää... Joten, lähdetääs tästä nyt sitten liikkeelle. Mitkä nyt oli sun niinkun tämmöset ensivaikutelmat?\n",
        "No, jotenkin et eihän se ihan... ihan samalta tunnu opettaa semmosta oppilasta, jonka näkee vaan niinku tämmösenä hologramina kuin et hän olis paikan päällä, mutta... mutta tota... tää oli nyt jo helpompaa, kun maanantaina sai vähän kokeilla. Kokeilla sitten jo.\n",
        "No mimmosta se kokemus nyt sit oli opettaa niinkun yhtäältä oppilaita, jotka on siällä paikalla samaan aikaan ja sitten yks, joka oli vieresessä huoneessa ja sit Hololenssi ja Zoomi?\n",
        "No, olihan siinä niinkun aika monta... monta osa-aluetta mitä sit niinku piti huomioida, et sitte huomasin, et itte jossai vaihees... keskittyminen meni siihen mitä mä nään tiatokoneen ruudult ja sit mä muistin, et ai niin, mähän nään sen hologrammioppilaankin tässä, että... ja sit on vielä livenä ne osa oppilaista, et aika niinku paljon kaikkea mitä... mitä tulee huomioida, mutta tota ihan... ihan hyvin se tavallaan mun miälest meni... meni sitte kuitenki, mutta aika semmonen niinku moniulotteinen kokemus kaikenkaikkiaan.\n",
        "Tuntuuko se niinku et siin oli niinkun useampi eri... eri todellisuus... eri ryhmä, vai oliko se vähän niinku et tää on nyt tää luokka tässä?\n",
        "Kyl siin mun miälest niinku oli viäl se vaikutelma, et tavallaa et oli... oli niinku... useampi eri... eri ulottuvuus, tai todellisuus tai näi, että... että vaikka esimerkiks siinä oli se hologrammi... henkilö, nii ei se ihan silti vielä tuntunu siltä, et hän ois ollu niinku oikeesti samassa tilassa, tai silleen, et kyllä sen tiedosti aika hyvin, että... että he on kuitenkin eri paikassa, mutta tota ihan hianoa tommonenki onnistuu nykyään tarvittaessa.\n",
        "Miltä yleisesti niinkun opettaminen tommonen Hololenssi päässä tuntuu?\n",
        "No, ehkä jotenki ku se kuitenki... vie hiukan näkökenttää pois, tai jotenki et ku siinä on... on kuitenkin ne linssit, niin... niin jotenkin... ehkä se nimenomaan se keskitty... omaan keskittymiseen vaikuttaa jonkun verran, et sul on päässä ne... ne linssit, et ei se oo ihan... ihan samanlaista kuin että opettaisin tuolla... tuolla omassa... luokassa sitten livenä kaikille.\n",
        "Ootsä käyttäny tämmösii jotaan laitteita... VR:ää...\n",
        "En oo. En oo aikasemmin, et sinäänsä niinku iha uus kokemus senkin myötä, et varmaan jos ois tutumpi yleisestikin tämmönen, niin sitte ois ehkä helpompaa, mutta...\n",
        "\"\"\"\n",
        "\n",
        "\n",
        "google_hypothesis = \"\"\"\n",
        "Hienoa fanfaarin nauhoituksen alkuun Eli tämmönen puolen tunnin haastattelu ja sit on semmonen webbisivu kysely, Mikä sun tarttisi täyttää.\n",
        " Joten lähdetääs tästä nyt sitten liikkeelle.\n",
        " Mitkä nyt oli sun niinku tämmöiset ensivaikutelmat?\n",
        " no jotenkin eihän se ihan ihan samalta tunnu opettaa semmista oppilasta, jonka näkee vaan niinku tämmöisenä hologrammina kuin hän olisi paikan päällä, mutta mutta tota tää oli nyt jo helpompaa kun maanantaina sain vähän kokeilla sitten ja\n",
        "Öö no Mimmoista se kokemus nyt sitten oli opettaa niin kun yhtäältä oppilaita, jotka on siellä paikalla samaan aikaan ja sitten yksi joka oli viereisessä huoneessa Ja sit Holo lensi ja zoomi olihan siinä niinku aika monta monta osa-aluetta. Mitä sit niinku piti huomioida, että sitten huomasin et itse jossain vaiheessa keskittyminen meni siihen mitä mä näin tietokoneen ruudulta ja sit mä muistin että ai niin et mähän nään sen hologrammi oppilaankin tässä, että ja sit on vielä livenä ne osaa oppilaista et aika niinku paljon kaikkea mitä mitä tulee huomioida, mutta tota ihan ihan hyvin se tavallaan mun mielestä meni meni sitten kuitenkin, mutta aika semmoinen niinku moniulotteinen kokemus kaiken kaikkiaan. Tuntuuko se niinku et siinä oli niinku useampi eri eri Todellisuus eri ryhmää Vai oliko se vähän niinku että tää on nyt tää luokka tässä?\n",
        " Kyllä siinä mun mielestä niinku oli vielä se vaikutelma et tavallaan et oli oli niinku useampi eri eri ulottuvuus tai Todellisuus tai näin että että vaikka esimerkiksi siinä olisi hologrammihenkilö, niin ei se ihan silti vielä tuntunut siltä, että hän olisi ollut niinku oikeesti samassa tilassa tai silleen, että kyllä sen tiedosti aika hyvin, että että he on kuitenkin eri paikassa, mutta tota ihan hienoa tommonenkin onnistuu nykyään tarvittaessa.\n",
        " Miltä yleisesti niinkun opettaminen tommonen hullulenssipäässä tuntuu?\n",
        " No ehkä jotenkin kun se kuitenkin vie hiukan näkökenttää voisi tai jotenkin, et kun siinä on on kuitenkin ne linssit niin niin jotenkin Ehkä se Nimenomaan sen keskittyi omaan keskittymiseen vaikuttaa jonkun verran, et sulla on päässä ne ne linssit, että ei se oo ihan ihan samanlaista kuin että opettaisin tuolla tuolla omassa luokassa sitten livenä kaikille. Oot sä käyttänyt tämmöisen jotain laitteita vr:ä. En oo en oo aikaisemmin et sinänsä niinku ihan uusi kokemus senkin myötä. Et varmaan jos ois tutumpi yleisestikin tämmönen, niin sitten ois ehkä helpompaa, mutta\n",
        " Nyt jo helpompi ajatella lähtee käyttämään jossain. No silloin maanantaina kun ensimmäisen kerran hetken aikaa niitä pidin niin silloin kyllä kauhistuttiin, että että miten miten menee, mutta tavallaan niinku nyt nyt ylipäätään, kun vähän on päässyt edes sinuiksi niitten lasien kanssa niin kyllä varmasti jatkossa sit ehkä ehkä helpompaa.\n",
        "\"\"\"\n",
        "\n",
        "\n",
        "gpt3_hypothesis = \"\"\"\n",
        "Hienoa fanfaarin nauhoituksen alkuun Eli tämmönen puolen tunnin haastattelu ja sit on semmonen webbisivu kysely, Mikä sun tarttisi täyttää.\n",
        "Joten lähdetääs tästä nyt sitten liikkeelle.\n",
        "Mitkä nyt oli sun niinku tämmöiset ensivaikutelmat?\n",
        "no jotenkin eihän se ihan ihan samalta tunnu opettaa semmista oppilasta, jonka näkee vaan niinku tämmöisenä hologrammina kuin hän olisi paikan päällä, mutta mutta tota tää oli nyt jo helpompaa kun maanantaina sain vähän kokeilla sitten ja\n",
        "Öö no Mimmoista se kokemus nyt sitten oli opettaa niin kun yhtäältä oppilaita, jotka on siellä paikalla samaan aikaan ja sitten yksi joka oli viereisessä huoneessa Ja sit Holo lensi ja zoomi olihan siinä niinku aika monta monta osa-aluetta. Mitä sit niinku piti huomioida, että sitten huomasin et itse jossain vaiheessa keskittyminen meni siihen mitä mä näin tietokoneen ruudulta ja sit mä muistin että ai niin et mähän nään sen hologrammi oppilaankin tässä, että ja sit on vielä livenä ne osaa oppilaista et aika niinku paljon kaikkea mitä mitä tulee huomioida, mutta tota ihan ihan hyvin se tavallaan mun mielestä meni meni sitten kuitenkin, mutta aika semmoinen niinku moniulotteinen kokemus kaiken kaikkiaan.\n",
        "Tuntuuko se niinku et siinä oli niinku useampi eri eri Todellisuus eri ryhmää Vai oliko se vähän niinku että tää on nyt tää luokka tässä?\n",
        "Kyllä siinä mun mielestä niinku oli vielä se vaikutelma et tavallaan et oli oli niinku useampi eri eri ulottuvuus tai Todellisuus tai näin että että vaikka esimerkiksi siinä olisi hologrammihenkilö, niin ei se ihan silti vielä tuntunut siltä, että hän olisi ollut niinku oikeesti samassa tilassa tai silleen, että kyllä sen tiedosti aika hyvin, että että he on kuitenkin eri paikassa, mutta tota ihan hienoa tommonenkin onnistuu nykyään tarvittaessa.\n",
        "Miltä yleisesti niinkun opettaminen tommonen hullulenssipäässä tuntuu?\n",
        "No ehkä jotenkin kun se kuitenkin vie hiukan näkökenttää voisi tai jotenkin, et kun siinä on on kuitenkin ne linssit niin niin jotenkin Ehkä se Nimenomaan sen keskittyi omaan keskittymiseen vaikuttaa jonkun verran, et sulla on päässä ne ne linssit, että ei se oo ihan ihan samanlaista kuin että opettaisin tuolla tuolla omassa luokassa sitten livenä kaikille. Oot sä käyttänyt tämmöisen jotain laitteita vr:ä. En oo en oo aikaisemmin et sinänsä niinku ihan uusi kokemus senkin myötä. Et varmaan jos ois tutumpi yleisestikin tämmönen, niin sitten ois ehkä helpompaa, mutta\n",
        "Nyt jo helpompi ajatella lähtee käyttämään jossain. No silloin maanantaina kun ensimmäisen kerran hetken aikaa niitä pidin niin silloin kyllä kauhistuttiin, että että miten miten menee, mutta tavallaan niinku nyt nyt ylipäätään, kun vähän on päässyt edes sinuiksi niitten lasien kanssa niin kyllä varmasti jatkossa sit ehkä ehkä helpompaa.\n",
        "\"\"\"\n",
        "\n",
        "\n",
        "gpt4_hypothesis= \"\"\"\n",
        "\"Hienoa, fanfaarin nauhoituksen alkuun. Eli tämmönen puolen tunnin haastattelu ja sit on semmonen webbisivu kysely, mikä sun tarttisi täyttää. Joten lähdetääs tästä nyt sitten liikkeelle.\"\n",
        "\"Mitkä nyt oli sun niinku tämmöiset ensivaikutelmat?\"\n",
        "\"No, jotenkin eihän se ihan ihan samalta tunnu opettaa semmista oppilasta, jonka näkee vaan niinku tämmöisenä hologrammina kuin hän olisi paikan päällä. Mutta mutta tota tää oli nyt jo helpompaa kun maanantaina sain vähän kokeilla sitten ja.\"\n",
        "\"Öö, no mimmoista se kokemus nyt sitten oli opettaa niin kun yhtäältä oppilaita, jotka on siellä paikalla samaan aikaan ja sitten yksi joka oli viereisessä huoneessa? Ja sit HoloLensillä ja Zoomilla olihan siinä niinku aika monta monta osa-aluetta. Mitä sit niinku piti huomioida, että sitten huomasin et itse jossain vaiheessa keskittyminen meni siihen mitä mä näin tietokoneen ruudulta ja sit mä muistin että ai niin et mähän nään sen hologrammi oppilaankin tässä. Ja sit on vielä livenä ne osaa oppilaista. Et aika niinku paljon kaikkea mitä tulee huomioida. Mutta tota ihan ihan hyvin se tavallaan mun mielestä meni meni sitten kuitenkin. Mutta aika semmoinen niinku moniulotteinen kokemus kaiken kaikkiaan.\"\n",
        "\"Tuntuuko se niinku et siinä oli niinku useampi eri eri todellisuus eri ryhmää? Vai oliko se vähän niinku että tää on nyt tää luokka tässä?\"\n",
        "\"Kyllä siinä mun mielestä niinku oli vielä se vaikutelma et tavallaan oli oli niinku useampi eri eri ulottuvuus tai todellisuus tai näin. Että vaikka esimerkiksi siinä olisi hologrammihenkilö, niin ei se ihan silti vielä tuntunut siltä, että hän olisi ollut niinku oikeesti samassa tilassa. Mutta kyllä sen tiedosti aika hyvin, että he on kuitenkin eri paikassa. Mutta tota ihan hienoa tommonenkin onnistuu nykyään tarvittaessa.\"\n",
        "\"Miltä yleisesti niinkun opettaminen tommonen HoloLens päässä tuntuu?\"\n",
        "\"No ehkä jotenkin kun se kuitenkin vie hiukan näkökenttää pois tai jotenkin. Et kun siinä on on kuitenkin ne linssit niin niin jotenkin ehkä se nimenomaan sen keskittyminen omaan keskittymiseen vaikuttaa jonkun verran. Et sulla on päässä ne linssit, että ei se oo ihan samanlaista kuin että opettaisin tuolla omassa luokassa sitten livenä kaikille. Oot sä käyttänyt tämmöisen jotain laitteita VR:ää? En oo, en oo aikaisemmin. Et sinänsä niinku ihan uusi kokemus senkin myötä. Et varmaan jos ois tutumpi yleisestikin tämmönen, niin sitten ois ehkä helpompaa.\"\n",
        "\"Nyt jo helpompi ajatella lähtee käyttämään jossain. No silloin maanantaina kun ensimmäisen kerran hetken aikaa niitä pidin, niin silloin kyllä kauhistuttiin, että miten miten menee. Mutta tavallaan niinku nyt ylipäätään, kun vähän on päässyt edes sinuiksi niitten lasien kanssa niin kyllä varmasti jatkossa sit ehkä ehkä helpompaa.\"\n",
        "\"\"\"\n",
        "\n",
        "error = cer(ref, google_hypothesis)\n",
        "error_gpt3 = cer(ref, gpt3_hypothesis)\n",
        "error_gpt4 = cer(ref, gpt4_hypothesis)\n",
        "\n",
        "\n",
        "print(\"GPT3 error: \", error_gpt3)\n",
        "print(\"GPT4 error: \", error_gpt4)\n",
        "print(\"normal error: \", error)\n"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ASqHDQb5cGBL",
        "outputId": "f764a457-513f-4ec2-8148-a5bf49f60ed2"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "GPT3 error:  0.24620303756994405\n",
            "GPT4 error:  0.271382893685052\n",
            "normal error:  0.24820143884892087\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Filip Prompts"
      ],
      "metadata": {
        "id": "eJzk2_EIizWy"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "gpt4_hypothesis = \"\"\"\n",
        "Hieno vauhti nauhoituksen alkuun.\n",
        "Eli tämmöinen puolen tunnin haastattelu\n",
        "ja sitten on semmoinen öö\n",
        "webbisivukysely,\n",
        "mikä sun tahtisi täyttää.\n",
        "Öö\n",
        "Joten\n",
        "lähdetään tästä nyt sitten liikkeelle.\n",
        "Öö\n",
        "Mitkä nyt ovat sun niinku tämmöiset ensivaikutelmat?\n",
        "No\n",
        "jotenkin et eihän se ihan ihan samalta tunnu opettaa semmoista\n",
        "oppilasta,\n",
        "jonka näkee vaan niinku\n",
        "tämmöisenä hologrammina kuin että hän olisi paikan päällä,\n",
        "mutta\n",
        "mutta tota\n",
        "tää oli nyt jo helpompaa,\n",
        "kun maanantaina sai vähän kokeilla\n",
        "kokeilla sitten jo.\n",
        "Mm.\n",
        "Öö\n",
        "No, mimmoinen se kokemus nyt sitten oli opettaa niinku\n",
        "yhtäältä oppilaita,\n",
        "jotka on siellä\n",
        "paikalla samaan aikaan\n",
        "ja sitten yksi,\n",
        "joka oli\n",
        "viereisessä huoneessa ja sitten Hololens ja Zoom.\n",
        "No\n",
        "olihan siinä niinku aika monta,\n",
        "monta osa-aluetta,\n",
        "mitä sitten niinku piti huomioida,\n",
        "että sitten\n",
        "huomasin,\n",
        "että itse jossain vaiheessa\n",
        "keskittyminen meni siihen,\n",
        "mitä mä näin tietokoneen ruudulta ja sitten mä muistin,\n",
        "että ai niin,\n",
        "että mähän näen sen hologrammioppilaankin tässä,\n",
        "että\n",
        "ja sitten on vielä livenä ne osa oppilaista,\n",
        "että aika niinku\n",
        "paljon kaikkea,\n",
        "mitä,\n",
        "mitä tulee huomioida,\n",
        "mutta tota\n",
        "ihan\n",
        "ihan hyvin se tavallaan mun mielestä meni\n",
        "meni sitten kuitenkin,\n",
        "mutta\n",
        "aika semmoinen niinku\n",
        "moniulotteinen kokemus kaiken kaikkiaan\n",
        "se niinku siinä oli niinku useampi eri\n",
        "todellisuus vai\n",
        "oliko se vähän niinku tää on nyt tää luokka?\n",
        "Kyllä siinä mun mielestä niinku oli vielä se vaikutelma,\n",
        "että tavallaan,\n",
        "että oli,\n",
        "oli niinku useampi eri,\n",
        "eri ulottuvuus tai todellisuus tai näin,\n",
        "että,\n",
        "että vaikka esimerkiksi siinä oli se hologrammihenkilö,\n",
        "niin\n",
        "ei se ihan silti vielä tuntunut siltä,\n",
        "että hän olisi ollut niinku oikeasti samassa tilassa tai silleen,\n",
        "että kyllä sen\n",
        "tiedosti aika hyvin,\n",
        "että,\n",
        "että he ovat kuitenkin eri paikassa,\n",
        "mutta tota ihan hienoa,\n",
        "että tommoinenkin\n",
        "onnistuu nykyään tarvittaessa.\n",
        "Miltä yleisesti niinku opettaminen tommoinen Hololens päässä\n",
        "tuntuu?\n",
        "No ehkä jotenkin,\n",
        "kun se kuitenkin\n",
        "vie hiukan näkökenttää pois tai jotenkin,\n",
        "että kun siinä on,\n",
        "on kuitenkin ne linssit niin,\n",
        "niin jotenkin\n",
        "ehkä se nimenomaan siihen keskitty\n",
        "omaan keskittymiseen vaikuttaa jonkun verran,\n",
        "että sulla on päässä ne\n",
        "ne linssit,\n",
        "että ei se oo ihan,\n",
        "ihan samanlaista kuin että opettaisin tuolla\n",
        "tuolla omassa\n",
        "luokassa sitten livenä kaikille.\n",
        "Ootko sä käyttänyt tämmöisiä jotain\n",
        "laitteita en oo en oo aikaisemmin,\n",
        "et sinänsä niinku ihan uusi kokemus\n",
        "senkin myötä varmaan jos ois\n",
        "tutumpi yleisestikin tämmöinen niin sitten ois ehkä helpompaa,\n",
        "mutta\n",
        "ajatella lähteä käyttämään\n",
        "silloin maanantaina ensimmäisen kerran hetken aikaa\n",
        "niitä pidin niin silloin kyllä kauhistuttiin.\n",
        "että miten,\n",
        "miten menee,\n",
        "mut tavallaan niinku\n",
        "nyt\n",
        "nyt ylipäätään,\n",
        "kun\n",
        "vähän on päässyt\n",
        "edes sinuiksi niitten lasien kanssa,\n",
        "niin kyllä varmasti jatkossa sitten ehkä\n",
        "ehkä helpompaa.\n",
        "\"\"\"\n",
        "\n",
        "amazon_hypothesis = \"\"\"\n",
        "Hieno vanpa nauhoituksen alkuun.\n",
        "Eli tämmöinen puolen tunnin haastattelu\n",
        "ja sitten on semmoinen Öö\n",
        "webbisivukysely,\n",
        "mikä sun tahtisi täyttää.\n",
        "Öö\n",
        "Joten\n",
        "lähdetään tästä nyt sitten liikkeelle.\n",
        "Öö\n",
        "mitkä nyt ohi sun Niinku tämmöiset ensivaikutelmat?\n",
        "No\n",
        "jotenkin et eihän se ihan ihan samalta tunnu opettaa semmoista oppilasta,\n",
        "jonka näkee vaan Niinku\n",
        "tämmöisenä hologrammina kuin että hän ois paikan päällä,\n",
        "mutta\n",
        "mutta tota\n",
        "tää oli nyt jo helpompaa,\n",
        "kun maanantaina sai vähän kokeilla\n",
        "kokeilla sitten jo.\n",
        "mm.\n",
        "Öö\n",
        "No mimmoista se kokemus nyt sit oli opettaa Niinku\n",
        "yhtäältä oppilaita,\n",
        "jotka on siellä\n",
        "paikalla samaan aikaan\n",
        "ja sitten yksi,\n",
        "joka oli\n",
        "viereisessä huoneessa ja sit hololenssi ja Zoomi.\n",
        "No\n",
        "olihan siinä Niinku aika monta,\n",
        "monta osa-aluetta,\n",
        "mitä sitten Niinku piti huomioida,\n",
        "että sitten\n",
        "huomasin,\n",
        "et itse jossain vaiheessa\n",
        "keskittyminen meni siihen,\n",
        "mitä mä näin tietokoneen ruudulta ja sit mä muistin,\n",
        "että ai niin,\n",
        "et mähän näen sen hologrammioppilaankin tässä,\n",
        "että\n",
        "ja sitten on vielä livenä ne osa oppilaista,\n",
        "et aika Niinku\n",
        "paljon kaikkea,\n",
        "mitä,\n",
        "mitä tulee huomioida,\n",
        "mutta tota\n",
        "ihan\n",
        "Ihan hyvin se tavallaan mun mielestä meni\n",
        "meni sitten kuitenkin,\n",
        "mutta\n",
        "aika semmoinen Niinku\n",
        "moniulotteinen kokemus kaiken kaikkiaan\n",
        "se Niinku siinä oli Niinku useampi eri\n",
        "todellisuus vai\n",
        "oliko se vähän Niinku tää on nyt tää luokka?\n",
        "kyllä siinä mun mielestä Niinku oli vielä se vaikutelma,\n",
        "että tavallaan,\n",
        "että oli,\n",
        "oli Niinku useampi eri,\n",
        "eri ulottuvuus tai todellisuus tai näin,\n",
        "että,\n",
        "että vaikka esimerkiksi siinä oli se hologrammihenkilö,\n",
        "niin\n",
        "ei se ihan silti vielä tuntunut siltä,\n",
        "että hän ois ollut Niinku oikeasti samassa tilassa tai silleen,\n",
        "et kyllä sen\n",
        "tiedosti aika hyvin,\n",
        "että,\n",
        "että he on kuitenkin eri paikassa,\n",
        "mutta tota ihan hienoa,\n",
        "että tommoinenkin\n",
        "onnistuu nykyään tarvittaessa.\n",
        "Miltä yleisesti Niinku opettaminen tommoinen hololenssi päässä\n",
        "tuntuu?\n",
        "No ehkä jotenkin,\n",
        "kun se kuitenkin\n",
        "vie hiukan näkökenttää pois tai jotenkin,\n",
        "et kun siinä on,\n",
        "on kuitenkin ne linssit niin,\n",
        "niin jotenkin\n",
        "ehkä se nimenomaan siihen keskitty\n",
        "omaan keskittymiseen vaikuttaa jonkun verran,\n",
        "että sulla on päässä ne\n",
        "ne linssit,\n",
        "et ei se oo ihan,\n",
        "ihan samanlaista kuin että opettaisin tuolla\n",
        "tuolla omassa\n",
        "luokassa sitten livenä kaikille.\n",
        "Ootko sä käyttänyt tämmöisiä jotain\n",
        "laitteita en oo en oo aikaisemmin,\n",
        "et sinänsä Niinku ihan uusi kokemus\n",
        "senkin myötä varmaan jos ois\n",
        "tutumpi yleisestikin tämmöinen niin sitten ois ehkä helpompaa,\n",
        "mutta\n",
        "ajatella lähteä käyttämään\n",
        "silloin maanantaina ensimmäisen kerran hetken aikaa\n",
        "niitä pidin niin silloin kyllä kauhistuttiin.\n",
        "että miten,\n",
        "miten menee,\n",
        "mut tavallaan Niinku\n",
        "nyt\n",
        "nyt ylipäätään,\n",
        "kun\n",
        "vähän on päässyt\n",
        "edes sinuiksi niitten lasien kanssa,\n",
        "niin kyllä varmasti jatkossa sitten ehkä\n",
        "ehkä helpompaa.\n",
        "\"\"\"\n",
        "\n",
        "ref = \"\"\"\n",
        "Hienoa. Fanfaari nauhoituksen alkuun. Heh. Eli tämmönen puolen tunnin haastattelu.\n",
        "Joo.\n",
        "Ja sit on semmonen weppisivukysely.\n",
        "Juu.\n",
        "Mikä sun tarttis täyttää.\n",
        "Juu.\n",
        "Ää... Joten, lähdetääs tästä nyt sitten liikkeelle. Mitkä nyt oli sun niinkun tämmöset ensivaikutelmat?\n",
        "No, jotenkin et eihän se ihan... ihan samalta tunnu opettaa semmosta oppilasta, jonka näkee vaan niinku tämmösenä hologramina kuin et hän olis paikan päällä, mutta... mutta tota... tää oli nyt jo helpompaa, kun maanantaina sai vähän kokeilla. Kokeilla sitten jo.\n",
        "No mimmosta se kokemus nyt sit oli opettaa niinkun yhtäältä oppilaita, jotka on siällä paikalla samaan aikaan ja sitten yks, joka oli vieresessä huoneessa ja sit Hololenssi ja Zoomi?\n",
        "No, olihan siinä niinkun aika monta... monta osa-aluetta mitä sit niinku piti huomioida, et sitte huomasin, et itte jossai vaihees... keskittyminen meni siihen mitä mä nään tiatokoneen ruudult ja sit mä muistin, et ai niin, mähän nään sen hologrammioppilaankin tässä, että... ja sit on vielä livenä ne osa oppilaista, et aika niinku paljon kaikkea mitä... mitä tulee huomioida, mutta tota ihan... ihan hyvin se tavallaan mun miälest meni... meni sitte kuitenki, mutta aika semmonen niinku moniulotteinen kokemus kaikenkaikkiaan.\n",
        "Tuntuuko se niinku et siin oli niinkun useampi eri... eri todellisuus... eri ryhmä, vai oliko se vähän niinku et tää on nyt tää luokka tässä?\n",
        "Kyl siin mun miälest niinku oli viäl se vaikutelma, et tavallaa et oli... oli niinku... useampi eri... eri ulottuvuus, tai todellisuus tai näi, että... että vaikka esimerkiks siinä oli se hologrammi... henkilö, nii ei se ihan silti vielä tuntunu siltä, et hän ois ollu niinku oikeesti samassa tilassa, tai silleen, et kyllä sen tiedosti aika hyvin, että... että he on kuitenkin eri paikassa, mutta tota ihan hianoa tommonenki onnistuu nykyään tarvittaessa.\n",
        "Miltä yleisesti niinkun opettaminen tommonen Hololenssi päässä tuntuu?\n",
        "No, ehkä jotenki ku se kuitenki... vie hiukan näkökenttää pois, tai jotenki et ku siinä on... on kuitenkin ne linssit, niin... niin jotenkin... ehkä se nimenomaan se keskitty... omaan keskittymiseen vaikuttaa jonkun verran, et sul on päässä ne... ne linssit, et ei se oo ihan... ihan samanlaista kuin että opettaisin tuolla... tuolla omassa... luokassa sitten livenä kaikille.\n",
        "Ootsä käyttäny tämmösii jotaan laitteita... VR:ää...\n",
        "En oo. En oo aikasemmin, et sinäänsä niinku iha uus kokemus senkin myötä, et varmaan jos ois tutumpi yleisestikin tämmönen, niin sitte ois ehkä helpompaa, mutta...\n",
        "Onks nyt jo helpompi ajatella lähtee käyttämään jossain?\n",
        "No, sillon maanantaina ku ensimmäisen kerran hetken aikaa niitä pidin, niin silloin kyllä kauhistutti, että... että miten... miten menee, mut tavallaan niinkun nyt ylipäätään kun vähän on päässy sinuiks niitten lasien kanssa, ni kyl varmasti jatkossa sit ehkä... ehkä helpompaa.\n",
        "\"\"\"\n",
        "\n",
        "error = cer(ref, amazon_hypothesis)\n",
        "error_gpt4 = cer(ref, gpt4_hypothesis)\n",
        "\n",
        "print(\"GPT4 error: \", error_gpt4)\n",
        "print(\"amazon error: \", error)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "RktbcJwwjFC6",
        "outputId": "f0ae3437-16f4-4f37-f106-76a08baefbfd"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "GPT4 error:  0.18445922296114806\n",
            "amazon error:  0.17815890794539727\n"
          ]
        }
      ]
    }
  ]
}