0.0.3 (update)

build.sh

@@ -2,7 +2,7 @@
 
 VERSION=0
 MINOR=0
-PATCH=2
+PATCH=3
 EXTRAVERSION=""
 
 NOTES="(update)"

ctesibioAI_colab.ipynb

@@ -83,8 +83,6 @@
     "from transformers import GPT2Tokenizer, GPT2LMHeadModel, Trainer, TrainingArguments\n",
     "from datasets import Dataset\n",
     "\n",
-    "from training_data import datas\n",
-    "\n",
     "model_name = \"gpt2\"\n",
     "tokenizer = GPT2Tokenizer.from_pretrained(model_name)\n",
     "model = GPT2LMHeadModel.from_pretrained(model_name)\n",

training.py

@@ -1,13 +1,8 @@
 from transformers import GPT2Tokenizer, GPT2LMHeadModel, Trainer, TrainingArguments
 from datasets import Dataset
 
+from training_data import datas
 
-#Here you pass the questions and answers to train your model
-datas = [
-    {"pergunta": "Qual é a capital do Brasil?", "resposta": "A capital do Brasil é Brasília."},
-    {"pergunta": "Quem descobriu o Brasil?", "resposta": "O Brasil foi descoberto por Pedro Álvares Cabral."},
-    {"pergunta": "Qual é a maior floresta tropical do mundo?", "resposta": "A maior floresta tropical do mundo é a Floresta Amazônica."},
-]
 
 model_name = "gpt2"
 tokenizer = GPT2Tokenizer.from_pretrained(model_name)
@@ -39,7 +34,7 @@ def tokenize_function(example):
     output_dir="./ctesibioAI-model",
     overwrite_output_dir=True,
     per_device_train_batch_size=2,
-    num_train_epochs=50,
+    num_train_epochs=10,
     save_steps=500,
     save_total_limit=2,
     logging_dir="./logs",

training_data.py

@@ -1,7 +1,14 @@
 
 
 datas = [
-    {"pergunta": "Qual é a capital do Brasil?", "resposta": "A capital do Brasil é Brasília."},
-    {"pergunta": "Quem descobriu o Brasil?", "resposta": "O Brasil foi descoberto por Pedro Álvares Cabral."},
-    {"pergunta": "Qual é a maior floresta tropical do mundo?", "resposta": "A maior floresta tropical do mundo é a Floresta Amazônica."},
-]
+    {"pergunta": "O que é um modelo de linguagem de grande escala (LLM)?", "resposta": "Um LLM é um modelo de inteligência artificial treinado com grandes volumes de texto para compreender e gerar linguagem natural."},
+    {"pergunta": "Quais são os exemplos de LLMs famosos?", "resposta": "Exemplos de LLMs famosos incluem GPT, BERT, T5 e ChatGPT."},
+    {"pergunta": "Para que os LLMs são usados?", "resposta": "LLMs são usados em tarefas como geração de texto, tradução automática, resumo de texto, respostas a perguntas e muito mais."},
+    {"pergunta": "O que significa o termo 'fine-tuning'?", "resposta": "Fine-tuning é o processo de ajustar um LLM pré-treinado em um conjunto de dados específico para uma aplicação ou domínio."},
+    {"pergunta": "O que é 'tokenização'?", "resposta": "Tokenização é o processo de dividir o texto em unidades menores, chamadas de tokens, que podem ser palavras, subpalavras ou caracteres."},
+    {"pergunta": "Como os LLMs aprendem a gerar texto?", "resposta": "LLMs aprendem a gerar texto prevendo a próxima palavra ou token em uma sequência com base em padrões no texto de treinamento."},
+    {"pergunta": "Qual é o principal desafio ao treinar", "resposta": "Os principais desafios incluem o alto custo computacional, a necessidade de grandes volumes de dados e a dificuldade em evitar vieses nos modelos."},
+    {"pergunta": "O que são parâmetros?", "resposta": "Parâmetros são os valores ajustáveis no modelo que determinam como ele processa e gera texto com base nos dados de entrada."},
+    {"pergunta": "O que é um transformer?", "resposta": "Transformers são uma arquitetura de rede neural que usa mecanismos de atenção para processar sequências de dados, como texto."},
+    {"pergunta": "Qual é o papel do 'pre-training'?", "resposta": "O 'pre-training' envolve treinar o modelo em um grande corpus de texto para aprender os padrões gerais da linguagem antes de ajustá-lo para tarefas específicas."},
+]