implementation of ml algorithms

Thoth is module for the Implementation of artificial neural networks algorithms for the Introduction to Deep Learning Class.

The classes of ANN and MLP are imported from the directory. Some codes to train over datasets like iris, breast cancer or wine quality are in examples folder and can be executed as python module as bellow:

cd thoth
python3 -m examples.mlp-breastcancer

these examples serves as guides to import MLP's and other ANN

and how to set atributes of the MLP

IF867 - Introdução à Aprendizagem Profunda

1ª atividade prática

Discente(s): Gabriel Ferreira, Williams Andrade

Período:

Instruções e Requisitos

• Objetivo: Implementar e treinar um Multilayer Perceptron (MLP), inteiramente em NumPy ou Numba, sem o uso de bibliotecas de aprendizado profundo.
• A atividade pode ser feita em dupla.

Tarefas

Implementação (50%):

• Implemente pelo menos duas funções de ativação diferentes para as camadas ocultas; use Sigmoid e Linear para a camada de saída.

• Implemente forward e backpropagation.

• Implemente um otimizador de sua escolha, adequado ao problema abordado.

• Implemente as funções de treinamento e avaliação.

Aplicação (30%):

Teste se os seus modelos estão funcionando bem com as seguintes tarefas:

• Regressão

• Classificação binária

Experimentação (20%):

Teste os seus modelos com variações na arquitetura, no pré-processamento, etc. Escolha pelo menos uma das seguintes opções:

• Variações na inicialização de pesos

• Variações na arquitetura

• Implementação de técnicas de regularização

• Visualização das ativações e gradientes

Bônus: Implemente o MLP utilizando uma biblioteca de machine learning (ex.: PyTorch, TensorFlow, tinygrad, Jax) e teste-o em uma das aplicações e em um dos experimentos propostos. O bônus pode substituir um dos desafios de aplicação ou experimentos feitos em NumPy, ou simplesmente somar pontos para a pontuação geral.

Datasets recomendados:

Aqui estão alguns datasets recomendados, mas fica a cargo do aluno escolher os datasets que utilizará na atividade, podendo escolher um dataset não listado abaixo.

• Classificação

  • Iris

  • Breast Cancer Wisconsin (Diagnostic)

  • CDC Diabetes Health Indicators

• Regressão

  • Air Quality

  • Student Performance

  • Wine Quality

Requisitos para Entrega

Um notebook Jupyter (de preferência, o link do colab) ou script Python contendo:

• Código: Implementação completa da MLP.
• Gráficos e Análises: Gráficos da curva de perda, ativações, gradientes e insights do treinamento, resultantes dos experimentos com parada antecipada e diferentes técnicas de regularização.
• Relatório: Um breve relatório detalhando o impacto de várias configurações de hiperparâmetros(ex.: inicialização de pesos, número de camadas ocultas e neurônios) e métodos de regularização no desempenho do modelo.