MathQA: Paper study & Fine-Tuning

Progetto volto allo studio del paper scientifico "MathQA: Towards Interpretable MathWord Problem Solving with Operation-Based Formalisms", con la realizzazione di un fine-tuning di Mistral 7B personalizzato sul dataset MathQA.

È stata necessaria una formattazione dei prompt per input/output, una quantizzazione a 4-bit (NF4) per ridurre l'uso di memoria, l'utilizzo della libreria PEFT con metodo LoRA per aggiornare solo alcune componenti del modello, un addestramento per oltre 3700 epoche con checkpoint e salvataggi regolari, e test con successiva pubblicazione su Hugging Face Hub.