Apprendimento Automatico: Reti Neurali e Metodi Avanzati

Fondamenti di Apprendimento Automatico (corso AA1) , con specifica attenzione a:

• Reti Neurali Feedforward e algoritmo di Back-propagation, Self-Organizing Map.
• Support Vector Machines e modelli a Kernel.
• Teoria Statistica dell'Apprendimento.
• Validazione (principi e tecniche).
• Modelli Bayesiani e Grafici.

È possibile acquisire parallelamente al corso le nozioni sulle basi di apprendimento automatico/reti neurali.
Elementi di algoritmi di ricerca, probabilità, statistica, calcolo differenziale.

L’obiettivo del corso è di fornire competenze per specializzarsi nel campo della progettazione di nuovi modelli di apprendimento automatico, attraverso l'introduzione a modelli allo stato dell'arte quali reti neurali ricorrenti, reservoir computing, deep learning, metodi kernel, modelli probabilistici e generativi. Il corso è incentrato sul trattamento di domini complessi (immagini, dati biomedici, etc) e dati non-vettoriali, con l’introduzione di metodi per il trattamento adattivo di sequenze e strutture a dimensione variabile. Particolare enfasi è data all'analisi critica della sinergia tra lo sviluppo di modelli avanzati e il modellamento di applicazioni interdisciplinari innovative per domini complessi nelle Scienze Naturali, e all’introduzione di temi di ricerca.

Il corso di AA2 si colloca tra i corsi avanzati per la specializzazione in Machine Learning e Computational Intelligence.

Le tematiche affrontate dal corso includono:

• Modelli ricorrenti in ambito neurale (RNN), modelli probabilistici e generativi e approcci avanzati basati su kernel.
• Il trattamento di dati e problemi complessi.
• L'analisi di strumenti e modelli di apprendimento automatico non tradizionali considerando l'estensione a dati non vettoriali, inclusi  sequenze e strutture (alberi e grafi) a dimensione variabile.
• Il design di modelli avanzati di apprendimento automatico (con enfasi alla sinergia tra lo sviluppo di nuovi strumenti e il modellamento di applicazioni interdisciplinari innovative).

Il corso intende fornire una base metodologica e la conoscenza di modelli adattivi allo stato dell'arte per il trattamento di dati complessi tipici, ad esempio, delle aree dell'elaborazione del linguaggio, della visione, dell'elaborazione di segnali, della robotica e del controllo, della bioinformatica, della cheminformatica, dell'analisi di testi e documenti web, del trattamento di processi dinamici in sistemi interattivi.

Questi strumenti metodologici sono di particolare interesse per una specializzazione nelle tematiche dell'apprendimento automatico, volta alla costruzione di nuovi modelli e applicazioni interdisciplinari innovative.

La pagina di riferimento del corso è disponibile sul Didawiki del Corso di Laurea Magistrale.

La lingua ufficiale del corso è l'Inglese: materiali didattici, libri di riferimento e di consultazione sono in lingua Inglese. Le lezioni saranno tenute in Inglese in presenza di studenti stranieri.

The course introduces advanced machine learning  models and interdisciplinary applications, with a focus on  structured data adaptive processing.

The course provides the methodologies needed to specialize in the area of design of new advanced machine learning models. The topics of the course include

•     Recurrent neural network (RNN), probabilistic/generative models and advances kernel-based methods.
•     Processing of complex data and the addressing of challenging applications.
•     The analysis of innovative machine learning models and techniques, in particular as regardsthe extension to non vectorial data, such as sequences and structures (trees and graphs) of variable dimension.
•     The design of advanced machine learning models (motivated by addressing innovative interdisciplinary applications).

The course is intended to provide a methodological grounding and knowledge of state of the art adaptive models for the processing of complex information typical, for instance, of natural language processing, vision, signal processing, robotics, bioinformatics, cheminformatics, text and web document analysis, modelling of dinamycal systems.

Such methodological tools are particularly valuable for a machine learning specialist that aims at designing and building novel models and innovative applications.

The course web-page is on the Didawiki of the Laurea Magistrale.

The official language of the course is English: all materials, references and books are in English. Classes will be held in English if international students are attending.

Il corso è organizzato in 3 moduli tematici nei quali verranno presentati modelli avanzati per i principali paradigmi dell'apprendimento automatico (già introdotti nel corso AA1), ovvero il paradigma neurale, probabilistico e i modelli a kernel. Seguiremo un approccio incrementale che, a partire da modelli per il trattamento di strutture sequenziali (e.g. serie temporali e sequenze discrete), mostrerà l'estensione dei metodi a domini più complessi.

Il corso prevede inoltre un quarto modulo tematico mirato alla discussione di applicazioni e casi di studio avanzati, con particolare enfasi sulle applicazioni multidisciplinari. I casi di studio applicativi mostreranno in modo paradigmatico la creazione di modelli funzionali ai problemi in analisi.

In aggiunta alle lezioni tenute dal docente titolare, sono previsti seminari tenuti da

• Ricercatori italiani e stranieri che lavorano attivamente su tematiche di ricerca attinenti ai contenuti del corso.
• Aziende attivamente impegnate nello sviluppo di applicazioni avanzate che fanno uso di modelli di apprendimento automatico.

Il programma includerà (ma non è ristretto a) le seguenti classi di metodologie:

• Modelli e teoria delle reti neurali ricorrenti (dinamiche)
• Algoritmi di apprendimento: BPTT, RTRL.
• Hidden Markov Models e Conditional Random Fields
• Graphical Models e Bayesian learning
• Modelli a variabili latenti
• Metodi non-parametrici e basati su Kernel
• Unsupervised learning per dati complessi
• Cenni di Reservoir Computing e Deep Learning
• Introduzione ad applicazioni avanzate, quali Visione Artificiale, Bioinformatics e Cheminformatics