Teoria dell'informazione

Francesco Romani      Tel. 0502212734

Calcolo delle probabilità, calcolo numerico

Obiettivo del corso è introdurre i concetti essenziali della teoria classica della Informazione e Trasmissione.

Il corso introduce i concetti essenziali della teoria dell'informazione secondo Shannon: entropia, sorgenti, canali, codifica della sorgente e del canale, teoremi di codifica in assenza di rumore e in presenza di rumore. Vengono poi trattati i codici correttori a blocchi ed in maggiore dettaglio i codici ciclici. Viene anche data un'introduzione alla teoria della comunicazione nel modello continuo.

1. Concetti Generali di Teoria dell'Informazione. Modelli di sistemi per la trasmissione dati. Modello discreto e modello continuo. Problemi e risultati.
2. La funzione entropia. Definizione. Proprietà. Entropia condizionata e informazione reciproca. Un'applicazione: la proprietà di equiripartizione asintotica.
3. Sorgenti d'informazione discreta. Definizione. Tipi di sorgenti. Sorgente estensione e sorgente adiacente.
4. Codifica in assenza di rumore (codifica della sorgente). Definizione di codice. Tipi di codice. Diseguaglianza di Kraft e MacMillan. Lunghezza media. Il teorema della codifica in assenza di rumore. Costruzione dei codici ottimali: il metodo di Huffmann.
5. I canali discreti senza memoria. Definizione. Capacità, Schemi di decisione e probabilità di errore. Il canale binario simmetrico. La codifica del canale. Il teorema fondamentale.
6. Codifica in presenza di rumore (codifica del canale). Problematica. Un risultato asintotico fondamentale: il teorema di Shannon. L'inverso debole.
7. I codici correttori a blocchi. Distanza di Hamming. I codici lineari. Algoritmi di codifica e decodifica. Capacità corretiva. Probabilità di errore. I codici di Hamming. Validità del teorema fondamentale.
8. I Codici ciclici. Definizione. Casi binari e non binari. caratterizzazioni medianti matrici e polinomi. I codici BCH. I codici di Reed Solomon.

Piram, Romani "Appunti di Teoria dell'Informazione" Manoscritto disponibile sotto forma di fotocopie

Scritto e orale