Teoria dell'Informazione

Francesco Romani      Tel. 0502212734

Analisi I e II (in particolare i numeri complessi e le serie di Fourier), Matematica Discreta, Calcolo delle Probabilità e Statistica, Algebra Lineare

Obiettivo del corso è introdurre i concetti essenziali della teoria classica della Informazione e Trasmissione.

Il corso introduce i concetti essenziali della teoria dell'informazione secondo Shannon: entropia, sorgenti, canali, codifica della sorgente e del canale, teoremi di codifica in assenza di rumore e in presenza di rumore. Vengono poi trattati i codici correttori a blocchi ed in maggiore dettaglio i codici ciclici. Viene anche data un'introduzione alla teoria della comunicazione nel modello continuo.

The essential concepts of Shannon information theory are introduced: entropy, information sources, channels, source and channel coding, noiseless coding theorem and Shannon fundamental theorem. Error correcting block codes, with special regard to cyclic codes, are also treated. Finally the continuous model of communication theory is briefly introduced.

1. Concetti Generali di Teoria dell'Informazione.
   Modelli di sistemi per la trasmissione dati. Modello discreto e modello continuo. Problemi e risultati.
2. La funzione entropia.
   Definizione. Proprietà. Entropia condizionata e informazione reciproca. Un'applicazione: la proprietà di equiripartizione asintotica.
3. Sorgenti d'informazione discreta.
   Definizione. Tipi di sorgenti. Sorgente estensione e sorgente adiacente.
4. Codifica in assenza di rumore (codifica della sorgente).
   Definizione di codice. Tipi di codice. Diseguaglianza di Kraft e MacMillan. Lunghezza media. Il teorema della codifica in assenza di rumore. Costruzione dei codici ottimali: il metodo di Huffmann.
5. I canali discreti senza memoria.
   Definizione. Capacità, Schemi di decisione e probabilità di errore. Il canale binario simmetrico. La codifica del canale. Il teorema fondamentale.
6. Codifica in presenza di rumore (codifica del canale).
   Problematica. Un risultato asintotico fondamentale: il teorema di Shannon. L'inverso debole.
7. I codici correttori a blocchi.
   Distanza di Hamming. I codici lineari. Algoritmi di codifica e decodifica. Capacità corretiva. Probabilità di errore. I codici di Hamming. Validità del teorema fondamentale.
8. I Codici ciclici.
   Definizione. Casi binari e non binari. caratterizzazioni medianti matrici e polinomi. I codici BCH. I codici di Reed Solomon.

Piram, Romani "Appunti di Teoria dell'Informazione" Manoscritto disponibile sotto forma di fotocopie *****

esame scritto ed orale