| | | corso | | | | |
Teoria dell'informazione
Codice: | AA041 | Crediti: | 6 | Semestre: | 1 | Sigla: | TI | |
|
Settore disciplinare: | INF/01 - Informatica |
Docente
Francesco Romani
Tel. 0502212734Prerequisiti
Calcolo delle probabilità, calcolo numerico
Obiettivi di apprendimento
Obiettivo del corso è introdurre i concetti essenziali della teoria
classica della Informazione e Trasmissione.
Descrizione
Il corso introduce i concetti essenziali della teoria
dell'informazione secondo Shannon: entropia, sorgenti, canali,
codifica della sorgente e del canale, teoremi di codifica in assenza
di rumore e in presenza di rumore. Vengono poi trattati i codici
correttori a blocchi ed in maggiore dettaglio i codici ciclici.
Viene anche data un'introduzione alla teoria della comunicazione nel
modello continuo.
Programma
- Concetti Generali di Teoria dell'Informazione.
Modelli di sistemi per la trasmissione dati. Modello discreto e
modello continuo. Problemi e risultati.
- La funzione entropia.
Definizione. Proprietà. Entropia condizionata e informazione
reciproca. Un'applicazione: la proprietà di equiripartizione
asintotica.
- Sorgenti d'informazione discreta.
Definizione. Tipi di sorgenti. Sorgente estensione e sorgente adiacente.
- Codifica in assenza di rumore (codifica della sorgente).
Definizione di codice. Tipi di codice. Diseguaglianza di Kraft e
MacMillan. Lunghezza media. Il teorema della codifica in assenza di
rumore. Costruzione dei codici ottimali: il metodo di Huffmann.
- I canali discreti senza memoria.
Definizione. Capacità, Schemi di decisione e
probabilità di errore.
Il canale binario simmetrico. La codifica del canale. Il teorema
fondamentale.
- Codifica in presenza di rumore (codifica del canale).
Problematica. Un risultato asintotico fondamentale: il teorema di
Shannon. L'inverso debole.
- I codici correttori a blocchi.
Distanza di Hamming. I codici lineari. Algoritmi di codifica e
decodifica. Capacità corretiva. Probabilità di errore.
I codici di
Hamming. Validità del teorema fondamentale.
- I Codici ciclici.
Definizione. Casi binari e non binari. caratterizzazioni medianti
matrici e polinomi. I codici BCH. I codici di Reed Solomon.
Bibliografia
Piram, Romani "Appunti di Teoria dell'Informazione" Manoscritto
disponibile sotto forma di fotocopie
Modalità di esame
Scritto e orale