| | | corso | | | |
Teoria dell'informazione
Codice: | AA041 | Crediti: | 6 | Semestre: | 2 | Sigla: | TI | |
|
Settore disciplinare: | INF/01 - Informatica |
Docente
Francesco Romani
Tel. 0502212734Prerequisiti
Calcolo delle probabilità, calcolo numerico
Obiettivi di apprendimento
Obiettivo del corso è introdurre i concetti essenziali della teoria
classica della Informazione e Trasmissione.
Conoscenze. Conoscenza dei principi della Teoria dell'Informazione.
Capacità. Capacita di svolgere semplici esercizi di Teoria dell'Informazione.
Comportamenti. La conoscenza dei fondamenti della teoria dell'Informazione non dovrebbe avere effetti sui comportamenti degli allievi.
Descrizione
Il corso introduce i concetti essenziali della teoria
dell'informazione secondo Shannon: entropia, sorgenti, canali,
codifica della sorgente e del canale, teoremi di codifica in assenza
di rumore e in presenza di rumore. Vengono poi trattati i codici
correttori a blocchi ed in maggiore dettaglio i codici ciclici.
Viene anche data un'introduzione alla teoria della comunicazione nel
modello continuo.
English Description
A simple introduction to Information Theory: Entropy, information Sources, Codes.
Indicazioni metodologiche
Il processo di apprendimento è organizzato in l;ezioni teoriche su argomenti in sequenza logica ed esercitazioni .
Programma
- Concetti Generali di Teoria dell'Informazione.
Modelli di sistemi per la trasmissione dati. Modello discreto e
modello continuo. Problemi e risultati.
- La funzione entropia.
Definizione. Proprietà. Entropia condizionata e informazione
reciproca. Un'applicazione: la proprietà di equiripartizione
asintotica.
- Sorgenti d'informazione discreta.
Definizione. Tipi di sorgenti. Sorgente estensione e sorgente adiacente.
- Codifica in assenza di rumore (codifica della sorgente).
Definizione di codice. Tipi di codice. Diseguaglianza di Kraft e
MacMillan. Lunghezza media. Il teorema della codifica in assenza di
rumore. Costruzione dei codici ottimali: il metodo di Huffmann.
- I canali discreti senza memoria.
Definizione. Capacità, Schemi di decisione e
probabilità di errore.
Il canale binario simmetrico. La codifica del canale. Il teorema
fondamentale.
- Codifica in presenza di rumore (codifica del canale).
Problematica. Un risultato asintotico fondamentale: il teorema di
Shannon. L'inverso debole.
- I codici correttori a blocchi.
Distanza di Hamming. I codici lineari. Algoritmi di codifica e
decodifica. Capacità corretiva. Probabilità di errore.
I codici di
Hamming. Validità del teorema fondamentale.
- I Codici ciclici.
Definizione. Casi binari e non binari. caratterizzazioni medianti
matrici e polinomi. I codici BCH. I codici di Reed Solomon.
Ore lezione: | 32 | Ore esercitazione: | 15 | Ore laboratorio: | 0 | Ore seminari: | 0 | |
Bibliografia
Piram, Romani "Appunti di Teoria dell'Informazione" Manoscritto
disponibile sotto forma di fotocopie
Modalità di esame
Scritto e orale