elenco    
        corso    

Teoria dell'informazione

Codice: AA041Crediti: 6Semestre: 2Sigla: TI 
 
Settore disciplinare: INF/01 - Informatica

Docente

Francesco Romani   romani@di.unipi.it  Stanza 326  Tel. 0502212734

Prerequisiti

Calcolo delle probabilità, calcolo numerico

Obiettivi di apprendimento

Obiettivo del corso è introdurre i concetti essenziali della teoria classica della Informazione e Trasmissione.
Conoscenze. Conoscenza dei principi della Teoria dell'Informazione.
Capacità. Capacita di svolgere semplici esercizi di Teoria dell'Informazione.
Comportamenti. La conoscenza dei fondamenti della teoria dell'Informazione non dovrebbe avere effetti sui comportamenti degli allievi.

Descrizione

Il corso introduce i concetti essenziali della teoria dell'informazione secondo Shannon: entropia, sorgenti, canali, codifica della sorgente e del canale, teoremi di codifica in assenza di rumore e in presenza di rumore. Vengono poi trattati i codici correttori a blocchi ed in maggiore dettaglio i codici ciclici. Viene anche data un'introduzione alla teoria della comunicazione nel modello continuo.

English Description

A simple introduction to Information Theory: Entropy, information Sources, Codes.

Indicazioni metodologiche

Il processo di apprendimento è organizzato in l;ezioni teoriche su argomenti in sequenza logica ed esercitazioni .

Programma

  1. Concetti Generali di Teoria dell'Informazione. Modelli di sistemi per la trasmissione dati. Modello discreto e modello continuo. Problemi e risultati.
  2. La funzione entropia. Definizione. Proprietà. Entropia condizionata e informazione reciproca. Un'applicazione: la proprietà di equiripartizione asintotica.
  3. Sorgenti d'informazione discreta. Definizione. Tipi di sorgenti. Sorgente estensione e sorgente adiacente.
  4. Codifica in assenza di rumore (codifica della sorgente). Definizione di codice. Tipi di codice. Diseguaglianza di Kraft e MacMillan. Lunghezza media. Il teorema della codifica in assenza di rumore. Costruzione dei codici ottimali: il metodo di Huffmann.
  5. I canali discreti senza memoria. Definizione. Capacità, Schemi di decisione e probabilità di errore. Il canale binario simmetrico. La codifica del canale. Il teorema fondamentale.
  6. Codifica in presenza di rumore (codifica del canale). Problematica. Un risultato asintotico fondamentale: il teorema di Shannon. L'inverso debole.
  7. I codici correttori a blocchi. Distanza di Hamming. I codici lineari. Algoritmi di codifica e decodifica. Capacità corretiva. Probabilità di errore. I codici di Hamming. Validità del teorema fondamentale.
  8. I Codici ciclici. Definizione. Casi binari e non binari. caratterizzazioni medianti matrici e polinomi. I codici BCH. I codici di Reed Solomon.
Ore lezione: 32Ore esercitazione: 15Ore laboratorio: 0Ore seminari: 0 

Bibliografia

Piram, Romani "Appunti di Teoria dell'Informazione" Manoscritto disponibile sotto forma di fotocopie

Modalità di esame

Scritto e orale

Ulteriore pagina web del corso: http://www.cli.di.unipi.it/~romani/TI.html


home


email