View Full Version : Teorema di Shannon ... aiuto!
Matrixbob
06-09-2004, 12:57
Materia = Teoria dell'informazione classica.
Scopo = Relazione sul Teorema di Shannon.
Precisamente = Non avendo altre informazioni, penso sia da relazionare il primo e secondo T. di Shannon, cioè quelli che parlano di cose tipo ...
Sorgente --> codificatore --> canale --> decodificatore --> destinatario.
Problema = Non ho un libro di testo, ma solo un sacco di fotocopie di primi capitoli ... insomma porcheria raccimolata in giro.
Mia richiesta = Mi consigliate un libro di testo decente (cioè pedantico/non ambiguo/semplice/efficace/non troppo matematico&probabilistico&statistico/schematico/comprensibile/etc etc ... insomma un signor libro!) o qualche link interessante?!
Grazie.
PS
Mi hanno parlato bene di un libro scritto da un Prof. di Torino ... vi risulta?!
Ziosilvio
06-09-2004, 13:40
Io conosco "I fondamenti matematici della teoria dell'informazione".
E' la traduzione in italiano di un lavoro di Aleksandr Yakovlevich Khinchin (russo, trovi anche la scrittura Khintchine) sui testi di Shannon.
E' un testo molto famoso, purtroppo non ricordo l'editore italiano... :(
Qualche dato sull'edizione inglese:
- titolo: "Mathematical Foundations of Information Theory";
- editore: Dover;
- anno di pubblicazione: 1957.
Matrixbob
06-09-2004, 13:44
Ti ricordi vagamente di cosa parla il Teorema di Shannon o se ce ne sono di + o come si suddividono?!
Così mi faccio un'idea di questo mondo a me sconosciuto. :(
Prova a leggere l'articolo originale di Shannon dove appunto enuncia le basi della teoria dell'informazione e tutti i teoremi:
http://www.fisica.unipg.it/~gammaitoni/info1fis/documenti/shannon1948.pdf
Chiaramente non devi leggere e capire tutto (sono 55 pagine :eek: ) pero' almeno hai un idea su cosa e' l'originale da cui puoi partire.
ChristinaAemiliana
06-09-2004, 15:17
Originariamente inviato da Matrixbob
PS
Mi hanno parlato bene di un libro scritto da un Prof. di Torino ... vi risulta?!
Rasetti? :mbe:
stemanca
06-09-2004, 16:25
Il testo che ti serve è il Carlson
non ricordo esattamente il titolo, ma dovresti rintracciarlo facilmente
E' in inglese (non so se ora esista anche una versione italiana, mi pare di si...)
STE :)
edit, eccolo: Carlson A.B., "Communication Systems", 3rd Ed. McGraw-Hill Proakis J.G
Matrixbob
06-09-2004, 16:28
Originariamente inviato da ChristinaAemiliana
Rasetti? :mbe:
No, a giudicare dalle fotocopie del primo capitolo.
G.O. Longo
Teoria dell'informazione
Boringheri, Torino 1980.
Può essere un libro decente e alla mano ?!
Matrixbob
06-09-2004, 16:31
Originariamente inviato da stemanca
edit, eccolo: Carlson A.B., "Communication Systems", 3rd Ed. McGraw-Hill Proakis J.G
Non è che è troppo generico a giudicar dal nome?!
Ovviamente sempre meglio che un subdolo approcio probabilistico o cmq matematico :)
Mi puoi dire D+ per piacere?!
Matrixbob
06-09-2004, 16:39
X tutti:
Secondo le scartoffie in mio possesso (sia in inglese che in italiano) dovrebbero essere teoremi del tipo:
1] Shannon's source coding theorem
2] Shannon's noise channal coding theorem
Quindi 1] sulla codifica del sorgente e 2] sulla codifica per un canale rumoroso.
Può essere questo quello di cui ho bisogno?!
stemanca
06-09-2004, 16:41
Originariamente inviato da Matrixbob
Non è che è troppo generico a giudicar dal nome?!
Ovviamente sempre meglio che un subdolo approcio probabilistico o cmq matematico :)
Mi puoi dire D+ per piacere?!
Ah :p aiuto, è da molto che non vedo la materia e purtroppo il suddetto libro non ce l'ho a tiro, comunque...
Tratta di trasmissione e ricezione del segnale, modulazioni, FDM, trasmissione numerica, codifica... cmq se puoi fare un salto nella bibliotreca della tua facoltà dagli un'occhiata, mi risulta che fosse in assoluto il miglior testo in circolazione e molto probabilmente ne avranno una copia :)
info: http://www.mhhe.com/engcs/electrical/carlson/
ChristinaAemiliana
06-09-2004, 16:43
Originariamente inviato da Matrixbob
No, a giudicare dalle fotocopie del primo capitolo.
G.O. Longo
Teoria dell'informazione
Boringheri, Torino 1980.
Può essere un libro decente e alla mano ?!
Non lo conosco...vabbè che io sto al politecnico, e lui nel caso insegnerà all'università...avevo chiesto di Rasetti perché è il mio vecchio prof di meccanica statistica...:p
Per quanto riguarda il libro:
http://www.francescomarino.net/biblioteca/bb_longo.htm
Shannon è in appendice...se ne parla solo lì mi pare poco...
Matrixbob
06-09-2004, 16:47
Nelle pagine dei Prof + portati alla ingegneria si trovano testi come:
---
S. Haykin, Communication Systems, 3rd Edition, John Wiley & Sons, 1994
A. S. Tanenbaum, Computer Networks, 3rd Edition, Prentice Hall, 1995
S. Bellini, Trasmissione Numerica, CUSL, 1998.
G. Tartara, Teoria dei sistemi di comunicazione, Boringhieri, 1986
F. Carassa, Comunicazioni elettriche, Boringhieri, 1983
J. G. Proakis, Digital Communication, McGraw-Hill International Editions, 1989
A. B. Carlson, Communication Systems, McGraw-Hill, 1986
---
Io sono un Informatico, non so se è lo stesso punto d'osservazione di un ingegnere ... voi che dite?!
Quello che mi è stato richiesto è l'enunciato, la dimostrazione, il significato e l'impatto concreto sulla trasmissione.
Quindi un analisi meno "tecnica" e più "significativa" mi pare.
ChristinaAemiliana
06-09-2004, 16:51
Io sono un ing nucleare e Shannon lo conosco solo attraverso la meccanica statistica...:stordita:
Resto in ascolto, ma qui è pieno di ing del ramo dell'informazione che potranno parlare con ben maggiore cognizione di causa! :O ;)
Matrixbob
06-09-2004, 16:53
Originariamente inviato da Zontar
Prova a leggere l'articolo originale di Shannon dove appunto enuncia le basi della teoria dell'informazione e tutti i teoremi...
Io direi che a giudicare da tutti i commenti trovati in giro Shannon è il padre e madre della Teoria dell'informazione, quindi spero che il suo (o i sui ... non lo ho ancora capito quanti sono) Teorema sia la base e quindi capibile e reperibile semplicemente ovunque ...
... peccato che la mia ignoranza mi rende cieco ... :mc: :O :(
Matrixbob
06-09-2004, 17:03
Quello che mi garba è questo:
Originariamente inviato da Matrixbob
G. Tartara, Teoria dei sistemi di comunicazione, Boringhieri, 1986
ChristinaAemiliana
06-09-2004, 17:07
http://www.3wstyle.net/public/files_upload/utenti/chri/codici03.pdf
Questo l'ho trovato nell'archivio del politecnico...è quello che si fa a ingegneria...i teoremi di Shannon ci sono...se non altro puoi vedere QUANTI sono! :D
Matrixbob
06-09-2004, 17:12
Originariamente inviato da ChristinaAemiliana
http://www.3wstyle.net/public/files_upload/utenti/chri/codici03.pdf
Questo l'ho trovato nell'archivio del politecnico...è quello che si fa a ingegneria...i teoremi di Shannon ci sono...se non altro puoi vedere QUANTI sono! :D
Finalmente!
Sono + reperibili le foto di Shannon in vacanza che sorride che i suoi lavori :)
PS
Spero che non arrivi un moderatore a chiudere o cancellare il post piuttosto che spostarlo, come si usa oggigiorno ;(
ChristinaAemiliana
06-09-2004, 17:24
E perché dovrebbe? E' nella sezione giusta...:p
Cmq sono in buoni rapporti con un moderatore...:sofico:
Matrixbob
06-09-2004, 17:32
Originariamente inviato da FreeMan
:fiufiu:
:nonio: :fagiano:
l'unico teorema di Shannon che mi viene in mente è quello del campionamento, o mi sbaglio con qualcos'altro?
Matrixbob
06-09-2004, 18:08
Originariamente inviato da Killian
l'unico teorema di Shannon che mi viene in mente è quello del campionamento, o mi sbaglio con qualcos'altro?
Si ti sbagli, quello è un altro campo legato alla multimedialità.
piano multimedialità
shannon è teoria dell'informazione cioè acquisizione e riproduzione corretta di un qualsiasi segnale senza perdita di informazione in parole molto spicce
CMQ se lo considerate un bastardo e lo vorreste picchiare :muro:sappiate che è morto 3 o 4 anni fa
Matrixbob
07-09-2004, 00:31
Stavo solo dicendo che è uno dei teoremi, quello che lui ha evidenziato, visto maggiormente in materie come multimedilità, tutto qui.
Poi che Shannon facesse anche il caffè è risaputo :)
Matrixbob
07-09-2004, 16:55
Originariamente inviato da ChristinaAemiliana
http://www.3wstyle.net/public/files_upload/utenti/chri/codici03.pdf
Questo l'ho trovato nell'archivio del politecnico...è quello che si fa a ingegneria...i teoremi di Shannon ci sono...se non altro puoi vedere QUANTI sono! :D
Grazie infinitamente Christina, con questo tuo link potrò tentare di identificare in rete altri testi a me utili.
Sapere che sono 4 i principali teoremi di Shannon e che bene o male i 2 principali sono quelli che di :ciapet: sospettavo è senza dubbio un passo avanti.
Matrixbob
07-09-2004, 16:56
UP se qualcunaltro vuole indicarmi qualche altra via.
Bilancino
08-09-2004, 11:12
Shannon.............mi ricorda qualcosa ma anche una pornostar......:D
Ciao
Originariamente inviato da Matrixbob
Si ti sbagli, quello è un altro campo legato alla multimedialità.
veramente qui (http://www.gmee.ea.unian.it/metro/did/mgf/digitale.htm) puoi vedere che il teorema di Shannon ha a che fare con il teorema del campionamento;)
O sono io che pur ricordandomi ho sbagliato ambito?
Matrixbob
08-09-2004, 15:09
Originariamente inviato da Killian
veramente qui (http://www.gmee.ea.unian.it/metro/did/mgf/digitale.htm) puoi vedere che il teorema di Shannon ha a che fare con il teorema del campionamento;)
O sono io che pur ricordandomi ho sbagliato ambito?
... ed il campionamento non è visto maggiormente in Teoria dell'informazione classica, ma in materie di ingegneria o che hanno a che fare con la multimedialità.
Inotre più che il teorema di Shannon quello sarebbe un torema che usa le Teorie che Shannon ha fatto sull'informazione.
Se poi lo ha realizzato specificatamente lui partendo dai suoi studi, beh questo non lo so, ma alla base ci sono senza dubbio i sui scritti teorici (ipotesi, tesi, controtesi, dimostrazione matematica, etc etc).
Come dicevo Shannon è l'ideatore non che il principale sviluppatore delle teorie fatte sull'informazione.
Shannon ...
Shannon ...
mi sento un po' come dire ...
E' una sensazione strana ...
Mi viene su tutto ...
:Puke:
Ecco adesso mi sento decisamente meglio ...
Shannon ... maledetto spacciatore di equazioni e casini ... quanto mi hai fatto soffrire ...
Materia = Teoria dell'informazione classica.
Scopo = Relazione sul Teorema di Shannon.
( copio dal mio antico libro di testo di Comunicazioni elettriche )
Primo teorema di Shannon :
Data una sorgente senza memoria con entropia H(A) bit/simbolo e dato un alfabeto di codice di dimensione n>=2 , è sempre possibile trovare un codice a prefisso tale che la lunghezza media Lc delle parole di codice soddisfi alla condizione :
Lc<( H(A)/log(N) )+1
Inoltre per ogni codice univocamente decodificabile risulta sempre :
Lc >= H(A)/log(N)
La seconda disuguaglianza stabilisce che l' efficenza di un qualsiasi codice decodificabile non può essere superiore a uno ( stiamo parlando essenzialmente di compressione di dati ) questo vuol dire che c' é un limite massimo di compressione del messaggio .
**************************************************
Secondo teorema di Shannon ( teorema fondamentale dell' informazione )
Sia A una sorgente senza memoria con entropia H(A) bit per simbolo e sia C un canale senza memoria con capacità al secondo C'(bit/s) sia inoltre H'=fs(H(A)) qualsiasi flusso di informazione inferiore alla capacità
H'<C'
Allora é sempre possibile codificare la sorgente A in maniera tale che , trasmettendo il messaggio codificato al ritmo H' , il messaggio in ricezione venga decodificato con una probabilità di errore arbitrariamente piccola .
Viceversa se
H' > C'
non esiste alcun procedimento di codifica che permetta di ottenere in decodifica una probabilità di errore arbitrariamente piccola .
Il secondo teorema stabilisce il significato ultimo della capacità di un canale : essa rappresenta il limite di velocità al di sotto del quale deve viaggiare l' informazione attraverso il canale per poter avere una trasmissione affidabile .
Matrixbob
10-09-2004, 09:45
Grazie Cfranco x l'impegno dimostrato, grazie davvero.
Per ora sto lavorando sulle dispense girate da ChristinaAemiliana e questi (http://elettronica.fauser.edu/shannon/shannon.htm) appunti trovate in Internet.
Inoltre ho trovato in biblioteca:
G.O. Longo
Teoria dell'informazione
Boringheri, Torino 1980.
Adesso non mi rimane che spulciare ste centinaia di pagine e sperare che la mia mente elabori.
Grazie a tutti.
Matrixbob
10-09-2004, 16:16
Originariamente inviato da Cfranco Shannon ... maledetto spacciatore di equazioni e casini ... quanto mi hai fatto soffrire ...
Mi accorgo ora Cfranco che mi hai dato una ottima spiegazione dei 2 teoremi.
Cercherò di sfruttarla al meglio.
Matrixbob
17-09-2004, 14:25
Mi marco anche questo link:
http://pil.phys.uniroma1.it/~loreto/tesi_baronka/node1.html
e questo:
http://mago.crema.unimi.it/Classes/TIC
Matrixbob
04-12-2004, 18:42
Volevo ringraziarvi di CuOrE ancora a tutti, il 25 novembre 2004 (dopo quasi 3 mesi di lavoro .. ) ho consegato la relazione/tesina ed adesso ne sto aspettando ancora la valutazione, incrocio le dita :sperem: e ne approfitto per rifarvi i ringraziamenti.
"Lunga vita e prosperità", per tutti!!!
Originariamente inviato da Ziosilvio
Io conosco "I fondamenti matematici della teoria dell'informazione".
E' la traduzione in italiano di un lavoro di Aleksandr Yakovlevich Khinchin (russo, trovi anche la scrittura Khintchine) sui testi di Shannon.
E' un testo molto famoso, purtroppo non ricordo l'editore italiano... :(
Qualche dato sull'edizione inglese:
- titolo: "Mathematical Foundations of Information Theory";
- editore: Dover;
- anno di pubblicazione: 1957. Arrivo in ritardo, comunque Matrixbob se dovessi approfondire queste cose da un punto di vista matematico, anche se il libro non lo conosco, credo proprio che quello del Khintchine sia adatto visto che nel libro "Mathematical Foundation of Statistical Mechanics" è stato il primo a far capire che la meccanica statistica è fondamentalmente una teoria di probabilità. Insomma quando si tratta dei russi, soprattutto dei tempi passati, non puoi sbagliarti, la trattazione è molto rigorosa.
ChristinaAemiliana
06-12-2004, 22:04
Originariamente inviato da Matrixbob
Volevo ringraziarvi di CuOrE ancora a tutti, il 25 novembre 2004 (dopo quasi 3 mesi di lavoro .. ) ho consegato la relazione/tesina ed adesso ne sto aspettando ancora la valutazione, incrocio le dita :sperem: e ne approfitto per rifarvi i ringraziamenti.
"Lunga vita e prosperità", per tutti!!!
Sono contenta! Brindiamo alla fine dei lavori! :ubriachi:
E facci sapere come viene valutata la tesina! :p
Matrixbob
11-12-2004, 19:14
Originariamente inviato da ChristinaAemiliana
Sono contenta! Brindiamo alla fine dei lavori! :ubriachi:
E facci sapere come viene valutata la tesina! :p
Potrebbe essere 27/30, ma quoto quanto ricevuto:
> "Nella prox settimana vorrei porle alcune domande di chiarimento". :eek:
... e allora mi cresce l'ansia, soprattutto per alcuni termini usati e non compresi a pieno, tipo:
"Densità di probabilità". :rolleyes:
Inoltre, martedì ho un altro esame ... porc! :mc:
Voi siete ancora sintonizzati in caso mi servissero altri chiarimenti?! :confused: :(
Matrixbob
11-12-2004, 19:27
Link correlati:
Mi sfugge il significato di questa corta formula: (http://forum.hwupgrade.it/showthread.php?s=&threadid=815046)
Differenza tra assioma e propietà?! (http://forum.hwupgrade.it/showthread.php?s=&threadid=817208)
Condizione necessaria e condizione sufficiente: nn mi ricordo la differenza, aiuto! (http://forum.hwupgrade.it/showthread.php?s=&threadid=812060)
Cosa è 1 densità di probabilità?! (http://forum.hwupgrade.it/showthread.php?s=&threadid=769048&highlight=densit%E0+di+probabilit%E0)
Disuguaglianza di Jensen: cosa è?! (http://forum.hwupgrade.it/showthread.php?s=&threadid=773918&highlight=densit%E0+di+probabilit%E0)
Problemi di comprensione di questa sommatoria .. (http://forum.hwupgrade.it/showthread.php?s=&threadid=788629)
"Caratterizzare" una variabile discreta cosa significa?! (http://forum.hwupgrade.it/showthread.php?s=&threadid=784861)
Cosa è " l'aspettazione di una variabile " ?! (http://forum.hwupgrade.it/showthread.php?s=&threadid=820802&highlight=aspettazione)
A Short Course in Information Theory (http://www.inference.phy.cam.ac.uk/mackay/info-theory/course.html)
... non si può dire che non mi sia sbattutto eh ...
... anche se alcune cose erano solo un ripasso per infrescare la memoria.
Matrixbob
23-12-2004, 16:06
Dopo qualche richiesta di approfondimento il voto finale è stato:
27/30 e volvevo ringraziarvi tutti e farvi gli auguri di un'altro splendido anno, magari di collaborazione tra tutti.
Ciao, auguri e grazie ancora!
vBulletin® v3.6.4, Copyright ©2000-2025, Jelsoft Enterprises Ltd.