Teorema di Shannon ... aiuto!

[Killian]

l'unico teorema di Shannon che mi viene in mente è quello del campionamento, o mi sbaglio con qualcos'altro?

[Matrixbob]

Originariamente inviato da Killian
l'unico teorema di Shannon che mi viene in mente è quello del campionamento, o mi sbaglio con qualcos'altro?

Si ti sbagli, quello è un altro campo legato alla multimedialità.

[Lauro]

piano multimedialità
shannon è teoria dell'informazione cioè acquisizione e riproduzione corretta di un qualsiasi segnale senza perdita di informazione in parole molto spicce

CMQ se lo considerate un bastardo e lo vorreste picchiare sappiate che è morto 3 o 4 anni fa

[Matrixbob]

Stavo solo dicendo che è uno dei teoremi, quello che lui ha evidenziato, visto maggiormente in materie come multimedilità, tutto qui.

Poi che Shannon facesse anche il caffè è risaputo

[Matrixbob]

Originariamente inviato da ChristinaAemiliana
http://www.3wstyle.net/public/files_...i/codici03.pdf

Questo l'ho trovato nell'archivio del politecnico...è quello che si fa a ingegneria...i teoremi di Shannon ci sono...se non altro puoi vedere QUANTI sono!

Grazie infinitamente Christina, con questo tuo link potrò tentare di identificare in rete altri testi a me utili.
Sapere che sono 4 i principali teoremi di Shannon e che bene o male i 2 principali sono quelli che di sospettavo è senza dubbio un passo avanti.

[Matrixbob]

UP se qualcunaltro vuole indicarmi qualche altra via.

[Bilancino]

Shannon.............mi ricorda qualcosa ma anche una pornostar......

Ciao

[Killian]

Originariamente inviato da Matrixbob
Si ti sbagli, quello è un altro campo legato alla multimedialità.

veramente qui puoi vedere che il teorema di Shannon ha a che fare con il teorema del campionamento

O sono io che pur ricordandomi ho sbagliato ambito?

[Matrixbob]

Originariamente inviato da Killian
veramente qui puoi vedere che il teorema di Shannon ha a che fare con il teorema del campionamento

O sono io che pur ricordandomi ho sbagliato ambito?

... ed il campionamento non è visto maggiormente in Teoria dell'informazione classica, ma in materie di ingegneria o che hanno a che fare con la multimedialità.
Inotre più che il teorema di Shannon quello sarebbe un torema che usa le Teorie che Shannon ha fatto sull'informazione.
Se poi lo ha realizzato specificatamente lui partendo dai suoi studi, beh questo non lo so, ma alla base ci sono senza dubbio i sui scritti teorici (ipotesi, tesi, controtesi, dimostrazione matematica, etc etc).

Come dicevo Shannon è l'ideatore non che il principale sviluppatore delle teorie fatte sull'informazione.

[Cfranco]

Shannon ...

Shannon ...

mi sento un po' come dire ...

E' una sensazione strana ...

Mi viene su tutto ...



Ecco adesso mi sento decisamente meglio ...

Shannon ... maledetto spacciatore di equazioni e casini ... quanto mi hai fatto soffrire ...

Materia = Teoria dell'informazione classica.
Scopo = Relazione sul Teorema di Shannon.

( copio dal mio antico libro di testo di Comunicazioni elettriche )
Primo teorema di Shannon :
Data una sorgente senza memoria con entropia H(A) bit/simbolo e dato un alfabeto di codice di dimensione n>=2 , è sempre possibile trovare un codice a prefisso tale che la lunghezza media Lc delle parole di codice soddisfi alla condizione :
Lc<( H(A)/log(N) )+1
Inoltre per ogni codice univocamente decodificabile risulta sempre :
Lc >= H(A)/log(N)

La seconda disuguaglianza stabilisce che l' efficenza di un qualsiasi codice decodificabile non può essere superiore a uno ( stiamo parlando essenzialmente di compressione di dati ) questo vuol dire che c' é un limite massimo di compressione del messaggio .

**************************************************
Secondo teorema di Shannon ( teorema fondamentale dell' informazione )
Sia A una sorgente senza memoria con entropia H(A) bit per simbolo e sia C un canale senza memoria con capacità al secondo C'(bit/s) sia inoltre H'=fs(H(A)) qualsiasi flusso di informazione inferiore alla capacità
H'<C'
Allora é sempre possibile codificare la sorgente A in maniera tale che , trasmettendo il messaggio codificato al ritmo H' , il messaggio in ricezione venga decodificato con una probabilità di errore arbitrariamente piccola .
Viceversa se
H' > C'
non esiste alcun procedimento di codifica che permetta di ottenere in decodifica una probabilità di errore arbitrariamente piccola .

Il secondo teorema stabilisce il significato ultimo della capacità di un canale : essa rappresenta il limite di velocità al di sotto del quale deve viaggiare l' informazione attraverso il canale per poter avere una trasmissione affidabile .

[Matrixbob]

Grazie Cfranco x l'impegno dimostrato, grazie davvero.
Per ora sto lavorando sulle dispense girate da ChristinaAemiliana e questi appunti trovate in Internet.

Inoltre ho trovato in biblioteca:
G.O. Longo
Teoria dell'informazione
Boringheri, Torino 1980.

Adesso non mi rimane che spulciare ste centinaia di pagine e sperare che la mia mente elabori.

Grazie a tutti.

[Matrixbob]

Originariamente inviato da Cfranco Shannon ... maledetto spacciatore di equazioni e casini ... quanto mi hai fatto soffrire ...

Mi accorgo ora Cfranco che mi hai dato una ottima spiegazione dei 2 teoremi.
Cercherò di sfruttarla al meglio.

[Matrixbob]

Mi marco anche questo link:
http://pil.phys.uniroma1.it/~loreto/...nka/node1.html
e questo:
http://mago.crema.unimi.it/Classes/TIC

[Matrixbob]

Volevo ringraziarvi di CuOrE ancora a tutti, il 25 novembre 2004 (dopo quasi 3 mesi di lavoro .. ) ho consegato la relazione/tesina ed adesso ne sto aspettando ancora la valutazione, incrocio le dita e ne approfitto per rifarvi i ringraziamenti.

"Lunga vita e prosperità", per tutti!!!

[LASCO]

Originariamente inviato da Ziosilvio
Io conosco "I fondamenti matematici della teoria dell'informazione".
E' la traduzione in italiano di un lavoro di Aleksandr Yakovlevich Khinchin (russo, trovi anche la scrittura Khintchine) sui testi di Shannon.
E' un testo molto famoso, purtroppo non ricordo l'editore italiano...
Qualche dato sull'edizione inglese:
- titolo: "Mathematical Foundations of Information Theory";
- editore: Dover;
- anno di pubblicazione: 1957.

Arrivo in ritardo, comunque Matrixbob se dovessi approfondire queste cose da un punto di vista matematico, anche se il libro non lo conosco, credo proprio che quello del Khintchine sia adatto visto che nel libro "Mathematical Foundation of Statistical Mechanics" è stato il primo a far capire che la meccanica statistica è fondamentalmente una teoria di probabilità. Insomma quando si tratta dei russi, soprattutto dei tempi passati, non puoi sbagliarti, la trattazione è molto rigorosa.

[ChristinaAemiliana]

Originariamente inviato da Matrixbob
Volevo ringraziarvi di CuOrE ancora a tutti, il 25 novembre 2004 (dopo quasi 3 mesi di lavoro .. ) ho consegato la relazione/tesina ed adesso ne sto aspettando ancora la valutazione, incrocio le dita e ne approfitto per rifarvi i ringraziamenti.

"Lunga vita e prosperità", per tutti!!!

Sono contenta! Brindiamo alla fine dei lavori!

E facci sapere come viene valutata la tesina!

[Matrixbob]

Originariamente inviato da ChristinaAemiliana
Sono contenta! Brindiamo alla fine dei lavori!

E facci sapere come viene valutata la tesina!

Potrebbe essere 27/30, ma quoto quanto ricevuto:

> "Nella prox settimana vorrei porle alcune domande di chiarimento".

... e allora mi cresce l'ansia, soprattutto per alcuni termini usati e non compresi a pieno, tipo:
"Densità di probabilità".

Inoltre, martedì ho un altro esame ... porc!

Voi siete ancora sintonizzati in caso mi servissero altri chiarimenti?!

[Matrixbob]

Link correlati:
Mi sfugge il significato di questa corta formula:
Differenza tra assioma e propietà?!
Condizione necessaria e condizione sufficiente: nn mi ricordo la differenza, aiuto!
Cosa è 1 densità di probabilità?!
Disuguaglianza di Jensen: cosa è?!
Problemi di comprensione di questa sommatoria ..
"Caratterizzare" una variabile discreta cosa significa?!
Cosa è " l'aspettazione di una variabile " ?!
A Short Course in Information Theory

... non si può dire che non mi sia sbattutto eh ...
... anche se alcune cose erano solo un ripasso per infrescare la memoria.

[Matrixbob]

Dopo qualche richiesta di approfondimento il voto finale è stato:
27/30 e volvevo ringraziarvi tutti e farvi gli auguri di un'altro splendido anno, magari di collaborazione tra tutti.
Ciao, auguri e grazie ancora!