Seguici su Telegram, ne vale la pena ❤️ ➡ @trovalost
Vai al contenuto

Entropia in teoria dell’informazione

Nella teoria dell’informazione, l’entropia è una misura della quantità di incertezza o disordine presente in un sistema o in una sorgente di informazioni. È stata introdotta da Claude Shannon a titolo di misura fondamentale della quantità di informazione contenuta in un insieme di dati o di segnali.

L’entropia viene definita in base alla probabilità degli eventi all’interno di un sistema: maggiore è l’entropia, maggiore è l’incertezza o la variabilità dei dati. Se tutti gli eventi o i simboli sono equiprobabili, l’entropia è massima, indicando la massima incertezza nel predire il prossimo simbolo o evento.

Nel contesto delle sorgenti di informazione, l’entropia rappresenta un parametro significativo per anticipare la quantità di informazione generata inizialmente. Considerando l’impossibilità di predire esattamente quale dato verrà generato in un dato momento, ma avendo solo conoscenza delle relative probabilità di generazione, l’entropia della sorgente viene definita come una media ponderata dell’autoinformazione dei simboli generabili, rispetto alla loro probabilità di generazione, con l’eccezione di una costante positiva di proporzionalità. Matematicamente, pertanto, l’entropia H(X) di una variabile casuale discreta X con distribuzione di probabilità P(X) è espressa da:

dove P(xi) è la probabilità di osservare l’evento xi e log2 è il logaritmo in base 2.

Il segno negativo è presente proprio perché l’entropia viene definita come la somma dei prodotti delle probabilità dei singoli eventi (o simboli) per il logaritmo del reciproco di queste probabilità. Tale termine negativo assicura che l’entropia sia sempre non negativa e che raggiunga il suo valore massimo quando tutti gli eventi sono equiprobabili (massima incertezza).

L’entropia fornisce quindi una misura della “sorpresa” associata a un risultato ottenuto da una sorgente di informazioni. Se un sistema ha un’alta entropia, ciò significa che c’è molta incertezza o disordine nelle informazioni che fornisce, mentre un’entropia bassa indica maggiore regolarità o predittibilità nei dati o nei segnali prodotti dalla sorgente.

👇 Da non perdere 👇



Questo sito esiste da 4494 giorni (12 anni), e contiene ad oggi 5126 articoli (circa 4.100.800 parole in tutto) e 15 servizi online gratuiti. – Leggi un altro articolo a caso
Non ha ancora votato nessuno.

Ti sembra utile o interessante? Vota e fammelo sapere.

Questo sito contribuisce alla audience di sè stesso.
Il nostro network informativo: Lipercubo - Pagare online (il blog) - Trovalost.it