Nella teoria dell’informazione, l’entropia è una misura della quantità di incertezza o disordine presente in un sistema o in una sorgente di informazioni. È stata introdotta da Claude Shannon a titolo di misura fondamentale della quantità di informazione contenuta in un insieme di dati o di segnali.
L’entropia viene definita in base alla probabilità degli eventi all’interno di un sistema: maggiore è l’entropia, maggiore è l’incertezza o la variabilità dei dati. Se tutti gli eventi o i simboli sono equiprobabili, l’entropia è massima, indicando la massima incertezza nel predire il prossimo simbolo o evento.
Nel contesto delle sorgenti di informazione, l’entropia rappresenta un parametro significativo per anticipare la quantità di informazione generata inizialmente. Considerando l’impossibilità di predire esattamente quale dato verrà generato in un dato momento, ma avendo solo conoscenza delle relative probabilità di generazione, l’entropia della sorgente viene definita come una media ponderata dell’autoinformazione dei simboli generabili, rispetto alla loro probabilità di generazione, con l’eccezione di una costante positiva di proporzionalità. Matematicamente, pertanto, l’entropia H(X) di una variabile casuale discreta X con distribuzione di probabilità P(X) è espressa da:
dove P(xi) è la probabilità di osservare l’evento xi e log2 è il logaritmo in base 2.
Usa il codice
189ed7ca010140fc2065b06e3802bcd5 per ricevere 5 € dopo l'iscrizione
Il segno negativo è presente proprio perché l’entropia viene definita come la somma dei prodotti delle probabilità dei singoli eventi (o simboli) per il logaritmo del reciproco di queste probabilità. Tale termine negativo assicura che l’entropia sia sempre non negativa e che raggiunga il suo valore massimo quando tutti gli eventi sono equiprobabili (massima incertezza).
L’entropia fornisce quindi una misura della “sorpresa” associata a un risultato ottenuto da una sorgente di informazioni. Se un sistema ha un’alta entropia, ciò significa che c’è molta incertezza o disordine nelle informazioni che fornisce, mentre un’entropia bassa indica maggiore regolarità o predittibilità nei dati o nei segnali prodotti dalla sorgente.
👇 Contenuti da non perdere 👇
- Cellulari 📱
- Gratis 🎉
- Marketing & SEO 🌪
- monitoraggio servizi online 📈
- Programmare 🖥
- Sicurezza & Privacy 👁
- WordPress 🤵
- 💬 Il nostro canale Telegram: iscriviti
- 🟡 Errore 521 in CloudFlare: come risolverlo e da cosa dipende
- 🟢 Errore HTTP bonifico: come risolverlo e da cosa dipende
- 🔵 Virtual hosting, a cosa servono?
