Nella teoria dell’informazione, l’entropia è una misura della quantità di incertezza o disordine presente in un sistema o in una sorgente di informazioni. È stata introdotta da Claude Shannon a titolo di misura fondamentale della quantità di informazione contenuta in un insieme di dati o di segnali.
L’entropia viene definita in base alla probabilità degli eventi all’interno di un sistema: maggiore è l’entropia, maggiore è l’incertezza o la variabilità dei dati. Se tutti gli eventi o i simboli sono equiprobabili, l’entropia è massima, indicando la massima incertezza nel predire il prossimo simbolo o evento.
Nel contesto delle sorgenti di informazione, l’entropia rappresenta un parametro significativo per anticipare la quantità di informazione generata inizialmente. Considerando l’impossibilità di predire esattamente quale dato verrà generato in un dato momento, ma avendo solo conoscenza delle relative probabilità di generazione, l’entropia della sorgente viene definita come una media ponderata dell’autoinformazione dei simboli generabili, rispetto alla loro probabilità di generazione, con l’eccezione di una costante positiva di proporzionalità. Matematicamente, pertanto, l’entropia H(X) di una variabile casuale discreta X con distribuzione di probabilità P(X) è espressa da:
dove P(xi) è la probabilità di osservare l’evento xi e log2 è il logaritmo in base 2.
Il segno negativo è presente proprio perché l’entropia viene definita come la somma dei prodotti delle probabilità dei singoli eventi (o simboli) per il logaritmo del reciproco di queste probabilità. Tale termine negativo assicura che l’entropia sia sempre non negativa e che raggiunga il suo valore massimo quando tutti gli eventi sono equiprobabili (massima incertezza).
L’entropia fornisce quindi una misura della “sorpresa” associata a un risultato ottenuto da una sorgente di informazioni. Se un sistema ha un’alta entropia, ciò significa che c’è molta incertezza o disordine nelle informazioni che fornisce, mentre un’entropia bassa indica maggiore regolarità o predittibilità nei dati o nei segnali prodotti dalla sorgente.
👇 Da non perdere 👇
- Cellulari 📱
- Marketing & SEO 🌪
- Mondo Apple 🍎
- Reti 💻
- Sicurezza & Privacy 👁
- Spiegoni artificiali 🎓
- WordPress 🤵
- 💬 Il nostro canale Telegram: iscriviti
- 🟡 Guida per stampante offline: cosa fare?
- 🟡 Come usare gli scenari in Excel
- 🟢 Come scaricare la visura catastale
