Nella teoria dell’informazione, l’entropia è una misura della quantità di incertezza o disordine presente in un sistema o in una sorgente di informazioni. È stata introdotta da Claude Shannon a titolo di misura fondamentale della quantità di informazione contenuta in un insieme di dati o di segnali.
L’entropia viene definita in base alla probabilità degli eventi all’interno di un sistema: maggiore è l’entropia, maggiore è l’incertezza o la variabilità dei dati. Se tutti gli eventi o i simboli sono equiprobabili, l’entropia è massima, indicando la massima incertezza nel predire il prossimo simbolo o evento.
Nel contesto delle sorgenti di informazione, l’entropia rappresenta un parametro significativo per anticipare la quantità di informazione generata inizialmente. Considerando l’impossibilità di predire esattamente quale dato verrà generato in un dato momento, ma avendo solo conoscenza delle relative probabilità di generazione, l’entropia della sorgente viene definita come una media ponderata dell’autoinformazione dei simboli generabili, rispetto alla loro probabilità di generazione, con l’eccezione di una costante positiva di proporzionalità. Matematicamente, pertanto, l’entropia H(X) di una variabile casuale discreta X con distribuzione di probabilità P(X) è espressa da:
dove P(xi) è la probabilità di osservare l’evento xi e log2 è il logaritmo in base 2.
Il segno negativo è presente proprio perché l’entropia viene definita come la somma dei prodotti delle probabilità dei singoli eventi (o simboli) per il logaritmo del reciproco di queste probabilità. Tale termine negativo assicura che l’entropia sia sempre non negativa e che raggiunga il suo valore massimo quando tutti gli eventi sono equiprobabili (massima incertezza).
L’entropia fornisce quindi una misura della “sorpresa” associata a un risultato ottenuto da una sorgente di informazioni. Se un sistema ha un’alta entropia, ciò significa che c’è molta incertezza o disordine nelle informazioni che fornisce, mentre un’entropia bassa indica maggiore regolarità o predittibilità nei dati o nei segnali prodotti dalla sorgente.
👇 Da non perdere 👇
- 📈 Analizza Cellulari 📱
- 🔐 AI che dolor, Chat 🏴
- 🎯 Targetizza Database SQL 🗄
- 📊 Analizza Errori più comuni 📛
- 🚧 Costruisci Evergreen 📟
- 👩💻 Programma Gratis 🎉
- 💻 Configura Hosting a confronto 💑
- 🔒 Conosci Hosting reti e domini 💻
- 👩💻 Tapioca Informatica 🖥
- 💻 Iconizza Internet 💻
- 🔒 Gestisci Lavoro 🔧
- 💡 Mostra Marketing & SEO 🌪
- 🔑 Apprendi Meteo ⛅
- 🤯 Visiona Mondo Apple 🍎
- 🔍 Supervisiona Mondo Domini 🌐
- 🚀 Metti in cloud monitoraggio servizi online 📈
- 🔮 Anatomizza Nuove tecnologie 🖥
- 🔒 Antani PEC e firma digitale 📩
- 👀 Prematura Programmare 🖥
- 🎮 Lonfa Scrivere 🖋
- 🔒 Conosci Servizi di SMS 📶
- 👀 Guarda Sicurezza informatica e privacy digitale 🖥
- 🎮 Ricorda Siti web 🌎
- 🤖 Ottimizza Spiegoni artificiali 🎓
- 🧠 Neuralizza Svago 🎈
- 📡 Quantizza Usare Excel 🌀
- 🤖 Sovrascrivi Windows 😲
- 🎨 Personalizza Wireless 🚁
- 🔑 Decifra WordPress 🤵
- 💬 Il nostro canale Telegram: iscriviti
- 🔴 Google bombing: cosa sono e a cosa servono
- 🟢 Temi WordPress: come usarli in modo corretto
- 🟢 Spiegazione “Due Vite” di Marco Mengoni
