Cos'è il teorema di Bayes e a cosa serve?

Question

Accepted Answer

A che cosa serve il teorema di Bayes

Il teorema di Bayes permette di calcolare la probabilità che un'ipotesi A sia vera dato un insieme di dati o evidenze B. Questo teorema è ampiamente utilizzato in molte aree, tra cui l'apprendimento automatico, la diagnosi medica, la statistica bayesiana, l'analisi dei dati e la teoria delle decisioni. È particolarmente utile quando si devono prendere decisioni basate su informazioni incerte o quando si devono aggiornare le credenze in base alle nuove evidenze disponibili.

Come è scritta la formula del teorema di Bayes

La formula di per sè è nota e non dice nemmeno granchè, e la riproponiamo qui solo con le lettere cambiate rispetto alle solite A e B, per cercare di farla capire meglio (almeno, ci proviamo):

P(H|E) = P(H) • P(E|H) / P(E)

Significa che la probabilità che si verifichi H dopo che si è verificata E è pari al rapporto tra la probabilità che si verifichi solo H per la probabilità che si verifichi E in presenza di H fratto la probabilità che si verifichi soltanto E. Ricordare la formula a memoria non è troppo agevole, per cui si potrebbe ricorrere alla teoria degli insiemi: ricordando che lo spazio di probabilità si muove in un ipotetico quadrato di lato 1, dove le ascisse sono H e le ordinate sono E, possiamo inquadrare il problema nei termini di insiemi (probabilità a priori o, in alcuni casi, detta probabilità marginale, dato che fa riferimento ad un sottoinsieme di eventi) e sottoinsiemi dei precedenti (probabilità a posteriori). Questo evidenzia meglio, visivamente, quello che effettivamente succede, tanto che in questo video divulgativo si pone la questione come "la geometria del cambiare credenza", nel senso che la valutazione della probabilità che facciamo di un qualsiasi evento E varia notevolmente al variare delle ipotesi H che poniamo, è bene ricordarlo, in modo arbitrario, e che possono condizionare la probabilità stessa (aree del quadrato che si allargano o restringono). La probabilità condizionata di H rispetto ad E, pertanto, è data dal rapporto tra la probabilità marginale dell'ipotesi H per la probabilità condizionata di E rispetto ad H, fratto la probabilità dell'evento E. Una delle applicazioni più note del teorema è al problema di Monty Hall, ad esempio, per cui rappresenta una possibile soluzione alternativa rispetto a quella che abbiamo illustrato nell'articolo. https://www.youtube.com/watch?v=HZGCoVF3YvM A volte il teorema di Bayes viene riferita non solo come teorema, in effetti, ma anche come formula di Bayes, il che dovrebbe testimoniare la possibilità che se ne faccia uso in contesti molto frequenti. Una formula da usare nella vita di ogni giorno (non proprio quando andate a ballare o andate al supermercato, ma insomma) dato che fornisce un modo per calcolare le probabilità iniziali (probabilità a priori) di un evento alla luce di nuove evidenze e/o informazioni (le probabilità a posteriori).

I termini della formula

Facciamo un piccolo spoiler e riveliamo da subito che abbiamo usato E per indicare un Event (evento) e H per un'ipotesi (Hypothesis), perchè questo aiuta a vedere la formula in modo più "discorsivo", senza nulla togliere alla parte formale. Abbiamo scritto che il teorema afferma questo:

P(H|E) = P(H) • P(E|H) / P(E)

in cui:

P(H) è la probabilità a priori dell'ipotesi H, ossia la probabilità che H sia vera;
è la probabilità a priori dell'evento E, ossia la probabilità che E si verifichi;
P(H|E) rappresenta la probabilità a posteriori che E si verifichi dopo che l'ipotesi H è verificata;
P(E|H) rappresenta la probabilità a posteriori che H sia vera dopo che l'evento E è avvenuto.

Quello che succede in altri termini è che ricorriamo alla formula di Bayes qualora abbiamo un'ipotesi (H) e un'evidenza o una descrizione E, e vogliamo calcolare la probabilità che l'ipotesi H sia vera data la descrizione o evidenza E, per l'appunto P(H|E). La cosa che afferma il teorema è che quest'ultima è legata alla probabilità P(E|H), dove i due termini sono invertiti, moltiplicato per la probabilità a priori dell'ipotesi, diviso la probabilità dell'evento E. Si usa spesso l'esempio della diagnosi medica, a riguardo: se volessimo calcolare la probabilità di essere malato ed aver contratto un certo virus, nell'ipotesi di essere risultato positivo ad un test (ad esempio un tampone specifico), tale probabilità sarà P(H|E), ovvero probabilità di essere malato (H) nel caso in cui sia risultato positivo al test (E). P(H) entra in gioco nel calcolo come probabilità di essere malato a priori, mentre P(E|H) rappresenterà la probabilità di essere positivo al test nel caso in cui si sia effettivamente malati, con P(E) che rappresenta la probabilità di essere malato a priori. P(E) in genere viene scomposto nelle due componenti positive e negative, per inciso, e questo vale per qualsiasi calcolo andiamo a fare (dato che stiamo lavorando in uno spazio o universo [0,1]):

P(E) = P(E|H) • P(H) + P(E|¬H) • P(¬H)

Molto dipende da P(H), che spesso nella pratica è solo una stima o alla meglio un rapporto di frequenza (frequenza o incidenza effettiva della malattia), ma se questa è molto bassa (ad esempio 0.001) a quel punto condiziona la probabilità di essere effettivamente malati in presenza di positività al test.

Cos'è un filtro bayesiano (per rilevare lo spam)

Nella pratica informatica i cosiddetti filtri bayesiani, noti anche come filtri di spam bayesiani / classificatori bayesiani, sono algoritmi utilizzati per classificare automaticamente i messaggi in base alla probabilità di essere spam o non spam. Funzionano utilizzando il teorema di Bayes al fine di calcolare le probabilità condizionate dei messaggi in base alle parole o ai segni distintivi contenuti negli stessi. Un filtro bayesiano utilizza implicitamente il teorema di Bayes per calcolare la probabilità che un messaggio sia spam o ham in base alle parole o ai segni distintivi contenuti nel messaggio e all'addestramento precedente con dati conosciuti. Il filtro bayesiano lavora in genere su questo schema, dove spam è un messaggio "cattivo" e ham uno "buono":

Training:
- Raccogli un set di dati di addestramento contenente messaggi contrassegnati come spam (S) e non spam (H).
- Calcola la frequenza delle parole (o dei segni distintivi) in ciascuna categoria.
Probabilità:
- Calcola la probabilità di trovare una parola o un segno distintivo in un messaggio di spam (P(Parola|S)) e in un messaggio di ham (P(Parola|H)) utilizzando la frequenza.
Classificazione:
- Quando arriva un nuovo messaggio con parole (o segni distintivi), calcola la probabilità condizionata per ciascuna parola o segno distintivo nel messaggio.
- Utilizza il teorema di Bayes per calcolare la probabilità che il messaggio sia spam (P(S|Messaggio)) o ham (P(H|Messaggio)).
Decisione:
- Somma le probabilità calcolate per le parole (o segni distintivi) nel messaggio: P(S|Messaggio) = P(S) * P(Parola1|S) * P(Parola2|S) * ... * P(Parolan|S) e lo stesso per P(H|Messaggio).
- Confronta le probabilità calcolate e classifica il messaggio come spam se P(S|Messaggio) > P(H|Messaggio), altrimenti come ham.
Raffinamento:
- Il filtro può essere periodicamente addestrato con nuovi dati per migliorare la sua accuratezza e adattarsi a nuovi schemi di spam o ham, modificando di conseguenza le percentuali nello spazio di probabilità.

teorema di Bayes for dummies

Come è scritta la formula del teorema di Bayes (e perchè)

I termini della formula

Cos’è un filtro bayesiano (per rilevare lo spam)

👇 Da non perdere 👇

Ti sembra utile o interessante? Vota e fammelo sapere.

teorema di Bayes for dummies

Come è scritta la formula del teorema di Bayes (e perchè)

I termini della formula

Cos’è un filtro bayesiano (per rilevare lo spam)

👇 Da non perdere 👇

Ti sembra utile o interessante? Vota e fammelo sapere.

Leggi anche: