Come usare correttamente i meta-tag ROBOTS su un sito web

Aggiornato il: 20-09-2022 15:38
Il meta tag ROBOTS è uno dei più usati per la SEO: ma sei sicuro di sapere esattamente a cosa serve?

Partiamo dall’inizio, a questo punto, e cerchiamo di capire bene in cosa cosnsitono questi meta tag.

Come è fatto un meta tag robots in HTML?

Attenzione: meta tag robots è DIVERSO dal ROBOTS.TXT di cui parliamo qui.

Il meta tag ROBOTS presenta tipicamente un duplice attributo name e description, ed è un tag delle pagine utilizzabile per definire le politiche di indicizzazione delle stesse.

Ad esempio posso scrivere

Cerchi un servizio di SMS pubblicitari? Prova SMSHosting ! PROMO per uno sconto sul primo acquisto: PRT96919
<META NAME="ROBOTS" CONTENT="...">

dove il NAME deve essere ROBOTS ed il CONTENT può prevedere uno o più attributi separati da virgola.

Il meta tag con l’attributo NAME, in altri termini, dovrebbe essere incluso nella sezione HEAD della pagina, e valorizzato a seconda dei casi al fine di specificare cosa dovrà  fare il motore di ricerca al momento della scansione.

Perchè non fare indicizzare una pagina (e metterci meta tag robots noindex)?

Uno dei motivi per cui si evita che una pagina sia indicizzata, ad esempio, può riguardare contenuti non rilevanti del sito (o, ad esempio, potenzialmente duplicati o relativi a sezioni “dubbie”), oppure siti in fase di test che non si desidera archiviare in Google, ma possono esistere molte altre situazioni intermedie in cui è opportuno farlo. Ovviamente, nel cambiare questo tag, dovremo fare attenzione a garantire che le pagine o i link importanti non siano inavvertitamente escluse/i da Google.

È possibile, in altri termini, utilizzare questo tag per specificare se la pagina dovrà  essere indicizzata o meno, ma anche (ad esempio) se i link contenuti in essa dovranno essere indicizzati o meno. A monte di tutto, pero’, perchè questo attributo abbia senso, la pagina non deve essere bloccata dalle direttive del robots.txt.

Nello specifico il “NAME” dell’attributo deve essere uguale a “ROBOTS”, mentre il campo “CONTENT” può assumere uno dei seguenti valori: “INDEX“, “NOINDEX“, “FOLLOW“, “NOFOLLOW“. I valori possono essere sia singoli che multipli, a patto che siano separati da virgola, ovviamente in modo da definire qualcosa di sensato.

Se desideri evitare che una pagina compaia nei risultati della Ricerca Google, quindi, dovrai inserire un meta tag ROBOTS con attributo  NOINDEX nel markup HTML della pagina.

Il meta tag robots NON SERVE A RIMUOVERE O DEINDICIZZARE PAGINE

In breve: è una pre-condizione per eliminare un contenuto di una pagina web, una delle possibili, ma non è l’unica ed è necessaria, NON sufficente, per la rimozione, che in genere fa fatta sempre e comunque a mano via Search Console.

Se la pagina non è ancora presente in Google, cosଠfacendo, non lo sarà  neanche in futuro; se invece lo è, può essere opportuno attendere il passaggio del crawler oppure “forzare” il passaggio mediante gli appositi strumenti della Search Console (o analoghi tool degli altri motori, se disponibili). L’effetto del meta tag in questione sarà  effettivo solo al successivo passaggio del crawler di Google.

Ti potrebbe interessare:  Errore 403 HTTP Forbidden sul tuo sito: come risolverlo e da cosa dipende

Eventuali backlink ad una pagina con attributo NOINDEX, di fatto, saranno irrilevanti per l’indicizzazione della stessa.

Quali sono le principali quattro configurazioni del meta tag robots?

A livello pratico, dunque, potremmo avere qualcosa quattro possibili opzioni di base:

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">

che nella pagina web, nel caso tre, verranno concretizzati in questi termini:

<html>
<head>
<title>...</title>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
</head>

Il significato è subito detto: usare il primo tag con NOINDEX, FOLLOW indica a Google/Bing di non indicizzare la pagina corrente, ma di seguire i link contenuti in essa; il secondo INDEX, NOFOLLOW indica invece di indicizzare il contenuto e di ignorare i link; il terzo esclude sia pagina che link dal motore mentre il quarto non mette vincoli di alcun tipo nè al contenuto pagina nè ai link. Se non viene inserito alcun tag ROBOTS, per inciso, si assume che il valore dei meta tag sia “INDEX,FOLLOW“.

La modifica di questi valori deve essere effettuata via modifica del theme o template, in modo coerente col funzionamento del vostro CMS: in WordPress (ma anche in altri ambienti, in effetti), ci sono numerosi plugin che permettono di controllare facilmente questi attributi, come SEO Yoast e SEO Ultimate.

(fonti: www.robotstxt.org/meta.html, support.google.com/webmasters/answer/93710?vid=1-635783378613794450-2566149819)



Questo blog pubblica contenuti ed offre servizi free da 11 anni. – Leggi un altro articolo a caso – Per informazioni contattaci
5/5 (35)

Ti sembra utile o interessante? Vota e fammelo sapere.

Come usare correttamente i meta-tag ROBOTS su un sito web
2018 06 29 22 07 36 1200x800 700x467 1
Torna su