Il Meta Tag Robots ha la funzione di fornire agli spider dei motori di ricerca specifiche direttive sul modo in cui deve essere trattata una pagina.
Analogamente agli altri Meta Tag è collocato all’interno della sezione <head> del codice sorgente della pagina e la sintassi corretta è la seguente:
Nel contenuto del Meta Tag Robots possono essere inserite le seguenti direttive (opportunamente separate da una virgola), a seconda di cosa si desidera comunicare allo spider dei motori di ricerca:
L’attributo rel=”canonical” è un elemento che può essere utilizzato per permettere ai motori di identificare la versione canonica di un URL, per evitare che insorgano problemi legati alla presenza di contenuti duplicati nel sito.
L’attributo rel=”canonical” deve essere posto all’interno della sezione <head> di tutte le versioni non canoniche della pagina di riferimento e la sintassi corretta è la seguente:
A titolo esemplificativo, si consideri il caso di un sito di ecommerce in cui il CMS genera le seguenti pagine “duplicate” a seguito dell’interazione dell’utente con il sito: http://www.ecommerce.com/products.php, http://www.ecommerce.com/products.php?order=date, http://www.ecommerce.com/products.php?order=name, ecc. Implementando l’attributo rel=”canonical” in corrispondenza di tutte le versioni non canoniche della pagina di riferimento (http://www.ecommerce.com/products.php?order=date, http://www.ecommerce.com/products.php?order=name, ecc.), è possibile segnalare al motore di ricerca qual’è l’effettiva pagina “canonica” da indicizzare (http://www.ecommerce.com/products.php, nel nostro caso).
L’attributo rel=”canonical” può essere utilizzato per identificare la pagina canonica solo in presenza di contenuti identici (o molto simili) nella serie di pagine di riferimento. E’ possibile utilizzare l’attributo rel=”canonical” sia con link relativi, sia con link assoluti, benché quest’ultima soluzione sia preferibile per i motori di ricerca. Il rel=”canonical” non è una direttiva ma solo un suggerimento, benché preso in seria considerazione dai motori.
Gli attributi rel=”next” e rel=”prev” sono elementi utilizzati per per indicare il rapporto tra componenti differenti distribuiti su più pagine, per la paginazione dei risultati in una serie ordinata di contenuti.
Analogamente a quanto visto nel caso del rel=”canonical”, gli attributi rel=”next” e rel=”prev” hanno l’obiettivo di agevolare il motore di ricerca nell’individuazione delle pagine/URL più rilevanti del sito ed evitare l’emergere di potenziali problemi in presenza di contenuto duplicato.