Il ruolo del file robots.txt in Wordpress: a cosa serve ed errori comuni
Gestire un sito WordPress può essere una bella faticaccia, vero?
Se vuoi ottenere dei buoni risultati, devi tenere sotto controllo tantissimi fattori, e a volte può essere davvero difficile stare dietro a tutto: acquisto di un servizio di hosting WordPress, scelta di un buon tema, selezione dei migliori plugin ecc.
Se ti stai chiedendo di cosa si tratta e a cosa serve, nel seguente articolo troverai tutte le informazioni di cui hai bisogno.
Leggi anche: Come rimediare all'errore SSL su WordPress
Cos'è il robots.txt e a cosa serve?
Per spiegarti cosa sia questo file, devo chiarirti cosa si intende, in questo caso, con la parola robot.
Non stiamo parlando di C1P8, né degli androidi di Blade Runner: questo termine indica quelli che vengono chiamati comunemente 'bot', ad esempio gli spider, dei programmini utilizzati dai motori di ricerca (come Google) per scansionare le pagine web e raccogliere dati per la loro indicizzazione.
Se vuoi saperne di più su questi software, ti invitiamo a leggere il nostro articolo dedicato all'indicizzazione su WordPress.
Tornando a noi, gli spider svolgono un servizio molto utile per il tuo sito, perché contribuiscono ad aumentarne la visibilità. Tuttavia, ci sono delle situazioni nelle quali tu potresti preferire che i bot non siano liberi di gironzolare sulle tue pagine, ad esempio quando non vuoi che determinati contenuti vengano indicizzati.
Ecco, il robots.txt non è altro che un file di testo che puoi creare e caricare su WordPress per influenzare il modo in cui gli spider interagiscono con il tuo sito.
Nota che ho deciso di utilizzare la parola 'influenzare', e non 'controllare'. Ho scelto questo termine per sottolineare il fatto che alcuni software (compreso Googlebot, lo spider di Big G) possono ignorare alcune delle istruzioni che hai indicato su robots.txt.
In altre parole, non puoi costringere i bot a ubbidirti in tutto e per tutto.
Ti faccio un rapido esempio: su robots.txt puoi inserire una regola per evitare che una o più pagine (persino l'intero sito) vengano scansionate e, di conseguenza, indicizzate. Così facendo, quando lo spider arriva sul tuo portale, legge la tua richiesta e si tiene alla larga dai contenuti che hai indicato.
Tuttavia, le pagine che hai inserito sul file robots.txt potrebbero essere ugualmente indicizzate se il bot trova un link esterno che punta verso di loro durante i suoi viaggi sul web.
3 errori comuni legati al file robots.txt e come risolverli
Se vuoi saperne di più su come creare un file robots.txt, su questo articolo troverai diverse informazioni interessanti.
In questo post, invece, ci dedicheremo a illustrarti 3 degli errori più comuni nella gestione di questo strumento.
Robots.txt non è nella cartella principale
Se vuoi che i bot recepiscano le tue istruzioni, naturalmente devono avere la possibilità di trovarle e leggerle, giusto?
Bene, devi sapere che gli spider cercano il file robots.txt solo nella cartella principale del tuo sito. Mi spiego meglio: ogni portale web è fisicamente ospitato in un server di hosting, e tutti i file che lo compongono sono contenuti in una directory che ha lo stesso nome del tuo dominio.
Ad esempio, se il tuo sito è pincopallo.it, la cartella principale si chiamerà (hai indovinato!) pincopallo.it.
Tornando a noi, se i bot non trovano il robots.txt all'interno di questa directory, non lo cercheranno da nessun'altra parte e se ne infischieranno totalmente delle tue indicazioni.
Per risolvere questo problema, la soluzione è semplice: basta spostare il file nella cartella principale e il gioco è fatto.
Non hai inserito l'URL della sitemap sul file robots.txt
All'interno del file robots.txt puoi indicare un'importante informazione per gli spider: l'URL della sitemap, ovvero della mappa del tuo sito, così da farla trovare immediatamente dal bot.
In questo modo, le tue pagine verranno scansionate e indicizzate molto rapidamente, un bel vantaggio per la SEO del tuo progetto web!
Nota bene: l'assenza dell'URL della sitemap all'interno del file robots.txt non è un errore in senso stretto e non costituisce un rischio particolarmente elevato per il posizionamento del tuo sito.
Tuttavia, quando stai cercando di scalare il ranking, è importante 'spremere il motore' del tuo sito web fino all'ultima goccia, e anche un fattore secondario come la sitemap può fare la differenza tra il successo e il fallimento: ecco perché ti consiglio di inserirla sempre all'interno di robots.txt.
Leggi anche: Aprire un sito su WordPress: ecco i prezzi
Stai ancora sviluppando il tuo sito, ma non hai bloccato l'accesso ai bot
Quando stai ancora sviluppando le tue pagine, non dovresti permettere agli spider di scansionarle e indicizzarle. Pensa alla cattiva impressione che il tuo sito potrebbe dare agli utenti che lo visitano quando è ancora in fase di 'lavori in corso': sarebbe come se un albergatore accettasse degli ospiti mentre le stanze del suo hotel sono in ristrutturazione.
Finché il tuo sito non è totalmente operativo, dovresti bloccare l'accesso ai bot inserendo le relative istruzioni all'interno di robots.txt.
Naturalmente, una volta che il tuo portale è pronto per essere aperto al pubblico, devi ricordarti di modificare questo file in modo da permettere che le pagine possano essere scansionate e indicizzate correttamente.
In conclusione
Abbiamo spiegato cos'è il robot.txt, a cosa serve e quali sono i 3 errori più comuni nella gestione di questo file. Questo strumento può aiutare nell'ottimizzazione del proprio sito WordPress, e chi tiene davvero al ranking non dovrebbe mai trascurarlo.
Tuttavia, tieni a mente che c'è un fattore che influisce ancora di più sulla SEO: è l'hosting.
Vuoi migliorare il posizionamento del tuo sito e scalare la SERP? Scegli Topweb Plus, l'hosting WordPress con il migliore rapporto qualità/prezzo sul mercato.
Pubblicato: | Aggiornamento: