Come risolvere Risorse bloccate nel GWT

E adesso un articolo su google e le risorse bloccate. Come sicuramente vi sarete accorti leggendo nel GWT o Google Web Master  del vostro account, i signori di Google ne hanno introdotta una nuova e in base a questa se non la rispettate sarete penalizzati, almeno questa insomma è sempre la solita solfa che google utilizza.  Ma vediamo un attimo di che si tratta incominciamo con gli antipodi, fino a questo anno era uso dei Webmaster scrivere dei robots.txt del genere. Tipico del Worpdress

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /trackback
Disallow: */trackback
Disallow: /Directoty
Disallow: /Directory1
Disallow: /*?utm_source


# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense 
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.tuosito.ext/sitemap.xml.gz

Quali sono le risorse bloccate di GWT

Che in pratica bloccava l’accesso ai crawler delle tre principali cartelle di wordpress wp-admin , wp-content, wp-includes, dove rispettivamente sono contenuti dati dell’amministrazione, dati del content ossia fra gli altri i vostri temi, e gli includes ossia file js che siano javascript o jquery o altro. Poi erano presenti i disallow *?utm_source voluti da google analitycs per monitorare gli accessi al vostro sito da parte di collegamenti provenienti principalmente dai social, ma odiati da Google Web Master che li segnalava come duplicati, e utilizzati anche in alcune pratiche Negative Seo e quindi si preferiva usare il Disallow e utilizzare dei plugin per google analytics, cgi-bin sta invece ad indicare se nel vostro sito avete dei file di tipo Perl tipicamente script. Poi potete vedere tutta una sequela di disallow relativi alle immagini e script adsense che sono obsoleti e quindi andrebbero tolti a prescindere.

Il nuovo robots.txt per evitare le risorse bloccate di Google

Vi posso garantire che il robots.txt che vedete sopra che con le nuove “idee” di Google risulta eccessivo, prima era quasi minimale. Ma cosa è accaduto questo anno. Beh anche in Italia è arrivato quello che già da qualche anno si sapeva più o meno fra le righe anche in America già da due anni. Ossia con l’avvento dei Tablet , smarthpone etc. Google ha deciso di vederci chiaro, e con questa dicitura si intende chiaramente, ossia Google vuole vedere con il suo crawl quello che vede un visitatore quando si collega alla vostra pagina, quando questo non accade si arrabbia e se andate nelle risorse bloccate del vostro GWT ve lo segnala e se non correte ai ripari vi penalizza. Un primo accenno di quello che vi sto dicendo ce lo potete avere andando su Google Page Speed dove il buon Google si prende anche la briga di dirvi se siete nel caso che la vostra pagina non è visibile correttamente. Dicitura che può significare tante cose , ma probabilmente significa che siete incorsi nei casi di cui sopra. Questa volta ve la cavate veramente con poco. Infatti la soluzione di questo caso è veramente facilissima, basterà rendere davvero minimale il vostro robots.txt e il tutto sarà risolto. Quindi il nuovo che vi consigliamo è questo.

User-agent: *
Disallow: /wp-admin/

Il Crawl di Google sarà a conoscenza di tutti i vostri cavoli e vi segnalerà che le risorse bloccate saranno diventate pochissime, non si arrabbierà e non vi penalizzerà.

Come avrete capito in questo articolo vi abbiamo spiegato cosa di fatto è la causa del problema, ma dovrete verificare caso per caso e per vedere se avete fatto la cosa giusta verificare con il Tester per Robots txt che trovate nel vostro GWT

e dopo verificate l’url

se a google GWT sta bene i cambiamenti che avete fatto vi scriverà consentito con una scritta in background verde.

Risorse Bloccate e Jet Pack

Se siete dei webmaster seri, sicuramente avrete consigliato dei plugins piuttosto che altri , uno fra i quali molto usato e molto ben realizzato e Jet Pack che come dice il nome offre tutta una serie di pacchetti che vi permetteranno fra le altre cose di leggere le statistiche del vostro sito, ma che Jet Pack blocca nel suo robots.txt e che saranno disponibili solo a voi, GWT si arrabbia perchè vorrebbe sapere ma non ci potete fare nulla voi, perchè il crawl non è bloccato nel vostro sito , ma solamente in quello di destinazione.