Vous avez créé un nouveau site web pour présenter votre activité il y a quelques mois et… Oh stupeur, en regardant ses statistiques, vous vous apercevez qu’il n’y a pas ou peu de visiteurs. Vous avez pourtant parlé de votre site Internet à votre réseau de connaissances, vous avez mis le lien sur vos cartes de visite, puis l’avez partagé sur Facebook… mais c’est un flop !
Pire : vous ne trouvez pas votre site web lors de votre recherche sur Google, en tapant le mot-clé principal qui caractérise votre activité…
Ce qu’on ne vous a pas dit ? Rendre visible un site web sur le moteur de recherche Google demande du temps, du travail et du suivi !
Mais commençons par le début : l’indexation !
Votre site web est-il indexé par Google ?
Pour que votre site apparaisse lors d’une recherche sur Google, il faut que ses pages soient explorées puis indexées, autrement dit référencées, par le moteur de recherche.
L’exploration est le processus de recherche de nouvelles pages ou de pages mises à jour, par le robot Google. On appelle ce robot d’exploration un spider, crawler ou encore Googlebot.
“Indexer” signifie que Google, après l’exploration de vos pages (urls), les ajoutent à son index. Les urls font ensuite l’objet d’un classement dans l’index et sont proposées lors d’une recherche d’un internaute dans les pages de résultats de recherche.
Comment vérifier si toutes vos pages sont indexées
1. La méthode rapide pour checker son indexation, mais pas fiable à 100%
Afin de vérifier les pages indexées par Google dans le moteur de recherche, vous pouvez utiliser la commande suivante directement dans la barre de navigation de Google :
site://votre-nom-de-domaine.fr (sans https et le www)
Google va alors vous indiquer toutes les urls indexées de ce nom de domaine. Vous pouvez aussi essayer avec une url exacte.
Cette méthode permet d’avoir une vue d’ensemble de l’indexation d’un site web. Mais elle n’est pas précise ni fiable à 100% !
C’est pourquoi je vous recommande la méthode n°2 avec Google Search Console.
2. La méthode fiable pour connaître votre état d'indexation
Pour avoir un rapport d’indexation de votre site web, il faut ouvrir un compte Google Search Console. Pour cela, suivez les pages d’aide de Google. Une fois ce compte ouvert, vous aurez accès à la rubrique “Index”. Cliquez sur “Pages” et voyez quelles sont vos pages indexées et non indexées. Les pages en vert sont les pages indexées par le moteur de recherche.
Quant aux pages en gris, elles ne sont actuellement pas indexées et donc non visibles par un internaute ne disposant pas du lien url direct. Ces pages ne sont tout simplement pas visibles dans les pages de résultat de Google.
Je vous préviens : c’est ici que l’on a généralement des surprises !
Les différentes raisons pour lesquelles vos pages ne sont pas indexées
Pour chaque page/url non indexée, vous pouvez inspecter la raison de cette non-indexation. Les raisons peuvent être techniques :
– paramétrage erroné du fichier robots.txt
– directive noindex sur vos pages (paramétrages dans le code de votre site web empêchant l’indexation)
– site comportant des erreurs de sécurité
– hébergement non stable
Si vous n’êtes pas à l’aise avec ces problématiques techniques, parlez-en à votre webmaster.
Si c’est tout votre site qui n’est pas référencé, c’est un problème technique ou un oubli de la part de votre webmaster (oui, cela arrive, true story !). Par exemple, sur les sites WordPress, il existe une case à décocher lors de la publication de la version finale du site. La case “Demander aux moteurs de recherche de ne pas indexer ce site” se trouve dans la rubrique Réglages / Lecture et doit être décochée.
Si la cause n’est pas technique et que tout va bien sur vos pages, les principales raisons empêchant l’indexation sont généralement :
- page introuvable (erreur 404) : le lien url comporte une page vide, souvent lié au fait que vous avez modifié l’url d’une page sans faire de redirection
- page avec redirection (code 301) : il y a une redirection sur le lien
- Page en double sans URL canonique sélectionnée par l’utilisateur
- Détectée mais non explorée
- Explorée mais non indexée
Page détectée ou explorée mais non indexée : ça veut dire quoi ?
Il est probable que, dans la liste des pages non indexées par Google, vous trouviez ces raisons :
- Explorée, actuellement non indexée :
Le robot de Google a exploré la page, mais elle n’a pas été enregistrée dans l’index. Elle sera peut-être indexée à l’avenir ; il n’est pas nécessaire de renvoyer cette URL pour l’exploration.
- Détectée, actuellement non indexée :
La page/url a été détectée par Google, mais n’a pas encore été explorée. En règle générale, cela signifie que Google voulait explorer l’URL, mais que l’exploration a été reportée, car votre site risquait d’être surchargé. C’est pourquoi la dernière date d’exploration ne figure pas dans le rapport.
Ces deux cas ne résultent d’aucun paramétrage ou problème technique particulier. Google n’a juste pas indexé vos pages pour des raisons inhérentes à son fonctionnement…
Pourquoi ? Soucieux de son empreinte carbone et de son impact en termes de consommation numérique, Google économise actuellement son budget “crawling” (exploration du web). Le Googlebot peut détecter ou commencer à explorer votre page et décider de ne pas la mettre dans son index… Donc, de ne pas référencer une partie de votre site web !
En effet, indexer une page web demande aux robots de Google de repasser régulièrement dessus pour mettre ses infos à jour. Et sur la toile, début 2022, il existait plus de 1.9 milliards de sites web. Alors, vous vous imaginez qu’il faut bien rationnaliser l’exploration de toutes ces pages…!
J’ai des pages non indexées mais pas de problèmes techniques, comment faire pour les soumettre à Google ?
Si vous êtes dans ce cas, plusieurs solutions rapides s’offrent à vous :
Il est possible de demander au robot Google de passer sur une url pour la référencer.
Pour cela, entrez votre url dans la barre de recherche en haut de l’interface Google Search Console pour l’inspecter en détail. Vous pouvez aussi cliquer sur la loupe à côté de l’url qui n’est pas détectée ni explorée, dans votre listing d’urls.
Cliquez ensuite sur demander une indexation.
Cette action mettra votre url en liste d’attente pour le robot d’indexation Google.
Cependant, rien ne peut vous assurer que l’url soit indexée rapidement par Google, ni même indexée tout court…
Cette action est possible via la soumission d’un sitemap à Google, dans la rubrique “Sitemap” de la Google Search Console.
Si vous avez créé votre site web sur le CMS WordPress, un sitemap est automatiquement généré. Toutefois, pour le transmettre à Google via la Google Search Console, il est plus simple de créer soi-même un fichier sitemap à partir de sites web dédiés, d’extensions SEO comme Yoast SEO ou de plugins spécialisés comme Sitemap plugin sur WordPress.
Pour savoir comment créer votre sitemap, je vous conseille cet article.
Une fois le sitemap créé, copiez-collez son url dans la rubrique dédiée de la Google Search Console, en-dessous de “ajouter un sitemap”.
Mais attention, cela ne garantira toujours pas que toutes vos pages soient indexées…
Pourquoi Google ne veut toujours pas indexer mes pages ?
Plusieurs raisons peuvent être soulevées, voici les plus plausibles pour un site récent :
- Le contenu de la page est trop court et/ou pas assez pertinent (faible qualité)
- Le site web, de manière globale, comporte trop de contenus de faible qualité
- Le site web est récent et/ou a une faible popularité
- Le maillage interne est insuffisant pour donner de la popularité à la page
- Le site web contient du contenu interne dupliqué
- Le site web contient trop de pages inutiles mais indexées qui “consomment” le budget de crawl alloué à votre site web par Google
Dans ces cas-là, il va falloir travailler votre référencement naturel ! Comment ?
Lisez la suite…
Comment remédier à ces problèmes d’indexation qui persistent ?
Face à ces problématiques, il existe différentes méthodes pour arriver à surpasser ces problèmes d’indexation.
On peut déjà se baser ce qu’en dit Google dans sa checklist de base pour figurer dans la recherche Google :
Et en déduire plusieurs méthodes pour indexer les urls par un Google Bot « récalcitrant » :
1. Répondre aux dernières exigences de Google pour la qualité du site web de manière générale
Avant toutes choses, il apparait en filigrane que l’indexation des urls d’un site web est liée à l’intérêt que représente le site web pour les internautes : qualité du contenu, qualité technique, popularité.
L’augmentation des contenus générés par l’IA (Intelligence Artificielle) viendra renforcer l’importance de « trier » les urls par Google dans les prochaines années.
Et donc l’obligation pour les sites de web de montrer patte blanche en répondant aux nouvelles exigences de l’algorithme : contenus de qualité, critères E-E-A-T (Expérience, Expertise, Autorité, Confiance)…
2. Trier et améliorer son contenu
- Le tri entre les urls utiles et les urls inutiles ou obsolète
Les problèmes d’indexation sont liés principalement à une diminution des ressources allouées au crawl (exploration des sites web) de la part de Google. Donc, si le site web comporte de nombreuses pages inutiles qui « mangent » le budget d’exploration, les robots n’iront pas sur d’autres pages parfois plus intéressantes.
Un tri s’impose dans les pages indexées et celles qui ne devraient pas l’être. - La création d’un contenu de qualité
Si le site web contient des textes courts et basiques, nul doute que Google identifiera ce contenu comme de faible qualité et ne prendra pas la peine d’indexer les autres pages du même calibre. Structurez, étoffez et personnalisez vos textes. - La mise à jour régulière du contenu
Un site web laissé à l’abandon dans la mise à jour de son contenu n’intéressera pas les robots d’exploration. Plus un site web est mis à jour régulièrement, plus les robots viennent l’explorer. Qui dit peu d’exploration, dit moins de chances d’indexation ! Les contenus sont donc à mettre à jour régulièrement : 5% du contenu suffit pour qu’il soit jugé modifié par Google. - L’optimisation du maillage interne
Le but est de faciliter l’exploration des robots. Misez sur le maillage interne, à partir de la page d’accueil, des pages principales du site web ou des articles de blog liés vers les pages concernées. Les liens dans le menu ne suffisent pas, ceux-ci doivent être intégrés dans le contenu (via des liens html notamment).
3. Améliorer sa popularité, amener du trafic sur les pages
Envoyer du trafic sur une page web via un outil de communication comme les réseaux sociaux ou une newsletter va permettre d’envoyer du trafic sur la page, de favoriser les partages et donc la popularité de la page. De nouveaux liens externes peuvent même être créés vers la page, ce qui rejoint la technique des backlinks pour indexer une page.
Google cite quand même en premier la création de liens vers un site web, dans ses recommandations vues plus haut, d’où son importance.
4. Les outils indexeurs : dernier recours ?
Outre la Google Search Console qui permet de soumettre le sitemap et de demander l’indexation de certaines urls seules, il existe des outils payants d’aide à l’indexation, nommés « indexeurs ».
Citons Indexmenow ou indexation.fr. Avec ces outils, on achète l’indexation des urls.
Mais comme dans beaucoup de cas, cette solution palliative ne peut être utilisée en premier lieu, sous peine de ne pas résoudre à la base les vrais problèmes d’indexation du site web.
En résumé...
Armez-vous de patience… Travaillez sur votre site web : contenu, popularité.
Proposez de la qualité à Google et faites VIVRE votre site web !