Le sitemap, à quoi ça sert ?

Introduction du cours

Exister pour un moteur de recherche, ça veut dire être indexé dans sa base de données. Le sitemap est une technique qui facilite le travail d'indexation des moteurs de recherche. Cette technique est approuvée officiellement par les moteurs de recherche majeurs : Google, Yahoo, MSN et Ask. Le fichier sitemap permet à un webmaster d'indiquer aux moteurs de recherche comment indexer son site web. L'indexation de son site web est donc, en général, plus conforme à ses attentes.

Le sitemap, quésaco ?Les crawlers

Un crawler est un robot (aussi appelé bot ou spider) qui parcourt le web et récupère automatiquement les pages web visitées. Les moteurs de recherche ont des crawlers qui se chargent du travail d'indexation. Le crawler de Google s'appelle GoogleBot alors que celui de Yahoo s'appelle Yahoo Slurp.

À chaque fois qu'un crawler visite une page web, il en fait l'analyse, en extrait les liens vers d'autres pages web et les indexe dans sa base de données. Quelques temps plus tard, il visite les pages nouvellement indexées et réitère l'opération.

C'est ce qu'on pourrait appeler l'indexation naturelle. Il est néanmoins possible de devancer ce processus, à l'aide du protocole sitemaps.

Le protocole sitemaps

En novembre 2006, Google, Yahoo et Microsoft Live Search se sont mis d'accord pour supporter le protocole sitemaps (avec un s). Le protocole sitemaps est un standard qui peut vous aider à soumettre l'ensemble de vos pages web aux moteurs de recherche.

Ask.com a récemment rejoint Google, Yahoo et Microsoft. Désormais les 4 principaux moteurs de recherche supportent le protocole sitemaps.

Le fichier sitemap

Le protocole sitemaps s'implémente côté webmaster sous la forme d'un fichier sitemap.

Les fichiers sitemap représentent un moyen facile pour les webmasters d'informer les moteurs de recherche sur les pages de leurs sites web prêtes à être crawlées. C'est un format XML qui facilite la création d'un fichier sitemap compréhensible par tous les moteurs de recherche.

Les moteurs de recherche peuvent désormais détecter automatiquement votre fichier sitemap, nous verrons cela plus loin.

Le fichier sitemap en détailLe sitemap, ça ressemble à quoi ?

Dans sa forme la plus simple, un sitemap est un fichier XML qui liste les URL d'un site web avec en plus quelques meta-données (ce n'est pas un gros mot :p ) renseignant chaque URL :

• la date de sa dernière mise à jour ;

• selon quelle fréquence change l'URL ;

• son importance relativement aux autres URL du site.

Ces informations aident les moteurs de recherche à crawler votre site web intelligemment.

Ce qui donne dans votre fichier XML sitemap.xml :

<?xml version='1.0' encoding='UTF-8' ?> <urlset xmlns="http://www.google.com/schemas/sitemap/0.84"> <url> <loc>http://www.mon-site-web.com</loc> <lastmod>2007-06-03</lastmod> <changefreq>weekly</changefreq> <priority>1.0</priority> </url> <url> <loc>http://www.mon-site-web.com/une-page-web.html</loc> <lastmod>2007-05-15</lastmod> <changefreq>monthly</changefreq> <priority>0.1</priority> </url> <url> <loc>http://www.mon-site-web.com/une-autre-page-web.html</loc> <lastmod>2007-06-06</lastmod> <changefreq>daily</changefreq> <priority>0.1</priority> </url> ... </urlset>

Toutes ces informations sont-elles vraiment indispensables ? :(

Non :-° . En fait, comme nous le verrons par la suite, la plupart des balises sont optionnelles.

Les différentes balises de votre fichier sitemap

Nous allons maintenant passer au crible toutes les balises du standard XML sitemap.

Tag

Statut

Explication

urlset

obligatoire

Le tag urlset précise la version du standard XML sitemap utilisée. La valeur renvoie à une URL qui décrit le format utilisé dans le fichier courant. Dans la mesure où le standard peut évoluer, ce tag permet de faire cohabiter des anciennes versions du standard avec la dernière sans que cela ne pose problème. Il est donc inutile de mettre à jour son fichier sitemap lorsque le standard évolue (ça tombe bien, les webmasters ne sont pas particulièrement courageux :) ), à moins de vouloir profiter des nouvelles fonctionnalités que celui-ci propose.

url

obligatoire

Le tag url regroupe l'ensemble des informations concernant une unique URL ou page web. Il en faut donc un par URL ou page web décrite dans le fichier sitemap (sitemap.xml).

loc

obligatoire

<loc><a href="http://www.mon-site-web.com"><a href="http://www.mon-site-web.com">http://www.mon-site-web.com</a></a></loc>
Le tag loc précise l'URL courante, ici http://www.mon-site-web.com/.

lastmod

optionnel

<lastmod>2007-06-03</lastmod>
Le tag lastmod précise la date de dernière mise à jour de l'URL courante. Cette date doit nécessairement être au format AAAA-MM-JJ, ici 2007-06-03, soit le 3 juin 2007.

changefreq

optionnel

<changefreq>weekly</changefreq>
Le tag changefreq précise avec quelle fréquence change l'URL courante. Il peut prendre les valeurs always, hourly, dayly, weekly, monthly, yearly, never pour respectivement toujours (à chaque nouvel accés à l'URL courante), chaque heure, chaque jour, chaque semaine, chaque mois, chaque année, ou jamais (pour les URL archivées), ici weekly, soit chaque semaine.

priority

optionnel

<priority>1.0</priority>
Le tag priority précise l'importance de l'URL courante relativement aux autres URL du même site (priority = 0.1, 1.0, etc.). Sa valeur varie de 0.0 (priorité faible) à 1.0 (priorité forte). S'il est absent, alors la valeur par défaut est 0.5. Dans le cas présent, la valeur 1.0 indique une forte priorité.

Comment les moteurs de recherche trouvent mon fichier sitemap ?

Les 4 principaux moteurs de recherche Google, Yahoo, MSN Live Search et Ask vérifient régulièrement les fichiers robots.txt des sites web. L'ajout d'une ligne dans ce fichier suffit alors pour indexer votre fichier sitemap. Ce qui donne dans votre fichier robots.txt :

Sitemap: <lien url="http://www.mon-site-web.com/sitemap.xml">http://www.mon-site-web.com/sitemap.xml</lien>

Attention, le fichier robots.txt doit se trouver à la racine de votre site web.

Vous pouvez néanmoins devancer leurs visites en soumettant directement vos fichiers sitemap à Google, Yahoo et Ask. Pour Google et Yahoo, il vous faudra un compte. Alors que pour Ask, il suffit de pinger l'URL qui suit avec l'adresse de votre sitemap en paramètre http://submissions.ask.com/ping?sitema [...] n-sitemap.xml.

Les limites du sitemapComment le fichier sitemap aide votre site web ?

Habituellement, les crawlers du web découvrent les nouvelles pages web à partir de liens faits par d'autres sites web. Le fichier sitemap permet aux crawlers qui supportent ce protocole de collecter en une fois toutes ces informations ainsi que les meta-données associées.

Le fichier sitemap vous permet d'informer les moteurs de recherche à propos des pages de votre site web. Il est souvent plus facile pour les moteurs de recherche de trouver toutes vos pages web si vous utilisez un fichier sitemap.

Est-ce qu'un fichier sitemap est indispensable à un bon référencement ?

Non, de manière générale un site web bien construit n'a pas besoin d'un fichier sitemap. Utiliser le protocole sitemap ne garantit pas que vos pages web seront intégrées aux index des moteurs de recherche, mais cela facilite grandement et améliore la qualité du travail des crawlers.

Le fichier sitemap ne sert à rien, alors ?

Non, en plus de garantir une indexation optimale, il est souvent incontournable. Il répond à des problématiques particulières liées à l'emploi de technologies spécifiques (Flash, Javascript, etc.) ou encore aux sites web de plusieurs milliers de pages.

Sitemap et positionnement

Il faut bien prendre garde à ne pas confondre indexation et positionnement dans les résultats de recherche. Indexation veut dire présent dans la base de données des moteurs de recherche. Or, une page web ne peut en aucun cas sortir dans les résultats de recherche, si elle n'est pas indexée.

Est-ce qu'un fichier sitemap améliore mon positionnement dans les moteurs de recherche ?

Un sitemap aide les moteurs de recherche à trouver vos pages web mais ne vous aide pas à obtenir un meilleur positionnement dans les moteurs de recherche. Quand ceux-ci indexent vos pages, ils doivent trouver des pages au contenu optimisé et de bons backlinks. Les moteurs de recherche vous positionneront bien uniquement si vous avez les deux.

Le protocole sitemap peut vous aider à informer les moteurs de recherche à propos de vos pages web. Rappelez-vous : une indexation réussie est la première étape d'un référencement réussi.

Vous trouverez davantage d'informations à propos du nouveau standard sitemap sur le site web officiel du sitemap. Il peut également être intéressant de visiter la page sitemap de Google et la page indexation de Ask.

• #

Waouh !

Très heureux de voir que nos cours vous plaisent, déjà 3 pages lues aujourd'hui ! Vous pouvez continuer la lecture de nos cours en devenant un Roomie, un membre de la communauté d'OpenClassrooms. C'est gratuit !

Vous pourrez aussi suivre votre avancement dans le cours, faire les exercices et discuter avec les autres Roomies.

S'inscrire Se connecter

• Thématiques du cours : SEO Web

Chaque cours est créé par un professeur ou un expert dans le domaine. Il est composé d'une ou plusieurs parties et peut comporter du texte, des images (schéma, illustration) et des vidéos. Chaque partie d'un cours certifiant est ponctuée d'exercices de 2 types : Des quiz corrigés automatiquement Des devoirs libres (exemple : créer un site web avec des consignes précises). Ces devoirs sont évalués par les pairs. Chaque devoir est corrigé 3 fois par 3 autres élèves, dans un processus en double aveugle, selon un barème fixé par le professeur. La note finale est la moyenne des 3 notes reçues sur le devoir. 50% des devoirs corrigés par les pairs obtiennent quasiment les 3 mêmes notes, avec une variance inférieure à 1. La recherche académique montre d'ailleurs que l'évaluation par les pairs peut être aussi précise que celle des professeurs.