blog.pagesd.info

Jusqu'à présent, quand on essayait de remonter à la racine des sites hébergés sur le domaine pagesd.info, le navigateur renvoyait une erreur indiquant qu'il ne parvenait pas à trouver le site. Ce qui était plutôt normal puisqu'il n'existait pas de site défini pour l'adresse http://www.pagesd.info/.

Mais tout ça c'est du passé, parce que ce soir je me suis accordé une petite pause pour coder une page qui évite de faire mauvais effet avec une erreur de DNS. Après avoir trouvé une jolie image sur le site de Dry Icons, j'ai maintenant la joie d'avoir un nouveau site en production :

Suite à mes différentes petites améliorations, je commence à avoir quelques résultats. Déjà, il n'y a plus de pages avec des titres en double et le nombre de pages ayant la même description commence à diminuer.

Par contre, il semblerait que Google ne parvient pas à accéder aux pages du blog et qu'il se retrouve à chaque fois avec une erreur du type "Network unreachable".

Au début, je ne me suis pas trop méfié parce que lors de la première installation, il y avait eu une petite erreur pour générer le sitemap. Mais étant donné que cela continue de se produire, j'ai quand même fini par essayer de voir d'où cela pouvait provenir.

Après quelques recherches, il semble que ce problème soit lié à l'url-rewriting et au au changement du user agent de Googlebot (vers mars 2006 !) qui est passé de "Googlebot/2.1 (+http://www.googlebot.com/bot.html)" à "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)". Et apparemment cela perturbe ASP.NET (la version 2.0 seulement ?) dans sa façon de détecter les caractéristiques du navigateur appelant, si bien qu'il finit par faire comme s'il s'agissait un très vieux Mozilla/1 et par faire un peu n'importe quoi...

Deux billets pour avoir des explications plus complètes :

• ASP.NET 2.0 Mozilla Browser Detection Hole
• Get GoogleBot to crash your .NET 2.0 site

J'ai pu vérifier ce problème par moi-même en utilisant Safari et en le configurant pour qu'il déclare le même user agent que Googlebot. Grâce à quoi, quand j'accédais aux pages du blog, je tombais moi aussi sur une magnifique erreur "Cannot use a leading .. to exit above the top directory" :

[HttpException (0x80004005): Cannot use a leading .. to exit above the top directory.]
   System.Web.Util.UrlPath.ReduceVirtualPath(String path) +3626102
   System.Web.Util.UrlPath.Reduce(String path) +84
   System.Web.Util.UrlPath.Combine(String appPath, String basepath, String relative) +326
   System.Web.HttpResponse.ApplyAppPathModifier(String virtualPath) +209
   System.Web.UI.HtmlControls.HtmlForm.GetActionAttribute() +2036998
   System.Web.UI.HtmlControls.HtmlForm.RenderAttributes(HtmlTextWriter writer) +840
   System.Web.UI.HtmlControls.HtmlControl.RenderBeginTag(HtmlTextWriter writer) +39
   System.Web.UI.HtmlControls.HtmlForm.Render(HtmlTextWriter output) +56
   System.Web.UI.Control.RenderControlInternal(HtmlTextWriter writer, ControlAdapter adapter) +25
   System.Web.UI.Control.RenderControl(HtmlTextWriter writer, ControlAdapter adapter) +121
   System.Web.UI.HtmlControls.HtmlForm.RenderControl(HtmlTextWriter writer) +37
   System.Web.UI.Control.RenderChildrenInternal(HtmlTextWriter writer, ICollection children) +199
   System.Web.UI.Control.RenderChildren(HtmlTextWriter writer) +20
   System.Web.UI.Page.Render(HtmlTextWriter writer) +26
   ap.Engine._default.Render(HtmlTextWriter writer) +89
   System.Web.UI.Control.RenderControlInternal(HtmlTextWriter writer, ControlAdapter adapter) +25
   System.Web.UI.Control.RenderControl(HtmlTextWriter writer, ControlAdapter adapter) +121
   System.Web.UI.Control.RenderControl(HtmlTextWriter writer) +22
   System.Web.UI.Page.ProcessRequestMain(Boolean includeStagesBeforeAsyncPoint, Boolean includeStagesAfterAsyncPoint) +2558

J'ai donc suivi la solution proposée par Brendan qui consiste à ajouter un fichier genericmozilla5.browser dans le répertoire App_Browsers pour détecter correctement les navigateurs compatibles Mozilla/5 génériques. Et après ça, tout est rentré dans l'ordre (au moins pour Safari) et les pages du blog devraient donc être générée à nouveau correctement pour Googlebot.

Ce qui est quand même bizarre, c'est que :

1. je n'ai eu ce problème de "Network unreachable" qu'avec les pages du blog alors que je fais de l'url rewriting dans tout le site,
2. je suis affecté alors que même si le site tourne en .NET 2, il est (encore) compilée en .NET 1.1 (d'un autre côté, du moment que le répertoire spécial App_Browsers fonctionne avec une application en .NET 1.1).

Reste plus qu'à espérer qu'avec tout ça je n'ai pas trop épuisé la patience de Goooglebot et qu'il aura la bonté de prendre en compte les pages du blog très très vite ! Mise à jour : ça à marché :)

Je persiste et poursuis mes efforts entamés ce week-end en continuant de travailler à améliorer le référencement de mon site sur l'Ardèche. Par rapport à avant hier, j'ai finalement trouvé une description très convenable pour les pages de cinéma :

• Pour la page principale j'ai complété ce qui existait pour finir avec : "Programme des cinémas en Ardèche, annuaire des salles de cinéma ardéchoises, les films à l'affiche et les horaires des séances"
• Et pour les pages spécifiques pour chaque cinéma, cela donne : "Présentation du programme du cinéma NomCinéma à NomCommune : les films à l'affiche et les horaires des séances".

C'est pas très extraordinaire, mais c'est plutôt mieux que ce qu'il y avait jusqu'à présent...

Ensuite, comme je l'avais fait pour certains titre des pages de cinéma, j'ai résolu le même genre de problème de doublon pour les titres des pages concernant les offices de tourisme de l'Ardèche.

Jusqu'à présent, j'utilisais le nom de l'office de tourisme comme titre de la page. Mais il y a un certain nombre d'OT qui ont plusieurs antennes et par conséquent je me retrouvais avec 3 cas où un même titre était attribué à plusieurs pages. J'ai donc du là aussi ajouter le nom de la commune où se situe l'antenne dans le titre de la page pour corriger le problème.

Reste plus à espérer que Google repasse très vite sur ces pages pour que mon problème de "Pages with duplicate title tags" soit de l'histoire ancienne !

Et pour finir, le plus gros de mon travail a consisté à ajouter des descriptions différentes pour chaque tag géré dans l'Annuaire de l'Ardèche. C'est pas une mince affaire et ça m'a pris pas mal de temps. Pour l'instant, j'ai réussi à rédiger une description spécifique pour un bon tiers des 56 tags existants.

Pour bien faire, il faudrait encore que j'en trouve 5 ou 6 d'ici la fin de la semaine et que j'essaie de terminer le tout avant la fin du mois....

Pour faire un blog privé avec BlogEngine.NET, il faut modifier son fichier Web.config de façon à interdire l'accès aux visiteurs anonymes. Pour cela, il faut ajouter une section autorization dans le Web.Config :

  <system.web>
    ...
    <authorization>
        <deny users="?" />
        <allow users="*" />
    </authorization>
    ...
  </system.web>

Cela permet de :

• interdire (deny) l'accès aux visiteurs anonymes (users="?")
• autoriser (allow) l'accès aux utilisateurs identifiées (users="*")

De cette façon, tous les visiteurs sont forcés de s'identifier pour pouvoir consulter le contenu du blog => ils sont automatiquement redirigés vers l'écran de connexion.

Dans le cas où le thème du site est up to date et qu'il utilise des HttpHandlers pour gérer les CSS et les JavaScripts, il faut malgré tout donner l'accès à ceux-ci pour que l'écran de connexion puisse fonctionner correctement.

Là encore, il faut modifier le fichier Web.config et y ajouter des éléments location pour autoriser les visiteurs anonymes à accéder à ces 2 types de ressources :

  </system.web>
    ...
   <location path="themes/Scribbish/css.axd">
     <system.web>
       <authorization>
         <allow users="*" />
       </authorization>
     </system.web>
   </location>

   <location path="js.axd">
     <system.web>
       <authorization>
         <allow users="*" />
       </authorization>
     </system.web>
   </location>
    ...
</configuration>

Pour ne pas voir à revenir modifier le fichier Web.config à chaque changement de thème, il est même préférable de ne pas se limiter au fichier "themes/Scribbish/css.axd", mais d'indiquer seulement "themes" pour autoriser l'accès à toutes les ressources du dossier "themes" et de ses sous-dossiers.

Pour que tout soit parfait, on peut aussi cacher le bandeau de Widgets qui apparait automatiquement sur toutes les pages du blog et par conséquent également sur la page de connexion.

Pour cela, il faut mettre à jour le fichier site.master du thème (/themes/Scribbish/site.master dans mon cas) et remplacer la ligne :

<blog:WidgetZone runat="server" ID="rightzone" />

Par :

<% if (Page.User.Identity.IsAuthenticated) { %>
        <blog:WidgetZone runat="server" ID="rightzone" />
<% } %>

Ainsi, le bloc de Widgets ne sera généré que dans le cas des visiteurs identifiés.

Ensuite, pour vivre complètement cachés, il faut aussi aller dans la partie Paramètres du blogue et passer dans l'onglet / Ping Services pour supprimer tous les services qui sont pingués à chaque fois que l'on publie un nouveau billet.

Et pour finir, il est aussi préférable de modifier le fichier robots.txt pour interdire complètement l'accès du blog à tous les moteurs de recherche et autres bots qui pourraient avoir eu vent de notre existence :

User-agent: *
Disallow: /

Tout chaud, tout beau. Il est maintenant possible d'indiquer automatiquement à Google, Yahoo et MSN (et même Ask) l'emplacement du fichier sitemap par l'intermédiaire du fichier robots.txt :

Sitemap: <url_complete_du_sitemap>

Par exemple :

Sitemap: http://www.example.com/sitemap.xml

{via Live Search Blog}

Hier, j'ai vu passer sur Blogmarks un lien vers un article pour construire un moteur de recherche avec Symfony. C'est l'occasion pour refaire un point sur les différentes pistes pour intégrer un moteur de recherche dans un site en ASP.NET :

• utiliser Lucene.Net, le portage de Lucene sous .NET : voir mojoPortal pour un exemple d'utilisation et l'article Full-Text Search for Your Intranet or Website using 37 Lines of Code,
• attendre de voir ce que va donner Nutch.Net, le portage de Nutch sous .NET : mais rien de rien pour l'instant,
• Searcharoo.NET : déjà testé sur PI et très simple à mettre en oeuvre mais pas vraiment efficace avec du contenu en français,
• essayer de bidouiller quelque chose à partir des sources de Beagle.

L'autre truc intéressant dans l'article sur Symfony, c'est les stops words (appelés mots vides en français), c'est à dire les mots qui sont tellement communs qu'il est inutile de les indexer ou de les utiliser dans une recherche. Dans PI, on en gère déjà empiriquement un certain nombre mais apparament, il existe des listes "officielles" :

• les French Stopwords sur Ranks.nl (serait la liste utilisée par les moteurs de recherche ?),
• la French stop word list du projet Snowball,
• une liste beaucoup plus complète des mots vides de Jean Veronis.

Et maintenant, la question qui se pose : si j'utilise des mots vides pour mon nom de domaine (ou mon titre de page, ou mon url...), est-ce que cela aura un impact sur mon référencement ? Est-ce qu'un nom de domaine tel que www.qui-quand-et-comment.com est viable ou est-ce que c'est une véritable hérésie ?

Après le site sur Condrieu de Frédéric, un autre site réalisé cette fois par Philippe (et utilisant lui-aussi la charte Green Marinee). La Compagnie Peretti est une compagnie théâtrale de Haute-Savoie au service des petits. Elle monte et présente ses propres spectacles de théâtre, de marionnettes, animations ou concerts pour les enfants de l'âge de 4 ans et jusqu'à l'âge du capitaine.

Et pour la 1° fois sous Quick-Content, l'utilisation du DewPlayer d'Alsacréations permet de suivre la route du lait et les aventures de Marguerite.

Modification des modules Aspxfile, Flashfile, Htmlfile, Image, Svgfile, Textfile, Xmlfeed et Xmlfile pour tester la date de dernière mise à jour du fichier (ou celle de sa création).

Lorsque celle-ci est supérieure d'une heure à la date de dernière mise à jour de l'écran, la date de mise à jour de l'écran est actualisée puis le fichier sitemap destiné à Google est regénéré. Cela permet d'éviter que la mise à jour des pages dont le contenu est basé sur des fichiers "externes" ne soit jamais signalée à Google.

<script runat="server">
private void Page_Load(object sender, System.EventArgs e) {
  Response.Status = "301 Moved Permanently";
  Response.AddHeader("Location", "http://www.new-url.com");
}
</script>

(publié à l'origine sur http://www.bigbold.com/snippets/posts/show/1295)

Quick-Content peut désormais générer automatiquement un fichier sitemap.xml à chaque fois qu'un écran est modifié.

L'attribut «lastmod» correspond à la date de dernière mise à jour de l'écran telle qu'elle est enregistrée dans le champ «lastUpdate» de la table qc_Screens.

L'attribut «changefreq» est généré en comparant la date de dernière modification de l'écran à la date en cours :

• "daily" s'il y a moins de 7 jours,
• "weekly" s'il y a moins de 15 jours,
• "monthly" s'il y a moins de 3 mois,
• "yearly" dans les autres cas.

En ce qui concerne l'attribut «priority», il est initialisé à 0.7, 0.5 ou 0.3 selon que l'écran est de niveau 1, 2 ou 3.

La boite de configuration du site a été mise à jour pour permettre la saisie de l'url du fichier sitemap.xml à générer (en général, indiquer ~/sitemap.xml). Dans le cas où ASP.NET n'a pas de droit en écriture sur la racine du site mais seulement sur le sous-répertoire «/data», il faut :

• indiquer "~/data/sitemap.xml" pour que Quick-Content puisse écrire le fichier,
• placer le fichier «_sitemap.aspx» à la racine du site pour que Google accepte toutes les urls qu'il contient.

Le fichier «_sitemap.aspx» se contente de renvoyer le contenu du fichier «/data/sitemap.xml» :

<%@ Page Language="C#" %>
<script runat="server">
void Page_Load(object sender, System.EventArgs e) {
    Response.ContentType = "application/xml";
    Server.Transfer("data/sitemap.xml");
}
</script>

Il est également nécessaire d'inscrire l'url du fichier sitemap sur Google Sitemaps pour qu'il soit pris en compte.

Note : même si selon Google un fichier sitemap n'est pas censé améliorer le référencement du site, cela présente au moins les avantages suivants :

• diminution de la consommation de bande passante par GoogleBot,
• possibilité de vérifier et de suivre l'évolution de son utilisation sur le site Google Sitemaps (http://www.google.com/webmasters/sitemaps/).