Le mur

Bletchley lisait les messages de l'ennemi sans qu'il le sache. Nous, nous consultons des petites annonces publiques, avec une sobriété qui s'est imposée à nous. Le site est protégé par un dispositif anti-robots ; quand il refuse une requête, nous prenons le refus pour ce qu'il est.

Deux blocages qui ne collent pas

Un premier refus, après un faible nombre de requêtes. On ralentit. Quelques jours plus tard, un second, après moins de requêtes encore. Le volume n'expliquait donc pas tout : chaque requête compte.

Le disjoncteur

DealFinder a reçu un disjoncteur : au premier challenge, la collecte s'arrête net, puis repart au ralenti. Un budget de requêtes, des pauses généreuses entre deux appels, et chaque réponse enregistrée comme fixture pour que le développement se fasse hors ligne. Et une ligne rouge, écrite dans la charte avant même d'en avoir besoin : on ne résout pas de captcha, on n'utilise ni proxy ni VPN, on ne change pas d'IP pour passer. Quand le mur se dresse, on attend.

La fausse bonne idée de l'e-mail

Puisque chaque requête était précieuse, pourquoi ne pas laisser le site nous écrire ? Des recherches enregistrées, des alertes par e-mail… En douze heures, aucune alerte reçue. Pour une bonne affaire, qui part en une heure, c'était trop lent. X a tranché le 23 octobre : piste abandonnée.

La veille légère

À la place : une page de résultats de temps en temps, à des intervalles espacés, pour ne pas peser sur le service, une file de détail priorisée par un pré-score, et une récolte complète de temps à autre. Le 25, une seule requête couvre toute la catégorie « Ordinateurs » de 20 à 400 €, au lieu d'une rotation de onze recherches. Ce rythme a de nouveau déclenché le disjoncteur ; nous avons encore espacé la veille, et Turing relève les compteurs avant tout resserrement : on attendra une longue série sans blocage.

Quand le disjoncteur voit des fantômes

Le 29 octobre, nouvelle surprise : une annonce disparue répondait 410 avec un en-tête de la protection anti-robots, et le disjoncteur s'ouvrait comme pour un vrai blocage. L'équipe a reproduit le défaut, l'a corrigé et a écrit le test qui l'aurait vu. Un disjoncteur trop sensible coûte aussi cher qu'un disjoncteur absent.

Le mur n'est pas un problème à résoudre. C'est une contrainte avec laquelle on construit.