Il y a quelques jours, Twitter annonçait qu'il proposait une nouvelle infrastructure pour son moteur de recherche afin de permettre de retrouver n'importe quel tweet publié depuis le lancement du service. Mais voilà, ce dernier sera réservé aux outils maison, et ne sera pas proposé à des développeurs tiers.

Lorsque Twitter a annoncé avoir mis en place une nouvelle infrastructure afin de gérer l'indexation de tous les tweets publiés, et de permettre de les trouver rapidement via son moteur de recherche, tout le monde semblait plutôt enthousiaste. En effet, le système est plutôt efficace, et cela ouvre quelques opportunités intéressantes.

Mais Twitter n'est pas qu'un site web et des applications, c'est aussi un ensemble d'API complètes et documentées, proposé à des développeurs tiers. On y trouve ainsi un élément dédié à la recherche : Search API. Dès lors, certains se sont demandé si Twitter allait ouvrir l'accès à cette nouvelle infrastructure par ce biais, ou non, ce point n'ayant pas été évoqué ouvertement lors de l'annonce.

Sur ses forums dédiés aux développeurs, certains ont ainsi posé la question, et après quelques échanges, l'équipe a pris officiellement position : 

« Nous n'avons pas l'intention de proposer l'index complet de nos tweets à travers une API REST gratuitement. Le but principal de search/tweets (et du point d'accès status/filter de l'API Streaming) continuera d'être la recherche en temps réel.

L'API REST payante de Gnip propose actuellement un index de 30 jours qui reflète la réalité de notre contenu, et il est possible que cette durée soit étendue avec le temps. Gnip propose aussi son Historical Power Track asynchrone qui permet une recherche multi-prédicats sur l'ensemble de l'historique.

Pour le monde de l'éducation, nous proposons un programme dédié dont l'initiative Twitter Data Grants, afin de permettre aux chercheurs d'accéder à nos données. »

Une position qui peut se comprendre, puisque donner un accès complet et gratuit à l'ensemble de l'index des tweets pourrait être un risque pour Twitter. Pour autant, certains seront sans doute déçus de ne pas pouvoir y effectuer de requête d'une manière ou d'une autre, même avec de fortes limites de requêtes par exemple, quitte à pouvoir les débloquer via des accès payants.