Extraction De Données sur Le Web

Les droits d’utilisation des données disponibles sur le web

• Présentation des concepts de licences sur les données, du mouvement OpenData et des principales licences.

Les types de données disponibles sur le web

• Explication des formats HTML, XML, JSON, RSS.

Concepts de protocoles réseau

• Notions de client/serveur, TCP/IP, requêtes HTTP GET/POST.

Récupérer des données fournies par une interface de programmation (API)

• Définition d’une API, requêtage, exemples pratiques avec R.

Récupérer des données d’un site web

• Définition du web scraping, parcours de pages web, extraction de données via XPath/regex, exemples pratiques avec R.

Exemples d’outils pour faciliter le web scraping

• Outils pour extraire depuis des sites statiques ou sites fortement dynamiques (ajax): Yahoo Pipes!, Scrapy, PhantomJS, etc.

Problèmes avancés d’extractions de données

• Ordonnancement, proxy, authentification, erreurs HTTP.