Challenge de web-scraping de données immobilières pour un poste de data scientist au sein de l’entreprise Lycaon Data
L’objectif est de constituer une base de données sur un ensemble de logements de la province de Málaga (Espagne), puis d’en tirer une première analyse de marché.
- Extraction (web scraping, Python de préférence)
Les données devront être extraites par web scraping à partir d’un ou plusieurs sites d’annonces immobilières. Le périmètre attendu :
- Un minimum de 2 000 annonces, réparties sur au moins cinq communes distinctes de la province (et non la seule ville de Málaga).
- La gestion de la pagination, des délais de requêtes et des mécanismes anti-robots du site est attendue. Le code devra être ré-exécutable et reprenable en cas d’interruption (journalisation, point de reprise).
- Données
Le fichier final, au format Excel, contiendra au minimum : prix, surface habitable (et construite si maison), type (maison / appartement), nombre de chambres, nombre de salles de bains, classe énergétique, année de construction, ville, quartier, lien de l’annonce, ainsi que toute variable jugée pertinente.
Le candidat devra traiter explicitement :
- La déduplication : une même annonce peut apparaître sur plusieurs pages ou être republiée par différentes agences. La stratégie retenue devra être justifiée.
- Les champs irréguliers : prix « à consulter », classe énergétique fréquemment absente, ambiguïté surface habitable / construite, neuf vs ancien. Les valeurs manquantes seront remplacées par « . » ; aucune valeur ne devra être inventée.
- Un schéma typé avec validation des données (types et bornes attendus par variable).
- Analyse
- Nettoyage de la base avec retrait justifié des valeurs aberrantes.
- Calcul de l’élasticité prix-surface en contrôlant par les autres variables jugées utiles.
- Restitution
Un court document de synthèse (README) justifiant les principaux choix techniques : approche anti-robots, logique de déduplication, méthode de retrait des aberrations, et spécification du modèle visant à calculer l’élasticité.
Note : L’usage de l’IA n’est pas proscrit. En revanche, l’entretien portera sur la défense argumentée des choix exposés dans le document de synthèse : les décisions devront être celles du candidat.
Data scientist avec compétence en web scraping
Base de données Excel + README (choix méthodologiques) et résultats d'analyse en Word/LateX
