Quelques éléments pour préparer un bilan attributions

Les dernières évolutions réglementaires ont placé les questions de peuplement et d'attributions au coeur des politiques locales de l'habitat. Les données en la matière sont maintenant nombreuses mais parfois complexes à utiliser. 

Le cadre réglementaire 

La gestion et la politique d'attribution de la demande locative sociale ont été modifiées en profondeur avec les 3 lois successives ALUR (2014), Egalité et Citoyenneté (2017), Elan (2018). Cette réforme des attributions vise à plus de lisibilité et de transparence dans les processus d’attribution, à l’information du public et des demandeurs de logement social, et à favoriser la mixité sociale des villes et des quartiers.

Elle place les intercommunalités porteuses de PLH (Programme Local de l'Habitat) au centre de ce dispositif, en tant que chef de file de cette politique, à l'égal de leur rôle dans la définition des Politiques Locales de l'Habitat. 

Celles-ci doivent co-présider et animer avec le Préfet la Conférence Intercommunale du Logement, établir une Convention Intercommunale d'Attributions, et définir un Plan Partenarial de Gestion de la Demande et d'information des demandeurs.

Des objectifs à atteindre

La CIA, Convention Intercommunale d'Attributions, fixe des objectifs pour rééquilibrer les attributions sur le territoire notamment entre les quartiers inscrits en Politique de la Ville et les communes périphériques, et intègre les objectifs réglementaires détaillés dans la loi Egalité et Citoyenneté. Ces objectifs sont applicables à la fois par bailleur et par échelle géographique. C'est dans ce cadre que l'EPCI doit établir chaque année un bilan des attributions. 

L'enregistrement de la demande

Le "Portail Grand Public" permet aux demandeurs de logement social d'enregistrer en ligne leur dossier. Jusqu'à 3/4 des demandes, selon les territoires, sont aujourd'hui enregistrées directement par les demandeurs de logement social. Les guichets enregistreurs des bailleurs, des communes, et des réservataires ont également pour mission d'accueillir les demandeurs et d'enregistrer la demande. Ceux-ci complètent aussi les dossiers au fur et à mesure de l'instruction des dossiers et des propositions de logement.

Tout ce processus s'intègre dans ce que l'on appelle le SNE, Systéme National d'Enregistrement. 

Des données en opendata

Un portail statistique (https://www.data.logement.gouv.fr/statistiques/) permet d'accéder aux données issues de cet enregistrement de la demande.

Comme l'affiche le portail, plus de 5000 jeux de données sont téléchargeables au travers d'un moteur de recherche par région et par thématique. Ces données sont accessibles à tous.

Des données de gestion

On peut dire que les données SNE sont des "données de gestion", issues de la saisie des demandeurs et ensuite des systèmes d'information des bailleurs.  Elles accompagnent le processus d'attribution de la délivrance d'un "NUD", Numéro unique Départemental qui atteste de la validité de la demande jusqu'à la mise en location effective.

L'usage de ces données pour réaliser des statistiques doit tenir compte de ce paramètre qui permet de comprendre les éventuelles erreurs ou "incomplétude"; par exemple les locations finales avec les radiations qui devraient en découler une fois que le demandeur est rentré dans les lieux pas toujours saisies par les bailleurs, ou bien des données dégradées au cours des nombreux mouvements de fusion entre organismes.

Des données complexes

Cette abondance de données possède quelques défauts :

• Il est difficile, de prime abord, de savoir quels tableaux seraient utiles.

• Ces données sont principalement présentées sous forme de rapports pré-formatés, utilisables pour une lecture comparative directe mais peu adaptés à une intégration en base de données. Si vous voulez intégrer ces données en base il faudra utiliser un ETL en supprimant les données d'en-tête, en dissociant les cellules fusionnées et, si possible, en rajoutant une colonne permettant de dater la données.

• Les tableaux sont fournis par région sous forme de fichier ZIP avec de nombreux sous-dossiers, ce qui ne facilite par l'éventuelle automatisation de l'intégration de ces données. Et ce encore plus si l'on est à cheval sur 2 régions.
• Les identifiants des territoires ne sont pas intégrés dans les tableaux et notamment les codes INSEE des communes qui sont généralement utilisés pour structurer ces informations en base de données.
• Petite subtilité : dans certains cas, la 2ème feuille contient les données complètes, plus aisément exploitables en base. C'est le cas du tableau 09-02a portant sur les attributions au 1er quartile.

Je vous conseille l'article de SPALLIAN abordant la question de l’accès aux données de la demande en logement social.

Une option de simplification

On voit là que l’accès très large aux données ne facilite pas directement les traitements souhaités, 

C'est pourquoi il peut être pratique, pour un EPCI, de solliciter directement le gestionnaire SNE, de manière à ce qu'il fournisse une extraction en base beaucoup plus facilement intégrable dans un outil de traitement des données et de statistiques.

Quelles données pour quelles analyses ?

Liste des données

On distingue la base liée aux demandes de celle liée aux attributions dites "demandes radiées" :

Liste demandes actives

Année, Numéro Unique, Date de dépôt de la demande, Organisme du guichet de la création

Département de la localisation souhaitée, Nom de l'EPCI souhaité, Ordre de la localisation souhaitée, Commune souhaitée

Commune du logement du demandeur, Mode du logement actuel, Ordre du logement actuel

Situation familiale du demandeur,

Type de logement recherché

Statut DALO, Position / plafonds sociaux de la loc souhaitée

Liste demandes radiées

Numéro Unique, Libellé Mutation

Mode du logement actuel, Ordre du logement actuel

Nom de l'EPCI du logement attribué, Département du logement attribué, Commune attribuée

Statut DALO, Position / plafonds sociaux de la loc souhaitée, Année de validité pour la valeur du seuil (logement attribué), Année de validité du seuil pour la position (logement attribué)

Réservataire, Organisme de radiation, Motif de la radiation, Année de la radiation

A ces données livrées en base, si l'on a pu les obtenir auprès du gestionnaire SNE, il faut également rajouter le tableau 09-02a portant sur les attributions au 1er quartile. Tel que déjà évoqué celui-ci a l'avantage de présenter,  dans son 2ème onglet, les données en format adapté à une intégration en base.

Les exploitations

Pour fournir des éléments de bilan qui répondent aux principaux objectifs règlement-aires que l'on retrouvent dans une Convention Intercommunale d'Attributions, la liste des informations demandées n'est finalement pas très longue mais permet l'essentiel des traitements nécessaires aux différentes échelles : territoire, bailleur, réservataire.

• 

  Extrait du projet de CIA de la Métropole de Nice Côte d'Azur

  Volumes soit la répartition sur le territoire, par bailleur, ou par réservataire
• Part des mutations
• Typologie de la demande si l'on souhaite apporter un regard détaillé.
• Part des attributions en regard de la demande, là encore suivant les différentes échelles de traitement et vis à vis des différents objectifs réglementaires, en particulier ceux concernant les attributions hors QPV (Quartiers Politique de la Ville) au 1er quartile (demandeurs les plus pauvres) et en QPV aux demandeurs plus aisés au dessus de ce 1er quartile.

Par contre ces données seront à adapter aux différentes échelles d'analyse. Un outil de business intelligence peut faciliter ces traitements ou, du moins, un système qui permette de présenter les différents indicateurs sous plusieurs dimensions.

Il y a un véritable enjeu à organiser et automatiser les traitements, dans l'optique de réaliser des bilans chaque année et de mettre en place une observation sur la durée, à minima les 6 ans d'une Convention Intercommunale d'Attribution, afin de repérer les grandes tendances et les évolutions en regard des objectifs définis dans cette Convention. 

Externaliser pour optimiser

Cet article décrit une démarche d'amélioration d'une petite application mise en place, dés 2005, dans le cadre d'un Programme Local de l’Habitat intercommunal pour aider aux différentes phases d'instruction des subventions aux opérations de logement locatif social ainsi qu'aux opérations financées par l'Agence Nationale de l’Habitat. L’agglomération apporte également sa garantie d’emprunt en complément des subventions.

Cet outil baptisé "Gestion PLH" a été développé sous Microsoft Access. Le terme « développé » est ici appliqué à la définition et l’organisation des données, à une interface sommaire de saisie des données, et à différents traitements sous forme de requêtes et d’états pour utiliser ces données.

Gestion PLH permet d'instruire et suivre les projets : de l’extraction des données pour la réalisation des bilans annuels en passant par une série de publipostages pour gérer toutes les étapes administratives du dossier : délibérations, courriers de notification, attestations de paiement.

Les attendus initiaux de la démarche

L’enjeu était d’alléger la charge de travail de maintenance assurée en interne par une seule personne.
Cette démarche devait également apporter des améliorations permettant de sécuriser et fiabiliser les données tout en gagnant en ergonomie.

Deux options ont été étudiées :

1.     Le remplacement par un logiciel mais l’offre logiciel s'avère finalement très réduite. 3 alternatives ont été étudiées : deux outils parfaitement adaptés du point de vue métier mais basé, pour l'un, sur des technologies plutôt obsolètes et déployé, pour l'autre, seulement sur 2 sites. Un 3ème outil aurait pu aussi convenir mais demandait des adaptations relativement importantes. Dans tous les cas la reprise des données n’était pas assurée et le coût était extrêmement élevé : près de 60 000 euros pour 4 utilisateurs et sans compter les abonnements annuels.

2.     La deuxième option, finalement retenue, consistait en une amélioration de l’outil existant. Pour s’assurer en préalable de la qualité de l’application existante, un audit a été commandé.  Audit qui a facilité le travail de rédaction d’un cahier des charges pour consulter ensuite les entreprises.

Le modèle de données existant est très simple et centré sur une table « projet » qui comporte toutes les informations des dossiers sans historique. Malgré sa simplicité, ce modèle de donnée s’avère robuste et répond bien aux besoins. La base comprend près de 800 dossiers.

Nombre de dossiers par type

Les améliorations apportées

La prestation a permis d’apporter des améliorations techniques en basculant les données dans une base sql facilitant les accès multi-utilisateurs  et renforçant la sécurité des données.

• Les données existantes ont été entièrement reprises tout en normalisant les noms de tables et de champs, en rajoutant des index et des règles d’intégrité.
• L’interface finale sous forme d’appli web offre une ergonomie sensiblement améliorée et une fluidité et rapidité très appréciables. 

• Le formulaire de saisie initial, dans access, a été réparti dans différents onglets facilitant les saisies tout en restant logique en matière de déroulement des dossiers. 
• La table d’origine a également été fractionnée afin de faciliter certains développements ultérieurs comme historisation des plans de financement.
• La solution choisie permet en outre d’administrer les données : c’est en quelque sorte un « CMS », non pas de blog mais de base de données, avec un module qui permet de faire des requêtes et d’éditer des rapports.  Elle se présente comme un générateur de base de données et d’applications web.
• La solution permet de définir des profils utilisateurs de manière très détaillée ce qui permet de simplifier les interfaces pour les instructeurs de dossiers. 
• Le développement en mode web permet d’imaginer aisément une interface avec notre application de webmapping, au travers d’une API. 
• L’utilisation d’une solution existante nous permettra par ailleurs de bénéficier des développements ultérieurs comme ceux attendus concernant les contraintes RGPD.

La solution finale permet réellement de conserver les fonctionnalités existantes et elle a parfaitement intégré tout l'historique.
Pour l'instant les tests ont relevé qu'il reste des corrections à opérer dans le module de calcul des subventions prévisionnelles. L'interface est claire et la saisie est facile.
Dés ce début d'année 2020 toutes les saisies basculent sur ce nouveau module.

+ d'infos :

• https://www.asymptote.fr/fr/outils-numeriques/e-asy-generateur-bases-de-donnees-applications-mobiles.html
• https://www.elipce.com/pilotage-de-votre-activite-et-publipostage
• https://www.e-asyapp.net/gestion-du-programme-local-de-lhabitat/
• https://www.e-asyapp.net/

Fusion OPH et DVF

Comme le veut l'air du temps, et la récente loi Elan, nos deux offices publics HLM de Vaucluse viennent de fusionner.
Quel est le rapport avec DVF, le fichier des valeurs foncières qui détaille les transactions foncières et immobilières ?

J'ai fait ce lien bizarre à l'occasion d'une discussion avec le notaire qui va s'occuper du transfert du patrimoine de notre OPH intercommunal vers l'office départemental. En effet, c'est Mistral Habitat, dont la gouvernance est adossée au Conseil Départemental de Vaucluse, qui est le chef de file de cette opération de fusion-absorption car c'était l'organisme qui possédait le plus gros patrimoine autour de 9 500 logements.
Grand Avignon Résidences, notre office devenu intercommunal en 2015, compte quant à lui près de 6500 logements.

Le transfert de patrimoine devrait donner lieu à un acte notarié d'une ampleur tout à fait exceptionnelle à l'échelle du Vaucluse.
En extrapolant à partir du nombre d'actes enregistrés par mois dans le Vaucluse, cela représente la moitié d'une activité mensuelle. Calcul, je vous l'accorde, un peu sommaire : effectué sur la base des 11 300 à 11 500 transactions qui sont retracées dans les données mises à disposition sur le site du CGEDD et ses pages sur l'évolution des prix à long terme.

Un volume donc qui pourrait fausser les données DVF de l'année correspondante ?
Je me suis replongée dans la description de la base. Description que vous pouvez retrouver sur le site dédié du groupe national DVF : https://www.groupe-dvf.fr/ à la question 4.2.1 : la base présente-t-elle toutes les mutations ?
On y voit que DVF recense les mutations effectuées à titre onéreux. Hors, ce transfert de patrimoine ne devrait pas l'être ? Il me semble que ce sera un simple changement de propriétaire ? La question est posée aux spécialistes de DVF.
N'hésitez pas à enrichir la discussion ...

Articles sur la fusion :
https://www.laprovence.com/article/papier/5162309/mistral-habitat-vote-la-fusion-avec-grand-avignon-residences.html
https://www.tpbm-presse.com/avignon-une-fusion-des-offices-hlm-exemplaire-pour-le-ministre-du-logement-2756.html
Site sur DVF : https://www.groupe-dvf.fr/
Evolution des prix  long terme : http://www.cgedd.developpement-durable.gouv.fr/le-prix-de-l-immobilier-d-habitation-sur-le-long-r167.html

Questions sur la maison intelligente

Entre vie privée et complexité on peut commencer à percevoir la limite des objets connectés. Cet article et l'expérience qu'il décrit l'illustrent bien :
http://www.internetactu.net/a-lire-ailleurs/lenfer-de-la-maison-intelligente/?utm_source=feedburner&utm_medium=email&utm_campaign=Feed%3A%20internetactu%2FbcmJ%20%28InternetActu.net%29

SIG Ville

Les nouveaux périmètres de la Politique de la Ville nécessitaient une mise à jour des données statistiques traditionnellement produites sur ces périmètres.
C'est maintenant chose faite avec la mise en ligne de L’atlas des quartiers prioritaires de la politique de la ville version septembre 2017 sur le site de SIG Ville  (http://sig.ville.gouv.fr/Atlas/QP_régions/)

On y trouve une série d'indicateurs comparés à différentes échelles et il est aussi possible de télécharger l'analyse par région ainsi que les données statistiques correspondantes.

Il ne manque plus que la carte comparative en ligne. Le support existe comme ici pour le quartier prioritaire d'Apt, en Vaucluse : https://sig.ville.gouv.fr/Cartographie/QP084017. Mais les dernières données statistiques ne sont pas encore intégrées. Gageons que ça ne saurait tarder !

En allant plus loin sur ce site, je découvre également  qu'il est proposé un service de géoréférencement permettant de définir si une adresse est dans un quartier Politique de la Ville?
Je n'en sais pas plus là dessus ... et vous ?

PTZ : merci l'opendata !

Je suis en train de faire mon bilan PLH et j'ai besoin de rédiger un paragraphe sur l'accession à la propriété.
Tous les PLH doivent fixer un objectif de production de logement et le détailler notamment pour l'accession à la propriété et le logement social.
Mais comment évaluer l'accession ? Difficile !
On peut l'évaluer partiellement au travers des chiffres du prêt à taux zéro, PTZ.

Jusque là j'obtenais les données auprès de l'ADIL, l'agence départementale d'information sur le logement. En effet, le fond qui gère cette aide, le SGFGAS, ne délivrait pas directement les données aux intercommunalités.
Et puis je me suis dit : après tout c'est peut-être maintenant disponible en opendata ? Eh bien oui, ici :
https://www.data.gouv.fr/fr/datasets/base-de-donnees-ptz-pret-a-taux-zero/
Ce jeu de données vient juste d'être publié, le 12 avril 2017 exactement, sous la responsabilité de la "DGALN MLHD", c'est à dire du ministère du logement.

Les données sont disponibles depuis 1995 et jusqu'à l'échelle de la commune. J'ai fait un traitement à partir du code SIREN de mon interco. Le code commune n'est pas toujours rempli, il semble que ce soit lié aux règles du secret statistique et de protection des données personnelles.
Un dictionnaire des variables est fourni. Pour ma part j'ai intégré le fichier txt dans ma base access; ça n'a pas marché avec les données fournies en csv.

J'ai calculé le nombre de PTZ accordés par année en distinguant neuf et ancien. J'ai aussi utilisé le prix au m² contenu dans la base pour en sortir des moyennes et des courbes d'évolution. Il peut être aussi intéressant d'en ressortir les volumes de prêts mobilisés puisqu'il y a le montant de l'ensemble des prêts. On y trouve aussi un élément de revenu par unité de consommation calculé en référence au SMIC.


En creusant toujours sur le sujet de l'habitat j'ai trouvé d'autres ressources qui sont bien sur à vérifier. Sur le même site on trouve :
Les données de l'éco-prêt à taux zéro :
https://www.data.gouv.fr/fr/datasets/base-de-donnees-eco-ptz-eco-pret-a-taux-zero/

La liste des zones PTZ et Pinel fournie par un constructeur :

https://www.data.gouv.fr/fr/datasets/liste-des-zones-ptz-et-pinel-1/
Par contre pour ce qui concerne les zonages fiscaux et les zonages du logement social rendez-vous sur le site du ministère avec des tableaux excel à télécharger :
http://www.logement.gouv.fr/les-zonages-des-politiques-du-logement

Domaines RPLS

Voilà quelques éléments complémentaires à mon article de juin 2014 sur le triturage RPLS.
Je viens de terminer l'intégration de RPLS 2014 et je commence à être rodée :

• Remplissage d'un champ de regroupement par programme que j'ai appelé REGPMT. Comme l'année dernière c'est dans le champs  "complément d'identification du bâtiment immeuble" que je trouve le plus souvent l'information. Sauf pour 2 bailleurs où j'ai du m'appuyer sur ma connaissance du parc de logement social pour remplir ce champs regroupement.

• Et remplissage d'un champ ID_BAT qui va me permettre de faire la jointure spatiale avec mon "Atlas LLS" (Atlas du Logement Locatif Social). En général celui-ci est construit à partir du champ "identifiant du logement dans le SI du bailleur" et en enlevant les 4 derniers chiffres à gauche (formule : left([identifiant ...],4))

Le champ REGPMT après jointure avec l'Atlas LLS me permettra de produire des cartes statistiques.

En même temps et après avoir essayé de le récupérer sans succès auprès de quelqu'un qui l'aurait fait de son côté, j'ai reconstitué une table des domaines RPLS, c'est-à-dire toutes les valeurs des différents champs. La voilà dans drive et sous format exel pour ceux qui voudraient l'utiliser.
Pour ce qui concerne les financements j'ai crée une colonne supplémentaire de manière à regrouper tous les codes selon les catégories de financement : PLAI, PLUS, PLS, PLI. Voilà le tableau ci-dessous et en espérant ne pas m'être trompée. N'hésitez pas à me le dire si c'est le cas.

CHAMP	LIBELLE	CODE	TYP_LLS
Code catégorie de financement	PLA d'intégration - LLTS dans les DOM	10	PLAI
Code catégorie de financement	PLA LM/PLATS/PLAI - LLS dans les DOM	11	PLAI
Code catégorie de financement	PLA social / PLA ordinaire	12	PLUS
Code catégorie de financement	PLUS	13	PLUS
Code catégorie de financement	PLS/PPLS/PLA CFF	14	PLS
Code catégorie de financement	PAP locatif	15	PLS
Code catégorie de financement	PLI	16	PLI
Code catégorie de financement	PCL (conventionné ou non) / PCLS	17	PLS
Code catégorie de financement	Autre financement à partir de 1977 (1983 dans les DOM)	49	PLUS
Code catégorie de financement	HBM	50	PLUS
Code catégorie de financement	PLR/PSR	51	PLUS
Code catégorie de financement	HLM/O	52	PLUS
Code catégorie de financement	ILM	53	PLUS
Code catégorie de financement	ILN	54	PLUS
Code catégorie de financement	Prêts spéciaux du CFF	55	PLUS
Code catégorie de financement	Autre financement avant 1977 (1983 dans les DOM)	99	PLUS
Code catégorie de financement	Non renseigné	0	NR
Code catégorie de financement	Non conforme	NC	NC

Zoom sur l'activité du CNIS

Quand on s'embarque dans le domaine de l'observation il faut à la fois "triturer" des données, comme j'aime l'imager, et garder un oeil sur les grandes tendances à la fois statistiques que techniques.

Par exemple, l'observatoire des territoires vient de publier son quatrième rapport. Sa lecture des inégalités du territoire peut aider à enrichir les réflexions conduites dans le cadre d'une action sociale et/ou d'un contrat de Ville.
Mais aussi il existe un certains nombre de sites de référence auxquels il convient d'être abonné comme les informations venant de l'INSEE ou du SOES.
De manière moins institutionnelle on peut citer aussi le blog Belgrand et les nombreuses informations relayées par Christophe Terrier, excellent relais également pour se tenir au courant de tout ce qui est publié en matière de statistique.

Dans cette palette d'outils de veille, il est utile de suivre l'activé du "CNIS". Le Conseil national de l'information statistique "assure la concertation entre les producteurs et les utilisateurs de la statistique publique" :

• C'est un lieu d'échange, de débat, et d'avis concernant toutes les collectes de statistiques publics.
• Il s'inscrit dans une démarche prospective, nourrie par ses bilans annuels, qui permettent de repérer les avancées utiles pour répondre aux besoins des acteurs pour comprendre la société mais aussi les lacunes à combler dans le dispositif statistique.

Début 2014, il a publié des éléments de bilan et de perspective qui permettaient à la fois d'entrevoir tout le chemin parcouru ces dernières années en matière de statistiques publiques mais également tout le travail à conduire dans les prochaines années.

Le bilan 2014 s'inscrit donc dans le programme de travail 2014-2018. On y retrouve des sujets transversaux et qui concernent à la fois à la statistique et la géomatique : notamment celui de l'ouverture des données, de l'open date, des big data, etc.

Voilà quelques extraits choisis, juste pour vous donner l'envie de jeter un coup d'oeil à ces publications qui permettent de se rappeller qu'il convient de ne pas faire n'importe quoi en matière de données et en même temps que les experts réfléchissent à la manière de les faire évoluer pour répondre aux questions que se pose la société.

• "La demande d'accés aux données continue à se développer : le chiffre est de plus en plus un enjeu des débats publics".
• "Il est clair que la question de la confidentialité des données et des méthodes d'anonymisation est un défi majeur pour la statistique publique au moment où la société ne parle que "d'open data" et de données massives ou "big data".
• "Le contexte de l'open [...] fait naître une autre demande qui est de labelliser le chiffre officiel, i.e. estampillé d'une qualité suffisante, pour le différencier des autres chiffres pour lesquels il n'y a pas suffisamment de transparence dans la manière dont ils sont calculés pour juger de leur qualité".

"Triturage" RPLS

Depuis 2011 ans les données EPLS ont été remplacées par des données "RPLS" plus facilement accessibles et explicitement ouvertes aux EPCI. Ce simple changement de nom n'est pas anodin.
Il s'avère qu'il existe des différences importants entre les deux fichiers qui entrainent des modifications dans les possibilités de traitement :
-Le fichier EPLS regroupait les informations par résidence ce qui facilitait leur utilisation pour des analyses à l'échelle des quartiers ou des communes (pour moi près de 400 lignes au lieu de 16 000).
-Du point de vue de la couverture de ces données, RPLS est moins complet qu'EPLS. Les deux bases n'étant en tout état de cause jamais exhaustives. En particulier ne sont pas recensés les logements foyers.

Pour ceux qui avaient mis en place un traitement sur EPLS il s'avère qu'il n'est pas facile de reprendre les éléments de ce travail pour l'adapter à RPLS. Il faut repartir à zéro. Explications ...

Difficulté à localiser ces données

Pour EPLS, j'avais construit une table de correspondance avec mon "Atlas LLS" qui recense (normalement) tout le parc LLS du territoire sur la base de l'identifiant du programme, issu à la fois des sytèmes d'information des bailleurs que d'EPLS.
Compte tenu de l'échelle des données, au logement, l'identifiant issu du SI des bailleurs est très différent de celui existant dans l'ex fichier EPLS à l'échelle de l'opération et il n'est pas incrémenté de manière homogène selon les bailleurs. En faisant simple, d'après mes tests il n'est pas possible d'enlever les quatres chiffres finaux pour retomber sur l'identifiant à l'opération.
Après avoir passé pas mal de temps à recréer cette "jointure", j'ai finalement décidé de tout remettre à plat en m'inspirant de l'expérience d'un "collègue", chargé d'observatoire en Ile-de-France.
Néanmoins, notons que le nouvel identifiant recréé dans RPLS apparait, d'après les travaux de mon collègue, comme un identifiant stable qui peut être utilisé  pour réaliser des comparaisons et étudier l'évolution du parc d'une livraison à l'autre.

Ce que je vous propose ici est justement de vous présenter nos deux méthodes de travail, leurs points communs, des détails sur nos traitements, et la méthode retenue par chacun.
-De mon côté j'ai décidé de regrouper les données à l'opération pour me simplifier les travaux de localisation ensuite
-Mon collègue a lui décidé de garder les données au logement pour les géolocaliser directement.
Mais dans les deux cas il s'avère qu'un important travail de nettoyage initial est indispensable

Nettoyage des informations à l'adresse, exemple Ile-de-France

La base RPLS est remplie individuellement par chacun des bailleurs sociaux, c’est pourquoi la partie « adresses » à une qualité de remplissage plutôt aléatoire.
-Il y a 4 colonnes principales : numéro de voirie, indice de répétition, type de voie, nom de voie, + une dizaines de colonnes sur les compléments d’identification du logement (étage, numéro de bâtiment…).
-De mon côté pour le travail sur les adresses j'ai beaucoup utilisé le champ "complément d'identification bâtiment autre".
-Il faut donc utiliser ces différentes colonnes, remplies différemment selon les bailleurs, pour créer une nouvelle information adresse qui permettra la géolocalisation. Souvent les adresses sont notées intégralement dans la partie nom de voie ou dans les compléments d’identification mais d'autres fois "un peu par ci un peu par là".
L’idée c’est de prendre tous les éléments d’adresse disponible dans le tableau, de les coller en fin de tableau, puis de tout dissocier (fonction convertir dans exel), de trier, et enfin de tout recombiner en concaténant en vue d'un géocodage. La méthode de nettoyage des adresses sous excel est un peu artisanale mais plutôt efficace : 18 000 adresses nettoyées en une matinée !

Repérage du nom de résidence, mon exemple

Il est possible de reconstituer le nom de la résidence à partir de deux champs : "complément d'identification du bâtiment immeuble" ou "nom de voie". Pour faire simple je n'ai pas créé de colonne supplémentaire mais j'ai "nettoyé" et harmonisé le champ "complément d'identification du bâtiment immeuble".

Rien qu'à travers le nom des champs on voit la complexité du travail. 
Ces noms de champs ne sont pas très explicites ce qui ne doit pas faciliter la cohérence dans la collecte d'infos. On a l'impression que les opérateurs ne savent pas exactement quel champ utiliser ou l'autre ?
Ceci dit comme je couvre deux départements et deux régions, j'ai eu deux livraisons distinctes et je n'ai pas noté de grandes différences dans le remplissage des données entre les deux départements, plutôt d'un bailleur à l'autre.

Traitements et géolocalisation

Une fois ce travail de nettoyage réalisé je peux récapituler les données à la résidence sur la base du champs "complément d'identification bâtiment immeuble". Je retraite les données sous forme d'analyse croisée dans access pour avoir des informations intéressantes à l'opération : nombre de logements bien évidemment et détail des typologies, nombre de logements comptabilisés SRU et nombre de logements conventionnés, détails en matière d'occupation des logements avec la vacance et par exemple les occupations associatives, type de financement.
Côté adresse je retiens la "première". Une fois ce regroupement réalisé on peut passer à l'étape de "géocodage" avec l'adresse ou de localisation avec l'Atlas LLS. (j'en suis là).

Côté Ile-de-France le travail de géolocalisation a fait l'objet d'aller-retours entre le SIG et l'observatoire en allant même jusqu'à des vérifications terrain pour les cas les plus complexes. Il a ensuite débouché sur un dessin des périmètres des résidences. Cette localisation fine permet ensuite de procéder à des analyses à différentes échelles : quartier, ZUS/CUCS, ...

Et encore plus

Pour l'observatoire Ile-de-France une démarche partenariale d'observatoire du parc social a été engagée en parrallèle avec les bailleurs du territoire. Il a consisté notamment en la récolte et l’analyse des données OPS (occupation du pars social).
Ces données sont récoltées obligatoirement maintenant tous les 2 ans par les bailleurs. Les bailleurs récoltent à l’échelle des résidences une masse importante de données sur les ménages : structure familiale, âge des occupants, ressources des ménages (au regard des plafonds HLM), rapport à l’emploi, vacance des logements. Ces indicateurs sont disponibles pour les ménages en place et pour les emménagés depuis moins de 2 ans.
Comme d’une part ces indicateurs étaient disponibles à l’échelle des résidences et d’autre part on a des infos sur le patrimoine, il a été possible de réaliser un atlas du logement social mêlant occupation et structure du parc avec à la fois des analyses à une échelle large comparant les quartiers et secteurs de l’Agglomération entre eux et aussi de fournir des fiches d’identité de secteurs (avec ici aussi patrimoine et occupation).  Le lien OPS RPLS peut se faire ici à travers l'identifiant logement dans le SI du bailleur.

Voici les principaux champs d’analyse traités dans cet observatoire :

• Age du parc pour localiser le parc ancien, le parc 1960-70, le développement récent
• La typologie des logements pour faire ressortir la localisation des grands logements, ou des petits,
• Les classements DPE,
• La répartition par quartier des modes de financement à travers une nomenclature simplifiée des financements (PLAI/PLUS/PLS),
• Les niveaux de loyer segmentés par époque de construction et taille des logements et représentés à travers une carte carroyée.
• La rotation calculée à l’aide de la date d’emménagement des locataires,
• L'occupation avec 3 indicateurs : le stock avec les ménages en place, les flux avec les emménagés récents, et la comparaison à la moyenne agglo. 
• Les revenus avec 2 niveaux d’alerte, la part des ménages aux revenus inférieurs à 40 et 60% du plafond PLUS. Pour la prochaine mise à jour de l’observatoire un indicateur supplémentaire sera rajouté avec les ménages au dessus de 130% des plafonds PLUS. 
• La structure familiale à travers principalement le taux de familles monoparentales 
• Le pourcentage de ménages dont la personne de référence à moins de 30 ans ou plus de 65 ans

Une base en éternel renouvellement

On voit donc là qu'il est possible d'utiliser les données RPLS pour des analyses très intéressantes et qui pourront nous aider à apporter des informations pour nos prochains sujets "peuplement" apportés par la loi ALUR.
Néanmoins la base RPLS est somme toute difficile à utiliser avec un important travail de nettoyage initial à réaliser, comme le montre nos deux exemples.
Et enfin, cette base ne parait pas aujourd'hui parfaitement consolidée. Depuis la première livraison en 2011, les données ont été enrichies. Pour  la dernière livraison "Ile-de-France", il a été notamment ajouté les réservataires, avec une nomenclature peu pertinente, on a par exemple un item « Collectivités territoriales » qui ne sépare pas la commune, le département, la région. Bien que ce soit une excellente initiative, ce champ n’est rempli qu'à 50%.

J'ai découvert un blog sur les données

Ce blog renvoit apparemment à un projet plus large ayant comme ambition de « créer une plate-forme rassemblant les bases et outils d’observations et de modélisation de la ville ».
http://belgrand.blogspot.fr/ 
Projet à suivre ...

Les nombreux questionnements au cours de la vie d'un observatoire

La constitution d'un observatoire est un éternel recommencement :

• D'une part parce qu'il faut s'adapter au projet pour lequel il a été construit : le PLH dans mon cas qui arrive à terme au bout de six ans, mais aussi s'il est construit au service du pilotage d'une structure intercommunale car il doit s'adapter à l'évolution du contexte et des objectifs.
• D'autres part, parce que cette observation est liée à de nombreux facteurs extrêmement évolutifs :

• les évolutions législatives qui peuvent simplifier certains accès aux données ou à l'inverse les complexifier,
• l'évolution des partenariats,
• l'évolution des techniques avec, par exemple, l'évolution très rapide des technologies SOLAP et de tout ce qui relève de la "business intelligence",
• l'évolution des données comme par exemple l'abandon par l'INSEE des CSP au profit des PCS.

Autour de ces questions, la problématique permanente de l'observation porte sur le temps et les moyens qu'on lui accorde. L'observation est une discipline invisible et difficile à mettre en valeur. Pourtant, la simple signature d'une convention demande beaucoup de temps et d'énergie.

Observation et communication ?

Après avoir créé un embryon d'observatoire, comment utiliser au mieux les nombreuses données produites ? comment partager le résultat de nos observations ?

• Fréquemment, les observatoires débouchent sur des publications ciblées sur les différentes thématiques contenues dans les projets : l'habitat privé, la densité, l'évolution économique ... Ces publications sont soit carrément des livrets ou bien des plaquettes synthétisées en quatre pages.
• Dans d'autres cas, cette observation donne lieu à un partage avec les élus ou les partenaires du territoire sous forme de "petit déjeuner de l'observation" ou autres "ateliers".
• En tout état de cause ces différentes données doivent servir à enrichir les actions conduites sous forme d'analyses ponctuelles ou d'un socle complet de données utiles aux études.
• Enfin, l'observatoire doit enrichir les bilans à produire : tous les ans dans le cadre du PLH.

Une production diffuse

Dans mon expérience, à l'échelle d'un PLH sans véritable équipe d'observation, les données et analyses issues de l'observatoire sont "distillées" dans les différents documents de communication du PLH :

• Dans @u fil du PLH, la lettre mensuelle du PLH, diffusée par mail, sont insérées de courtes informations, par exemple : les zonages applicables à l'habitat, l'évolution des prix immobiliers, les nouveaux chiffres de population 2006, ...
• Dans le bilan annuel, l'outil de gestion des dossiers permet assez aisément d'éditer des données de synthèse telles que : prix moyen au m², charge foncière, densité de logements, part des subventions, évolution de l'autofinancement, etc.
• Dans le "guide du PLH", les éléments sur l'atlas du bâti et l'analyse des densités ont été mis en valeur dans une fiche spécifique sur les formes urbaines.
• Pour les actions, les données sont également utilisées pour réaliser des analyses spécifiques : par exemple pour cibler les ménages relevant de l'accession aidée à la propriété et les prix immobiliers qui leur seraient accessibles.

Par contre, l'échange sur les données statistiques "brutes" comme les séries longues extraites des données immobilières des notaires, les données PERVAL, reste difficile et ne parvient pas à intéresser. Il en est de même pour les cartes statistiques dynamiques intégrées plusieurs années sur le portail "info&carto" du Grand Avignon. Ces outils complexes ne sont regardés que par des spécialistes et s'avèrent difficiles à consulter tout autant qu'à mettre à jour.

Variables et indicateurs

Le choix des indicateurs d'un observatoire est une étape essentielle pour passer de la simple compilation de données à un observatoire.

Dans le meilleur des mondes le choix des indicateurs se fait à travers des groupes de travail croisant différents regards et plusieurs expertises.

• Un indicateur est un élément complexe qui associe plusieurs variables.
• Les variables sont les différentes données chiffrées servant à composer les indicateurs.

Le CERTU, dans le cadre de sa méthode acteur, a ainsi conduit des réflexions sur des indicateurs applicables aux domaines de l'urbanisme. Dans le domaine du logement on trouve par exemple une publication sur "Comment peut-on qualifier l’offre en logement suivant les territoires ? Approche de la question et proposition d’indicateurs"

Autre exemple d'indicateurs complexes, le "baro-metropole" de l'agglomération Rennaise, construit dans le cadre de l'agenda 21. Ce baromètre regroupe 70 indicateurs de comparaison, situant les résultats du territoire aux données d’un panel de métropoles comparables, et 77 indicateurs locaux. 

La comparaison se fait sur une échelle de A à G équivalente aux étiquettes énergétiques.

http://www.rennes-metropole.fr/agenda-21-le-barometre,165858,fr.html   

Localement et avec de petits moyens humains, une variable peut déjà constituer un indicateur. D'ailleurs, sa construction en série longue est aussi importante que sa complexité. L'évolution des variables et indicateurs dans le temps est aussi importante que les valeurs de chaque indicateur à un instant donné.

Les contraintes de l'observation

L'exploitation des données contenues dans un observatoire est soumise à des obligations de plusieurs nature :

• les obligations strictement déontologiques de la statistique, 
• les obligations plus précises du secret statistique telles qu'elles résultent de la loi de 1951, 
• les obligations qui découlent de la loi informatique et libertés et des directives de la CNIL.

Règles statistiques :

• définir les données utilisées : sont-elles complètes, représentent elles un échantillon ?
• vérifier les données de manière à repérer les éventuelles erreurs ou les écarts importants,
• respecter les règles de l'analyse statistique en ne travaillant pas sur des échantillons trop réduits.

A l'inverse, s'appliquent également les règles d'accès aux documents administratifs qui favorisent la diffusion dès lors que l'intérêt de la divulgation est supérieur à celui de la protection des données. Plus récemment s'applique progressivement la directive INSPIRE qui impose la mise à disposition des données publiques dans de nombreux domaines environnementaux ou d'occupation du sol.

Principales lois :

• Le secret statistique est défini dans la loi n° 51-711 du 7 juin 1951 modifiée sur l’obligation, la coordination et le secret en matière de statistiques. Il a pour objectif de structurer, de coordonner la collecte, l’accès et l’utilisation d’informations statistiques. Il s'applique aux statistiques publiques, c'est-a-dire ayant eu l'agrément du CNIS pour leur collecte.

Il interdit, pendant une durée de cent ans, toute communication de données ayant trait aux faits et comportements d’ordre privé recueillies au moyen d’une enquête statistique. Les renseignements d’ordre économique ou financier ne peuvent être communiqués à quiconque pendant une durée de trente ans. De plus cette loi interdit aussi la publication de données qui permettraient une identification indirecte des personnes. Ainsi pour les données relatives à des personnes morales, le niveau d’identification est lié au nombre d'unités (ex: entreprises…) utilisées pour constituer une information sur une zone (ce nombre devant être suffisant pour qu’il ne soit pas possible d’identifier une personne morale particulière).

• La loi n° 78-17 du 6 janvier 1978 modifiée, relative à l’informatique, aux fichiers et aux libertés, a pour objectif d’empêcher que des traitements de données à caractère personnel puissent porter atteinte à la vie privée des personnes et à l’exercice des libertés individuelles. Son respect est assuré par la CNIL, commission nationale informatique et libertés.

A ce titre, constitue une donnée a caractère personnel toute information relative à une personne physique identifiée ou qui peut être identifiée, directement ou indirectement, par référence a un numéro d'identification ou a un ou plusieurs éléments qui lui sont propres. Les données à caractère personnel sont les origines raciales, les opinions (politiques, philosophiques et religieuses), les appartenances syndicales ou les informations concernant la santé des personnes, mais également d'après la CNIL les numéros de voirie ou le parc HLM.  Dès lors qu'un document (carte,...) est élaboré a partir de données personnelles, il doit s'inscrire dans le dispositif de la loi de 1978. Il relève donc d'une déclaration de traitement à la CNIL.

Pourquoi le partenariat ?

La mise en place d'un observatoire nécessite des partenariats nombreux et solides.

Ces partenariats sont nécessaires :

• pour accéder aux données produites par les différents organismes, notamment publics, de manière à éviter autant que possible la production en double de données, sachant que la production de données engage des moyens importants et donc des coûts,
• de manière à être complémentaire avec les autres initiatives : dans le privé il peut y avoir des initiatives faisant fi de tout autre projet pour par exemple les concurrencer, dans le public à priori il faut rechercher la "maximisation" des moyens mobilisés de manière à ne pas dilapider l'argent public,
• mais également car l'observation se construit avec les acteurs de l'action de manière à bien définir les thèmes d'observation et préparer la phase d'information et communication sur les résultats de l'observation.

Néanmoins, ces partenariats ne sont pas toujours faciles à développer. La difficulté est que chaque action et chaque organisme a ses propres contraintes qui ne sont pas toujours faciles à conjuguer. 
Il faut donc combiner un certain pragmatisme au principe du partenariat. Ce qui impose quelquefois d'avancer pour répondre à ses propres questions tout en gardant "en ligne de mire" l'objectif de développer les réflexions complémentaires et d'éviter la création de données redondantes.

Les difficultés d'accés aux données

L'accés aux données n'est pas un long fleuve tranquille. Les difficultés rencontrées sont d'ordre organisationnelles et géographiques :

• Des données hétérogènes selon les sources : même quand il y a une volonté d'homogénéiser les données ces initiatives sont souvent régionales : à l'image du CRIGE en PACA ou du travail des CETE, régionalisé. Par exemple : la DRE PACA a mis en place un Atlas du logement locatif social mais il n'existe pas d'initiative équivalente en Languedoc Roussillon
• Des modes d'organisation différents : en matière de construction neuve, le ministère de l'équipement produit des données sur tout le territoire français enregistrées dans le fichier SITADEL sur la base des éléments fournis par les communes. Celui-ci est accessible de plusieurs manières et notamment à travers un site internet et les services statistiques des Directions Régionales de l'Equipement. Les deux DRE ne livrent pas les données de manière équivalente ce qui fait que l'on utilise finalement les données mises à disposition sur le web même si l'on sait qu'elles sont de moins bonne qualité que les données DRE
• Des soucis d'accés aux données détaillées soumises aux obligations CNIL : ainsi, les données FILOCOM qui découlent d'un croisement des données cadastrales et des données de la taxe d'habitation, sont soumises à de fortes contraintes d'échelle qui imposent des regroupements géographiques importants sur les secteurs les moins urbains.

Echelle et application des seuils

Seuils statistiques et protection des données personnelles contraignent les échelles d'analyse.  Voici les principaux seuils minimaux applicables :

• Perval : 5 transactions
• Taxe d’habitation : 11 articles d’imposition.
• Taxes foncière et professionnelle  : 3 articles d’imposition ou une imposition concourant à plus de 85% de celle de la commune 
• Filocom : 11 foyers fiscaux
• EPLS  : données sensibles : moins de 3 bailleurs ou qu’un bailleur concourt pour plus de 85% à sa valeur ; non communicables : données de gestion.
• ECLN : 5 opérations ou 3 opérateurs
• INSEE : IRIS 2000 (ilots d’habitat de 1800 à 5000 habitants, homogènes quant au type d'habitat; ou ilots d’activité qui regroupent plus de 1 000 salariés et comptent deux fois plus d'emplois salariés que de population résidente)

Par exemple, sur mon territoire, les données immobilières PERVAL ne peuvent pas être étudiées à l'échelle communale car les échantillons annuels sont trop réduits.

La pérennité des données

Depuis le début de l'observatoire, les données ont fortement évolué. Ce qui impose des réorganisations des données et ce qui peut handicaper l'analyse en série longue. Deux exemples :

• La BDSL : au départ j'ai utilisé les données BDSL pour obtenir le nombre d'allocataires CAF, RMI, ... mais il s'est avéré que ce serveur n'était pas suffisamment actualisé et que des communes étaient absentes.
• Les nouvelles données localisées de l'INSEE : l'INSEE met maintenant à disposition des données localisées très intéressantes mais d'une année sur l'autre celles ci ne sont pas structurées de la même manière, et dans certains cas ces nouveaux modes d'accés remplacent les données mises en place préalablement comme par exemple les données sur les revenus, auparavant disponibles auprès de la DGI, désormais dénommée DGFIP.

Mes thèmes de travail

L'expérience des observatoires appliqués aux territoires nous montre qu'il est souhaitable d'axer son observation sur les problématiques locales, ce qui est un gage de pérennité et d'efficacité. D'où l'importance de cibler son observation sur son projet.

Dans ce soucis de pragmatisme et en ciblant sur les objectifs du PLH, mon observatoire s'est attaché à mettre en perspective les données au travers des objectifs attribués au Programme Local de l'Habitat du Grand Avignon :

• Développer une offre locative sociale : liste et cartographie du logement social du Grand Avignon (existant et projets), suivi de la demande en logements, suivi de la demande étudiante,
• Mettre en place une stratégie foncière : atlas du bâti, recolement et analyse des POS, études foncières, indicateurs d'occupation des sols, suivi de la production de logements,
• Valoriser le parc de logements et les quartiers existants : statistiques ANAH?
• Favoriser une cohésion sociale : suivre l'évolution des prix du foncier, des prix de la construction, des prix des loyers, ...
• Promouvoir la qualité de l'environnement et la qualité urbaine

En regard de ces objectifs, une palette d'indicateurs a été mise en oeuvre. A proprement parler, des variables promues au rang d'indicateurs :

• des indicateurs de cadrage d'une part qui permettent de suivre l'évolution socio-économique générale et donc le contexte dans lequel le PLH intervient,
• des indicateurs ciblés sur notre action de manière à évaluer de quelle manière le PLH remplit les objectifs assignés initialement.

Dans la période d'étude initiale, les principaux thèmes d'observation envisagés ont été présentés en Atelier PLH. L'atelier "Projet" en l'occurrence, regroupant principalement les collègues des services urbanisme des communes et l'agence d'urbanisme. Voici les cinq thèmes d'observation correspondant aux objectifs du PLH présentés au groupe de travail dès 2005 :

Indicateurs habitat	Données de base / initialisation de la collecte	Source de données	Organisation de la collecte des données	Quels partenaires ? Quels moyens ?
Quelles sont les tendances d'évolution de la construction neuve : volume ? Répartition géographique ? Type de produits ?	Intégrer les données du diagnostic PLH	Analyse des permis de construire, données fournies par les services urbanisme des communes Données Filocom via DDE	Charte de l'observatoire du PLH	Analyse service PLH + EMOH Ville d'Avignon Atelier PLH Projet
Quelles sont les tendances d'évolution des marchés fonciers et immobiliers ? volume ? Répartition géographique ? Type de produits ?	Intégrer les données du diagnostic PLH	PERVAL fichier des notaires Analyse des DIA communales, données fournies par les services urbanisme des communes Analyse des DIA SAFER ? Données ADIL Données FILOCOM via DDE	Commande annuelle données PERVAL Données SAFER ? Charte de l'observatoire du PLH	Atelier PLH Projet
Quelle est l'évolution du parc de logements locatifs sociaux ? Volume ? Répartition géographique ? Type de logements ? Profil des locataires ?	Cartographie et base de données du logement locatif social en cours d'intégration au SIG	Bailleurs sociaux DDE DRE	Charte de l'observatoire du PLH  Atlas du Logement Locatif Social	EMOH Ville d'Avignon pour expérience charte Atelier PLH Projet et Produire DDE Observatoire départemental de la demande locative
Quelle est la disponibilité du foncier et quel est le potentiel de rénovation urbaine ?	Intégrer les données du diagnostic foncier PLH	Atlas du bâti du Grand Avignon (étude CAUE) Rècolement des POS de l'agglomération à construire Etude de repérage foncier	Intervention CAUE Atlas urbain construit en partenariat avec les communes et le SCOT	SCOT Atelier PLH Foncier Urbanisme
Quelle est la mobilisation autour du PLH ? Comment avancent les actions ?	Détail des objectifs du PLH	Tableau de bord opérationnel du PLH	En continu et pour les bilans annuels par service PLH	Ateliers PLH et commission Habitat

Pour le prochain PLH sont listées, dans chaque action, un certain nombre de variables nécessaires à l'évaluation. La mise à jour des variables et indicateurs représente un travail à part entière.