Quel est l’intérêt de mettre en place une mesure d’impact social. Comment fait-on ? À quel moment la mettre en place ?

La session a rassemblé des porteurs de projets, pouvoirs publics et professionnels de la mesure d’impact pour mettre en partage les enjeux, embûches et pistes de solution pour mettre en place une mesure d’impact.

Pourquoi se lancer dans une démarche de mesure d’impact ?

Tout d’abord, face à la simple difficulté à mesurer son impact, qui se situe bien souvent dans le temps, il est un indicateur qualitatif. Il faut également faire la distinction entre indicateurs de moyens (ce qu’on met en place) et les résultats (ce qu’on a obtenu la fin). Lorsque l’on s’adresse à des publics précaires et/ou fragiles, les techniques classiques de collecte de données et d’information ne sont pas toujours adaptées. La mesure d’impact sert à identifier les externalités, qui sont aussi parfois négatives. Enfin, il s’agit aussi de rendre compte du travail réalisé aux parties prenantes, aux financeurs notamment.

Jasmine Castay – Kimso : Quand faire une mesure d’impact ?

Le terme “impact social” est maintenant très utilisé, on pourrait presque dire galvaudé. De nombreuses définitions existent, données par plusieurs organismes (UE, OCDE, …). Il faut donc s’accorder sur ce dont on parle lorsque l’on aborde le sujet, pour éviter toute mésentente. La définition retenue par le cabinet est la suivante  : “L’ensemble des conséquences qu’une action va produire sur l’ensemble des parties prenantes (au sens large) “. Au sens large, signifie que l’on prend en compte bien sûr les bénéficiaires, mais aussi les bénévoles et la société.

Les avantages diffèrent en fonction du stade auquel on procède :

• Commencer très tôt permet de se poser les bonnes questions dès le départ, par exemple : « quel est mon impact potentiel ? » ou « sur quelles parties prenantes ? »
• Au départ, les entretiens permettent d’avoir une compréhension très fine de ce que l’on produit. Quand on a pas encore forcément la matière pour produire des données statistiques fiables, le nombre de bénéficiaires étant encore faible, c’est un très bon moyen de savoir si l’on va dans le sens que l’on s’était fixé au départ.
• Par la suite, les données chiffrées parlantes permettent de s’adresser à des financeurs, et peuvent aussi être utilisées dans des logiques de plaidoyer.

[question public] Quel est le coût d’une telle démarche ?

• Celui-ci peut beaucoup varier en fonction du degré d’externalisation. Est-ce que le cabinet va procéder de A à Z, ou simplement apporter un regard extérieur sur tel ou tel point d’une démarche réalisée en interne ?

[question public] Comment valoriser la mesure d’impact ?

• Faire la démarche avec les premiers concernés, qu’ils s’approprient la mesure
• quels éléments, à quels arguments les personnes visées vont-elles être sensibles, trouver des “alliés” pour construire un argumentaire, “fonctionner par cercles concentriques”

[question public] quelles sont les méthodes les plus utilisées par les cabinets pour collecter des données ?

• l’entretien semi-directif : On commence par établir une trame d’entretien, en fonction de ce qu’on veut faire ressortir, des informations que l’on recherche. Les questions doivent être ouvertes pour permettre à la personne interrogée de s’exprimer librement tout en la guidant.
  
• Les méthodes quantitatives : par indicateurs, par comparaisons, comme cela a été fait par Voisins Malins, monétaires (SROI et l’analyse coût-bénéfice).
  
• Le plus souvent, on pioche dans ces options, en fonction des besoins, de là où on en est dans la démarche/dans le projet, pour aboutir à un mélange ; les indicateurs qualitatifs et les verbatims complètent les données quantitatives.

Louise de Rochechouart – Avise

La chaîne de valeur de l’impact se décompose en 2 segments :

• Les ressources (humaines, financières, …) et les activités (ce que propose concrètement la structure qui cherche à évaluer son action), elles correspondent aux moyens mis en œuvre.
• Les réalisations, les résultats et les impacts (résultats)

L’évaluation de l’impact est une démarche qui vise à comprendre, mesurer, valoriser les effets de son action. C’est une démarche sur le long terme, qui s’enrichit et se modifie au fil de l’eau, en fonction de ce que l’on observe. L’idéal est d’intégrer des processus de collecte de données pendant les activités “classiques”, par exemple un questionnaire en fin d’activité/d’intervention.

Toute démarche d’évaluation se déroule en trois grandes phases :

• Tout d’abord, il s’agit de définir ce qu’on va évaluer : pourquoi est-ce qu’on se lance, qu’est-ce qui motive la démarche d’évaluation ? Cela conduit aussi à s’interroger sur la cartographie des impacts, à se poser la simple question “quelle est ma mission sociale ?”.
• Par la suite, on entre dans la phase de mesure proprement dite : comment je mets en place la démarche ? quels outils de collecte, je vais utiliser ? pour alimenter quels indicateurs ?, etc.
• Enfin, il s’agit d’utiliser les données produites : analyse des données, interprétation des résultats de manière collégiale, en interne pour identifier les angles morts de ce qui est évalué, etc. Les résultats peuvent aussi être utilisés à des fins de valorisation, de plaidoyer, …

[question public] Quel est le coût de financement ?

Le coût de financement d’une telle démarche dépend des cabinets, ça commence à 20k €, mais les coûts varient en fonction de ce qu’on demande au cabinet. Quelle que soit l’approche choisie, il faut prévoir du temps en interne pour travailler avec le cabinet, pour que les membres de celui-ci en charge du processus puissent discuter avec les chargés de mission.

[question public] comment évaluer les discours ? quels outils ? Comment mesurer l’évolution du discours ?

On peut pour cela procéder par comparaison, en observant l’évolution du vocabulaire/discours/langage ou l’occurrence des mots utilisés, entre le début et la fin d’une intervention.

Camille Bergeret – Voisin Malin : L’expérience de Voisin Malin dans la mesure d’impact 

Voisin Malin a commencé sa démarche d’évaluation en 2013. L’association en est à son 8e accompagnement. Ces démarches sont motivées par l’envie de mieux comprendre et identifier les dimensions de l’impact de l’action de Voisin Malin, afin de pouvoir déterminer les leviers à actionner pour aller encore plus loin, ainsi que par une volonté d’être au clair sur ce qu’on fait sur quelle est la plus-value de l’association.
Les démarches d’évaluation ont commencé par une évaluation du social return on investment (SROI).

VoisinMalin réalise aussi des cartographies de son impact, c’est-à-dire se poser la question de savoir quelle action produit quel impact, sur quel public.

L’évaluation a notamment été très utile pendant la phase de croissance. Il y avait un fort besoin d’objectiver, pour pouvoir affirmer la pertinence de cette croissance. Il fallait également pouvoir dégager quels étaient les fondamentaux, et sur quels leviers d’impacts s’appuyer en priorité. La démarche devait aussi permettre d’approfondir les leviers d’impact auprès des principales parties prenantes.

[question public] le coût d’une telle démarche varie, de 20 à 80k €, en fonction de ce que l’on demande. On est par exemple pas obligé de faire réaliser une démarche complète, il peut s’agir d’un accompagnement plus léger : un regard ponctuel, une aide à la structuration d’outils d’évaluation qui seront ensuite utilisés par les équipes, …

L’association est à présent dans une démarche d’internalisation de ces démarches d’évaluation au reste des processus.

Jade Menouer – cravate solidaire

La démarche d’évaluation permet notamment à l’ensemble des parties prenantes à la démarche, de mettre tout le monde autour d’une même table. Les évaluations d’impact réalisées par la Cravate Solidaire sont surtout orientées vers les bénéficiaires :

• Est-ce que ceux-ci ont une meilleure compréhension des codes de l’entretien suite aux interventions ?
• Comment varie leur confiance en eux/elles ?
• Quel est le taux de retour à l’emploi/la formation pour les bénéficiaires ?

La démarche d’évaluation d’impact a été mise en place en 2019, lors du changement d’échelle de l’association, et aura duré pendant toute cette phase. Les bénéficiaires se sentent valorisés/soutenus durant les sessions de formation. L’évolution de la confiance en soi est difficile à mesurer et est bien plus aisé à mesurer maintenant. 

[question public] Quelle est la part des retours des bénéficiaires à +3 mois ?

La part de retour est de 70%. Ce chiffre est atteint via des mails de relance, des appels, …

Merci à celles et ceux qui ont participé au Webinaire organisé par Bleu Blanc Zèbre sur le bénévolat ponctuel !

Merci aux intervenants :
– Jasmine Castay, Consultante – Evaluatrice en impact social chez Kimso
– Louise de Rochechouart, responsable de pôle chez l’Avise
– Camille Bergeret, Responsable impact et valorisation chez VoisinMalin
– Jade Menouer, Chargée d’animation réseau & programmes QPV chez La Cravate Solidaire

Merci à Louise de Saint Exupéry, chargée de mission innovation territoriale à la Croix-Rouge française et Laurent GALAZZO, responsable de l’animation de la communauté chez Bleu Blanc Zèbre, pour l’animation de ce zébinaire et à toute l’équipe pour son aide !