Evaluation SPRO de 2022
Document PDF de 4 pages
Document PPT de 27 pages
L’évaluation répond à une commande de trois niveaux d’acteurs :
- Les acteurs régionaux du SPRO - Service Public Régional de l'Orientation - qui se sont engagés dans le cadre du cahier des charges à conduire une évaluation et un suivi du service mis en place.
- La Région, qui pilote et suit le déploiement du SPRO sur les territoires. Elle apporte des financements et anime le SPRO. Elle participe activement à la mise en place de l’évaluation et à son financement.
- L’Europe, qui apporte des financements complémentaires au projet et attend en contrepartie qu’une évaluation précise soit conduite pour mesurer les effets de son soutien. Des financements sont prévus pour la réalisation de l’évaluation.
L’évaluation doit porter un regard sur l’organisation du projet, sa conduite, ses résultats.
Elle doit permettre de trouver des leviers d’amélioration du service rendu aux acteurs et aux usagers et de réorienter le projet si nécessaire.
Les 3 principales questions posées pour cette évaluation sont les suivantes :
Question 1 : Dans quelle mesure les différents acteurs de l’orientation se connaissent-ils bien ?
Trois critères vont être utilisés pour apporter un jugement sur cette première question : d’abord, le dynamisme des réseaux (1-1), c’est-à-dire l’intensité des activités communes aux acteurs qui les constituent. Ensuite le développement d’une culture commune (1-2), qui se traduit notamment par l’interconnaissance des acteurs, la participation à des formations communes, l’harmonisation et la complémentarité des pratiques. Enfin le sentiment d’appartenance de tous les agents des structures engagées dans le SPRO à ce service public régional (1-3).
Question 2 : Dans quelle mesure les moyens alloués au SPRO par la Région et le FSE lui ont-ils permis de réaliser ses objectifs ?
Il s’agit ici de déterminer si la Région a mis à disposition des acteurs les outils communs (2-1) nécessaires à la mise en œuvre du SPRO, tels que des systèmes d’informations communs ou des diagnostics territoriaux des réalités socio-économiques. La capacité qu’auront eue les réseaux à réaliser leur projet de territoire (2-2). Pour finir, il est proposé d’analyser le rôle de coordinateur local et les moyens humains mis à disposition au niveau régional pour piloter et faire vivre le SPRO tant au niveau régional que local (2-3).
Question 3 : Dans quelle mesure le SPRO a-t-il permis l'amélioration du service d'orientation ?
Pour juger de l’impact du SPRO sur l’amélioration du service, les critères choisis sont ceux de la lisibilité du service (3-1) ; de la continuité des parcours des usagers (3-2) ; et enfin, celui de la qualité de service (3-3).
Des résultats complets en 2019, des résultats partiels en 2017 et 2018
La collecte des données a été réalisée durant toute la période 2016-2019.
L’évaluation a été conduite "chemin faisant" au cours de la mise en œuvre du SPRO. Cela a permis de réorienter le projet à réception du rapport d’évaluation. Le rapport a été réalisé par un prestataire indépendant.
Un premier jugement évaluatif en 2018
Afin de disposer de résultats préparatoires au plus tôt, un prestataire a été missionné pour répondre à la question 1 : "Dans quelle mesure les différents acteurs de l’orientation se connaissent-ils bien ?".
Cela a permis de porter un premier regard sur les travaux engagés sur l’interconnaissance des réseaux depuis 2015.
Le rapport d’évaluation de la question 1
Un 1er rapport a été réalisé par Itinere Conseil en mai 2018 pour répondre à la question 1 : "Dans quelle mesure les différents acteurs de l’orientation se connaissent-ils bien ?"
>
Le rapport d'évaluation des questions 2 et 3
"Dans quelle mesure les moyens alloués par la Région et le FSE ont-ils permis de réaliser ses objectifs ?"
"Dans quelle mesure le SPRO a-t-il permis l’amélioration du service d’orientation ?"
> Réponses dans le rapport d'évaluation d'Amnyos du 6 juillet 2022
Pour aller plus loin
Les acteurs ont clarifié les objectifs du SPRO avant de choisir les questions à poser dans le cadre de l’évaluation.
Le schéma général du "projet" SPRO :
> diagramme logique d'intervention
Les documents et outils de travail concernant l’évaluation :
Les questions évaluatives et les indicateurs :
> process d'évaluation du SPRO
> tableau de bord des questions et indicateurs
Et pour en savoir plus, le guide complet des indicateurs :
> guide des indicateurs d'évaluation du SPRO de Châteaudun
Le guide et les outils pour les coordonnateurs :
Le guide et les outils du GIP Alfa Centre-Val de Loire :
> fiche n° 1 rôle du GIP Alfa pour la collecte des données
Le guide et les outils pour les animateurs régionaux :
> fiche n° 1 rôle des animateurs régionaux pour la collecte des données
Sur le projet d'évaluation
Le projet d’évaluation a été défini par le réseau de Châteaudun, et partagé avec les coordonnateurs des 12 réseaux locaux, avec le comité technique régional et la commission Orientation du Crefop.
Les acteurs de Châteaudun ont souhaité que l’évaluateur porte un regard sur l’efficacité et l’efficience du SPRO.
