L'évaluation du SPRO : démarche et résultats

L’évaluation du SPRO est prévue dans son cahier des charges régional. Les résultats attendus au fil de l'eau de 2018 à 2020 doivent permettre de déterminer les forces et faiblesses du projet mis en place en 2015.

Evaluation SPRO de 2022

Document PDF de 4 pages

Document PPT de 27 pages

L’évaluation répond à une commande de trois niveaux d’acteurs :

  • Les acteurs régionaux du SPRO - Service Public Régional de l'Orientation - qui se sont engagés dans le cadre du cahier des charges à conduire  une évaluation et un suivi du service mis en place.
  • La Région, qui pilote et suit le déploiement du SPRO sur les territoires. Elle apporte des financements et anime le SPRO. Elle participe activement à la mise en place de l’évaluation et à son financement.
  • L’Europe, qui apporte des financements complémentaires au projet et attend en contrepartie qu’une évaluation précise soit conduite pour mesurer les effets de son soutien. Des financements sont prévus pour la réalisation de l’évaluation.


L’évaluation doit porter un regard sur l’organisation du projet, sa conduite, ses résultats.
Elle doit permettre de trouver des leviers d’amélioration du service rendu aux acteurs et aux usagers et de réorienter le projet si nécessaire.

Les 3 principales questions posées pour cette évaluation sont les suivantes :

Question 1 : Dans quelle mesure les différents acteurs de l’orientation se connaissent-ils bien ? 

Trois critères vont être utilisés pour apporter un jugement sur cette première question : d’abord, le dynamisme des réseaux (1-1), c’est-à-dire l’intensité des activités communes aux acteurs qui les constituent. Ensuite le développement d’une culture commune (1-2), qui se traduit notamment par l’interconnaissance des acteurs, la participation à des formations communes, l’harmonisation et la complémentarité des pratiques. Enfin le sentiment d’appartenance de tous les agents des structures engagées dans le SPRO à ce service public régional (1-3).

Question 2 : Dans quelle mesure les moyens alloués au SPRO par la Région et le FSE lui ont-ils permis de réaliser ses objectifs ?

Il s’agit ici de déterminer si la Région a mis à disposition des acteurs les outils communs (2-1) nécessaires à la mise en œuvre du SPRO, tels que des systèmes d’informations communs ou des diagnostics territoriaux des réalités socio-économiques. La capacité qu’auront eue les réseaux à réaliser leur projet de territoire (2-2). Pour finir, il est proposé d’analyser le rôle de coordinateur local et les moyens humains mis à disposition au niveau régional pour piloter et faire vivre le SPRO tant au niveau régional que local (2-3).
 

Question 3 : Dans quelle mesure le SPRO a-t-il permis l'amélioration du service d'orientation ?

Pour juger de l’impact du SPRO sur l’amélioration du service, les critères choisis sont ceux de la lisibilité du service (3-1) ; de la continuité des parcours des usagers (3-2) ; et enfin, celui de la qualité de service (3-3).

Des résultats complets en 2019, des résultats partiels en 2017 et 2018


La collecte des données a été réalisée durant toute la période 2016-2019. 

L’évaluation a été conduite "chemin faisant" au cours de la mise en œuvre du SPRO. Cela a permis de réorienter le projet  à réception du rapport d’évaluation. Le rapport a été réalisé par un prestataire indépendant.

Un premier jugement évaluatif en 2018

Afin de disposer de résultats préparatoires au plus tôt, un prestataire a été missionné pour répondre à la question 1 : "Dans quelle mesure les différents acteurs de l’orientation se connaissent-ils bien ?".
Cela a permis de porter un premier regard sur les travaux engagés sur l’interconnaissance des réseaux depuis 2015.
 

Le rapport d’évaluation de la question 1

Un 1er rapport a été réalisé par Itinere Conseil en mai 2018 pour répondre à la question 1 : "Dans quelle mesure les différents acteurs de l’orientation se connaissent-ils bien ?"

>

SPRO evaluation-Q1- rapport finalapplication/pdf - 5.31 Mo

> Télécharger la synthèse du rapport (4 pages)

Le rapport d'évaluation des questions 2 et 3

"Dans quelle mesure les moyens alloués par la Région et le FSE ont-ils permis de réaliser ses objectifs ?"

"Dans quelle mesure le SPRO a-t-il permis l’amélioration du service d’orientation ?"

> Réponses dans le rapport d'évaluation d'Amnyos du 6 juillet 2022

Pour aller plus loin

Les acteurs ont clarifié les objectifs du SPRO avant de choisir les questions à poser dans le cadre de l’évaluation.

Le schéma général du "projet" SPRO :

> arbres des logiques

> diagramme logique d'intervention

Les documents et outils de travail concernant l’évaluation :

> présentation de la démarche

Les questions évaluatives et les indicateurs :

> process d'évaluation du SPRO

> tableau de bord des questions et indicateurs

Et pour en savoir plus, le guide complet des indicateurs :

> guide des indicateurs d'évaluation du SPRO de Châteaudun

Le guide et les outils pour les coordonnateurs :

> note explicative 2018

> indicateurs 2017-2018

> charte graphique

> feuille d'émargement

Le guide et les outils du GIP Alfa Centre-Val de Loire :

> fiche n° 1 rôle du GIP Alfa pour la collecte des données

> tableau de bord du GIP Alfa

Le guide et les outils pour les animateurs régionaux :

> fiche n° 1 rôle des animateurs régionaux pour la collecte des données

> tableau de bord des animateurs régionaux

Sur le projet d'évaluation

Le projet d’évaluation a été défini par le réseau de Châteaudun, et partagé avec les coordonnateurs des 12 réseaux locaux, avec le comité technique régional et la commission Orientation du Crefop.

Les acteurs de Châteaudun ont souhaité que l’évaluateur porte un regard sur l’efficacité et l’efficience du SPRO.