Flash Infos

Évaluer l’impact des activités de formation: aperçu de la proposition du Secrétariat de l’OMD

Par Dr. Si Mohamed El Hail, Secrétariat de l'OMD

La plupart des administrations des douanes consacrent une part importante de leurs ressources aux activités de formation et de développement des compétences. La mise au point et la diffusion de formations s’inscrivent également parmi les principales activités de l’OMD.[1] Mais comment évaluer ces activités et déterminer si elles aboutissent aux résultats escomptés? La question a été posée lors de la session du Comité de renforcement des capacités de 2021 et le Secrétariat de l’OMD a été invité à mettre au point un modèle d’évaluation qui puisse être appliqué aux activités de formation de l’Organisation. Le présent article offre un aperçu de la méthode et des outils proposés par le Secrétariat ainsi que des ressources que leur mise en œuvre exige.

Un processus qui commence avant le début de la formation en soi. Et qui se poursuit bien après

Pour évaluer les effets d’une activité de formation, le Secrétariat de l’OMD mesure habituellement le niveau de satisfaction des participants, à quelques exceptions près. Ce paramètre peut suffire pour les activités de formation « ponctuelles » mais il est insuffisant s’agissant des programmes de renforcement des capacités sur-mesure et à long terme. Les formateurs, les gestionnaires et, dans certains cas, les donateurs de ces programmes doivent comprendre quels éléments d’une formation sont efficaces et pertinents, et lesquels sont inefficaces et inutiles, afin de pouvoir déterminer les améliorations à apporter.

Le graphique n°1 présente un possible modèle opérationnel de l’OMD pour ce type de formations. Il prévoit un processus itératif et une évaluation à toutes les étapes. La première, qui devrait servir de fil conducteur pour l’intégralité du processus, consiste à définir les attentes du bénéficiaire en concertation avec lui.

Cette approche pédagogique se fonde sur l’idée que l’évaluation vient sous-tendre et guider la conception, la planification et l’exécution de la formation. Elle aide à calibrer les attentes de l’administration concernée mais aussi les objectifs du formateur et la prestation du service en soi. Sur cette base, l’évaluation devrait donc commencer en amont de la formation proprement dite et se poursuivre en aval. Sinon, il ne resterait pas grand-chose à évaluer.

Pour que l’évaluation soit efficace, elle devrait se centrer sur les changements au niveau de la performance qui peuvent être directement attribués à la formation. Avant la conception et l’élaboration de l’activité, il est impératif de définir des résultats escomptés ainsi que des indicateurs. En d’autres termes, il est essentiel de déterminer les connaissances, les compétences et les comportements spécifiques que les participants sont censés acquérir, ainsi que ce qu’ils sont censés faire différemment une fois la formation terminée. Le processus d’évaluation sera basé sur une description claire de ces éléments et suppose dès lors de recueillir et d’analyser des informations ou des données à différents stades, pour déterminer si les buts de la formation ont été atteints ou pas et pour décider des activités futures. Des outils de rapport et des documents-types sont utilisés pour recueillir ce type de données.

Cadre d’évaluation de la formation et du développement de l’OMD

Compte tenu de tous ces éléments, le Secrétariat de l’OMD a mis au point un Cadre d’évaluation de la formation et du développement visant à offrir une approche globale et normalisée pour évaluer les activités de formation de l’OMD. Comme le montre le graphique n° 2, le cadre se compose de trois phases d’évaluation, dont chacune exige l’implication de plusieurs parties prenantes.

Toutes les phases fonctionnent ensemble, chacune complétant les autres.  La première phase porte sur une « appréciation préalable à l’activité » : elle aide à jauger le niveau de préparation de l’apprenant et du formateur. Durant cette phase, les activités doivent être menées en parallèle avec la définition des attentes des parties prenantes, l’analyse des besoins et la conception de la formation.

La deuxième phase est celle de « l’évaluation des résultats » ou de « l’output ». Elle a lieu durant la phase d’exécution de la formation et se centre sur l’évaluation tant des réactions de l’apprenant que du formateur, ainsi que sur les résultats d’apprentissage des participants.

La troisième phase, dénommée l’évaluation a posteriori (après l’activité), sert à mesurer l’efficacité de la formation en soi. Dans la pratique, les outils utilisés durant cette phase évaluent le niveau d’application des nouvelles compétences acquises par le participant sur son lieu de travail et dans quelle mesure ce qu’il a appris améliore sa performance professionnelle et, par un effet d’entraînement, celle de l’organisation.

Implications au niveau des ressources

L’application d’un tel cadre exige que le Secrétariat de l’OMD dispose de ressources supplémentaires. Elle exigera l’établissement d’une unité de suivi et d’évaluation, avec un personnel spécialement affecté à cette tâche, dont les responsabilités incluront la mise au point d’une stratégie de formation alignée sur le Plan stratégique de l’Organisation, ainsi que des outils numériques pour collecter des données et ouvrir la voie à un processus de rapport fluide et efficace. Il sera également nécessaire de mettre sur pied un Conseil consultatif de la formation et du développement pour superviser le système de formation.

Par ailleurs, il est essentiel de revoir et de renforcer la politique d’accréditation des experts de l’OMD à travers la mise en œuvre d’un processus d’évaluation des compétences. Tous les formateurs, qu’ils soient des experts nationaux ou des membres du personnel du Secrétariat, devraient également participer à des programmes de remise à niveau des compétences pour assurer le développement continu de leurs aptitudes.

Enfin, outre l’unité de suivi et d’évaluation, toutes les parties impliquées dans la formation devront s’approprier l’approche proposée. Du personnel du Secrétariat aux experts accrédités et aux représentants des donateurs, en passant par les participants à la formation et leurs superviseurs, tous auront un rôle important à jouer dans son exécution.

Tous les outils pour évaluer les activités de formation et de développement de l’OMD seront compilés dans un guide qui sera présenté au prochain Comité du renforcement des capacités début 2023.

En savoir +
Capacity.building@wcoomd.org

[1] Conformément au plan institutionnel de l’OMD, plus de 85% du nombre total des activités menées chaque année ont trait à la formation et au développement des compétences.