E-Entraînement, E-Formation et Educ Pop 2.0

Espace de mutualisation pédagogique de formateurs du ministère des sports, de la jeunesse, de l'éducation populaire et de la vie associative

Bilan de l’expérimentation du MOOC des évaluateurs


L’expérimentation du MOOC des évaluateurs s’est déroulée en juin 2018. Cet article propose tout d’abord un bilan synthétique avec la suite du projet en découlant. En suivant, vous trouverez une présentation du projet englobant d’un réseau national numérique pour la formation Jeunesse et Sports généré par l’effet dynamique du projet MOOC.  Enfin, cet article est conclu par le bilan détaillé quantitatif et qualitatif de l’expérimentation.

Bilan et suite du projet:

Avant de procéder au bilan, je vous propose un rappel des objectifs de la formation des évaluateurs:

  • Une formation attestant la compréhension du cadre posé par le Guide des évaluateurs,
  • Former potentiellement 5000 évaluateurs sur 3 ans,
  • Système de badge et de délivrance d’un certificat de compétence d’évaluateur,
  • Un format adapté à des professionnels en activité, ayant par principe peu de temps disponible.

Le bilan qualitatif de l’expérimentation:

Des problèmes techniques ont perturbé l’expérimentation, couplé à une période du mois de juin peu propice aux professionnels pour trouver le temps nécessaire. Les problèmes techniques étaient essentiellement liés aux mots de passe générés par une inscription centralisée et par une ergonomie à optimiser de cette version bêta.

En revanche, l’adaptabilité de cette solution de formation, permettant une liberté de temps, de lieu et de séquençage des apprentissages, via des contenus pertinents et ludiques permettent une réelle formation d’évaluateur.  De la posture déontologique jusqu’à la rédaction de l’avis pris en commun avec le deuxième évaluateur, cette formation a le mérite de créer et diffuser un cadrage national de l’évaluation des diplômes d’état de l’animation et du sport.

Sur la forme, les consignes d’activité gagneraient à être plus précises et hiérarchisées, pour que l’ergonomie soit au service d’une pertinence attestée.

Il faudrait dorénavant, pour garantir de la qualité de l’évaluation des candidats, délivrer un certificat, puis un label, le rendre obligatoire, avec recyclage ou modules de spécialisation par mention de diplômes.

Le bilan quantitatif de l’expérimentation:

Dans le paragraphe « Bilan détaillé » de cet article, vous pourrez trouver les chiffres précis du suivi de ce MOOC.

Ce bilan, ambivalent, est conforme aux grands principes de la motivation. Le groupe de volontaire a suivi de manière satisfaisante cette formation avec une réelle volonté de s’emparer des ressources et activités proposées dans le MOOC. A l’inverse, le groupe des inscrits d’office, qui in fine sera le public à former, a très faiblement suivi cette formation.

Il y a une analyse pessimiste de l’expérimentation qui pourrait se calquer sur une analyse produite pour le journal Le monde « Les MOOCs font pschitt« . Pour moi, il faut aller plus loin dans l’analyse, en s’inspirant notamment d’une critique de cet article rédigée par Philippe Silberzahn, Sur les MOOC qui font pschitt… et sur l’innovation de rupture en général. En effet, je pense que pour cette formation des évaluateurs, recherche de qualité de la certification des diplômes d’état, il est nécessaire de réfléchir à un format plus adapté aux besoins identifiés (voir la problématique de départ posée dans Un mini-MOOC pour former les évaluateurs du BPJEPS).

En effet, entre un MOOC, un SPOC ou de la FOAD (voir Ressources en ligne, MOOC, SPOC et FOAD, #différences, #face à face pédagogique?), le groupe projet a identifié deux parcours pouvant satisfaire à la fois des personnes ayant besoin de trouver des ressources et une formation en ligne certifiante: deux parcours de formation permettant de poser le cadre mais restant toutefois adaptable à chaque situation locale.

Voici les deux scenarii proposés répondant à ces constats:

  • Une bibliothèque de ressources pour les évaluateurs en libre accès (complément en ligne du Guide des évaluateurs)
    • Disponibilité janvier 2019 (accès libre)
  • MOOC (ou plutôt SPOC ou FOAD) permettant de valider la compétence d’évaluateur, version de production pilotable par chaque DRJSCS selon ses convenances
    • Disponibilité février 2019 (nécessite la signature de la convention avec le CREPS de Dijon)
    • Condition d’accès : formation de 2 jours les 10 et 11 janvier 2019 des référents en DRJSCS pour assurer un tutorat pédagogique du MOOC décliné dans leur région

Une dynamique au-delà du MOOC des évaluateurs:

Pour rendre accessible à la fois les ressources ou le MOOC/SPOC en régions, il nous fallait disposer d’une plateforme de type LMS. Très rapidement, l’idée du groupe projet a été d’en profiter pour mettre à disposition des services et établissements publics du ministère d’un véritable réseau de production. En voici la présentation en quelques lignes:

Pourquoi une plateforme numérique ?
Le ministère des Sports veut inscrire sa mission de formation et de certification dans les enjeux de la République numérique (accès au numérique pour tous, circulation des données et des savoirs, dématérialisation et digitalisation). Dans une recherche permanente de qualité, il se doit d’appréhender les environnements numériques et digitaux dans leurs plus larges périmètres afin de doter ses services d’outils agiles et de répondre aux exigences de la formation professionnelle face aux enjeux actuels de la société.

RNSPF (Réseau National du Service public de Formation) : Objectif Général

  • Une plateforme numérique comme outil d’animation au service du réseau national des établissements publics et des services déconcentrés du ministère des Sports.
  • Dénommée Réseau Numérique du Service Public de Formation (RNSPF)
  • Regroupe les 21 établissements publics, le Campus de Bretagne, les DRDJSCS, DRJSCS et DJSCS.

Une domiciliation au CREPS de Dijon: Condition pour mener à bien cet objectif, le CREPS de Dijon, établissement « accompagnateur pour le développement du numérique au service des formations préparant aux métiers du sport et de l’animation », agit pour le compte du ministère des Sports.

Architecture de la plateforme:

  • Un espace de dépôt de ressources : données réglementaires, documents pédagogiques, rapports, études, analyses.
  • Un espace MOOC : l’équipe pédagogique nationale numérique développera des MOOCs régulièrement afin de répondre aux besoins de formation émergents.
  • Un espace d’échanges, de type forum, autour de thématiques pédagogiques (+ coordination nationale de filières).
  • Et une entrée indépendante pour chaque DR/EPF avec la possibilité de développer :
    • Des outils d’animation de réseau au service des missions
    • Des formations à distance

Le lien vers la plateforme RNSPF: https://claco-ministeresports.univ-lyon1.fr/

Bilan détaillé de l’expérimentation du MOOC des évaluateurs

L’expérimentation s’est déroulée du 25 mai au 29 juin 2018. Elle a concerné 662 utilisateurs. Dans ce groupe, il y avait deux types d’expérimentateurs:

  • un groupe de 170 volontaires (repérés par les membres du groupe projet national et volontaires)
  • un groupe test de 477 personnes inscrites sur la liste des évaluateurs du BPJEPS Activités de la Forme en Nouvelle-Aquitaine (ces personnes n’étaient donc pas volontaires, inscrites d’offices pour l’expérimentation)

Voici le suivi de ces deux groupes, en termes de participation au MOOC et de validation des badges:

Groupe Test Nombre de personnes composant le groupe test Nombres de personnes du groupe ayant réalisé un accès avec identification % du groupe ayant accéder avec identification Personnes ayant obtenu au moins un badge % du groupe ayant obtenu au moins un badge Nombre de personnes certifiées (obtention des 5 badges) % du groupe ayant obtenu la certification
Volontaires expérimentation 170 70 41,18 % 28 16,47 % 15 8,82 %
Liste BPJEPS AF NA 477 47 9,85 % 15 3,14 % 3 0,63 %

Malgré la période peu propice dans le milieu de la formation professionnelle, de très nombreuses certifications ayant lieu durant le mois de juin, l’échantillon de volontaire arrive à presque 10% de validation totale du MOOC (5 badges de séances donnant la certification). Près de la moitié de ces personnes se sont identifiées sur le MOOC et ont donc consulté les ressources.

Par contre, sur le groupe inscrit d’office, qui sera au final le public destinataire de la formation, le résultat est très peu probant. Effectivement, 3 personnes certifiées sur 477 au départ n’est pas du tout satisfaisant.

C’est bien pour cela que nous avons transformé le projet, dans une formule déclinée en région. Un utilisateur s’inscrit à un MOOC car il souhaite acquérir les compétences visées par ce MOOC. Ici, c’est le ministère certificateur qui impose en quelque sorte une labellisation certification des personnes concernées. Il faudrait donc à l’avenir que les personnes inscrites sur la formation par leur référent régional soient au fait du caractère obligatoire ou fortement conseillé de la formation.

Le bilan qualitatif présenté en début d’article s’appuie sur un questionnaire en ligne envoyé à tous :

  • 662 invitations envoyés (50 boites mail invalides, provenant de la liste des 450 évaluateurs du BPJEPS AF en Nouvelle-Aquitaine, ce qui demandera d’ailleurs un premier travail préalable de vérification des données contenues dans les listes d’évaluateurs)
  • 61 réponses (donc environ 9% du total et plus de 50% des personnes s’étant connectées)

Concernant les répondants:

  • 66% des personnes qui n’ont pas suivi le MOOC ont abandonné faute de temps.

Concernant les personnes ayant suivi le MOOC:

  • 75% ont trouvé les contenus adaptés (note de 8 à 10 sur une échelle de 10) avec 88% des attentes satisfaites

Voici un échantillon des attentes satisfaites:

  • Point sur toutes les dimensions du rôle de l’évaluateur
  • Ré-interrogation des modes d’évaluation – notamment sur la rédaction des commentaires – conforter mes choix en tant qu’évaluateur
  • Progresser à son rythme/pouvoir travailler à tout moment de la journée/ Apprendre de nouvelles compétences
  • Une certaine « remise en cause » de la profession ; en tout cas un référentiel du métier d’évaluateur mis en place, des questionnements intéressants, et des réponses concrètes
  • Qualité de la formation
  • Formation commune de l’ensemble des jurys sous le contrôle et validation de la DRJSCS. Elle répondait à un réel besoin sur le terrain vis à vis des stagiaires évalués et des organismes de formation

et exhaustivement les insatisfactions:

  • Simplifier la validation des modules sinon on décroche
  • Ne pas savoir si cette formation sera certifiée ou qualifiante
  • Possède déjà les compétences

Concernant la durée, le schéma suivant valide bien une durée moyenne de suivi d’une séance d’1h30 :

Pour les répondants le rythme d’une séance d’1h30 par semaine sur 5 semaines paraît satisfaisant:

A noter, les répondants, qui sont ceux qui ont validé tout ou en partie le MOOC, souhaitent très majoritairement que ce type de formation devienne obligatoire:

Une question portait sur les avantages, on voit bien que pour des professionnels en activité, la souplesse d’accès permise par le format MOOC (temps et lieu) est plébiscitée:

 

Publicités

Une réponse à “Bilan de l’expérimentation du MOOC des évaluateurs

  1. Pascal Choteau octobre 17, 2018 à 6:17

    A reblogué ceci sur inter.not.

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s

%d blogueurs aiment cette page :