à propos des taux de réussite des MOOC et de ceux du MOOC GdP en particulier

Le chiffre le plus souvent cité dans un MOOC est celui des inscrits totaux : c'est le plus gros, le plus impressionnant, le plus "Massif"..  160.000, 230.000, et même 300.000 ça en jette !

Mais en fait, les défauts du nombre d'inscription comme point de départ sont rédhibitoires : calculé sur cette base, le taux final de réussite apparaît minuscule.. et surtout faux puisque les "inscrits", n'ont en fait jamais accompli d'acte "engageant" (au mieux donner leur mél, mais quand on est enregistré sur Coursera c'est en fait un clic sur un bouton).

Pour moi il faut identifier trois composantes :

1/ le taux d'entrée réel, c'est celui que je décris ci-dessus. Autrement dit, le no-show, ceux qui ne viennent en fait pas du tout... nous avons conduit une étude sur le sujet dans le MOOC GdP2 http://goo.gl/90YjYo. Logiquement, plus un portail est fréquenté et plus l'offre de MOOC est abondante, plus taux d'entrée réel baisse (de 66% à 28% pour le GdP).

Il faut le complémenter avec le dropout, terme désignant les apprenants inscrits sur un MOOC, mais ne suivant pas totalement le cursus : auditeurs libres - qui suivent la formation mais pas les examens - , simples curieux, ceux ayant rencontré des difficultés techniques, ceux auxquels cette manière d'apprendre ne convient pas totalement etc..

2/ une fois que l’apprenant est effectivement présent (par un acte à définir : se connecter à l’aide de son mot de passe, regarder une vidéo, répondre à un quizz après une vidéo ... ou encore plus précisément affirmer qu'il a l'intention d'aller jusqu'à la réussite de l'examen final) on peut mesurer le taux de réussite, par rapport à un objectif donné (rendre un devoir, réussir le certificat). Le taux de réussite final peut être calculé comme le produit de taux de réussite intermédiaires (à l'issue de chaque semaine, par exemple). C'est là leur coeur des analytics qui permettent une compréhension fine des difficultés des étudiants afin de piloter et d'améliorer un MOOC.

Il est enfin à noter, comme souligné par les recherches sur le sujet, qu'un "abandon mesuré" n'est pas forcément un échec : par exemple, certains apprenants s'inscrivent uniquement pour regarder un cours précis et sans chercher à obtenir la certification, comme des auditeurs libres à l'université et cela est .. un succès !

Vous trouverez ci-dessous une feuille de calcul avec une estimation des taux de réussite du MOOC GdP 1.

34% pour le taux d'entrée réel
57% pour le taux réussite réel du certificat basique
78% pour le taux réussite réel du certificat avancé
Les indicateurs mesurables utilisés sont à chaque fois la base de départ la plus large possible des participants à un certificat, qui font un acte "engageant" à ce sujet, que l'on compare au taux final de réussite : celui des certifiés.

--------
// edit le 27/11/2013
Open data toujours, voici une feuille de calcul avec les taux de réussite du MOOC GdP 2http://goo.gl/Ia7Syw

47% pour le taux d'entrée réel
61% pour le taux réussite réel du certificat basique
78% pour le taux réussite réel du certificat avancé

croissance en nombre de certificats entre le le GdP1 et le GdP2 4276/1763=2.4 fois plus de réussite aux certificats.
L'augmentation des no-show est probablement la conséquence de l'augmentation des l’intérêt pour les MOOC en ce début d'année, qui a plus amené des curieux que des apprenants voulant développer des compétences. Avez l'augmentation de l'offre de MOOC, cela va se développer
--------
// edit le 14/07/2014
Les taux de réussite du GdP3 : http://goo.gl/StCLX9

50% pour le taux d'entrée réel
38% pour le taux réussite réel du certificat basique (forte baisse visiblement due à l'inscription sur les modules, qui ajoute de la complexité)
67% pour le taux réussite réel du certificat avancé

La feuille de données comporte également des informations sur le modéle économique avec le taux de passation des examens surveillés (en bas de page).

--------
// edit le 3/12/2014
Les taux de réussite du GdP4 : http://goo.gl/RC8JLV
La feuille de données comporte également des informations supplémentaires
* Détails des notes des devoirs, plagiat...
* Au delà du modèle économique, une estimation de la création de valeur liée aux formations dispensées

--------
Les taux de réussite du GdP5 : http://goo.gl/wlY08e.

--------
// edit le 27/04/2015
en cours d'élaboration : Les taux de réussite du GdP6 : https://goo.gl/gFhsLl


Un graphique pour récapituler le nombre de lauréats et le taux de réussite http://goo.gl/uU991l (le GdP5 est en cours donc ce sont des estimations pour ce qui le concerne).

_________________________

Par rapport aux MOOC des grandes plateformes ces taux sont très bons, d'autant qu'il s'agit de travail réel et calibré sur des crédits ECTS.

Sur les taux de satisfaction relevés par notre questionnaire de mi-parcours :
Aux questions comme "évaluez la qualité des supports de ce MOOC", ou bien "celle de la plate-forme" ou "du prof", on obtient d'excellents résultats : sur 1300 réponses on a respectivement 4, 2 et 1% des répondants qui disent qu'ils sont "moyens" et 0% "mauvais" ou "très mauvais"... des taux de satisfaction supérieurs à 95% donc .. soviétique !
Cependant, avec un peu de recul, c'est normal d'avoir un taux de satisfaction important, puisque les apprenants qui ne sont pas satisfaits du cours vont "voter avec leurs pieds" et s'en aller. Pour eux c'est tout l’intérêt d'un MOOC : entrée libre et gratuite, sortie tout aussi libre et gratuite.

Autre paramètre à prendre en compte, il faudrait segmenter les différents publics : le taux d'abandon ne sera bien sûr pas le même avec des étudiants de notre université/grande école que l'on "incite fortement à s'inscrire" et dont les notes compteront pour leurs études ... et des apprenants "libres d'aller et de venir"... et le taux de satisfaction non plus, d'ailleurs, mais cette fois-ci en sens inverse : avec des "apprenants contraints" on aura un taux de satisfaction plus bas.
Dans le cas du MOOC GdP #1 on n'avait que des participants "libres", mais nous espérons bien que la prochaine édition, en plus d'être ouverte à tous, pourra également être intégrée à des cursus (l'essai avec les étudiants des mines de Douai a été positif http://goo.gl/WQNbd)

Quelle conclusion en tirer ? Le MOOC GdP a été bien apprécié, au prix d’un gros travail de l’équipe et d’une solidarité de nos apprenants qui n’ont souvent pas hésité à “donner un coup de main”. 

Mais ces taux seront-ils reproductibles une fois l’effet de nouveauté passé ? S'il y a plus d'inscrits ? Sans doute pas mais, nous feront notre possible pour qu’ils restent élevés, en pilotant l'organisation et en améliorant le programme !

Sur http://goo.gl/H8dMLC vous trouverez la récapitulation des améliorations et innovations d'une session à l'autre.

_____________
PS : pour rappel, la centralisation de tous mes travaux et documents http://gestiondeprojet.pm/mes-contributions-sur-les-mooc/
Shared publiclyView activity