Notre mission est d’améliorer la qualité et l’équité en matière d'éducation en assurant des prestations d'évaluation, de recherche et de services connexes équitables et fiables. Les institutions, entreprises, écoles se basent sur les scores obtenus par les candidats aux tests pour prendre des décisions stratégiques (recrutement, obtention de diplôme, promotion…). Chaque année ETS développe, administre et corrige plus de 50 millions de test dans le monde.

C’est pourquoi ETS a établi une approche inégalée en matière de conception, de développement et d'administration des évaluations. Notre processus implique de multiples contrôles et bilans et une attention minutieuse portée au moindre détail.

Elaboration des évaluations

Par ce que nos tests sont utilisés pour appuyer des décisions stratégiques, ETS a établi une approche inégalée en matière de conception, de développement et d'administration des évaluations. Notre processus implique de multiples contrôles et bilans et une attention minutieuse portée au moindre détail.

Création des items (« questions »)

La création d’items par des rédacteurs spécialisés fait l'objet d'une méthodologie très rigoureuse. L'application de critères stricts assure la pertinence et la qualité des contenus. Les items sont exclusivement rédigés par des spécialistes formés par ETS et sont revus par des correcteurs indépendants avant d'être testés pour leur fiabilité statistique et leur capacité à distinguer les niveaux de compétence des candidats durant la phase pilote. Les items retenus sont alors ajoutés à la banque d’items.

Contrôle d’équité

Le contrôle d’équité d’ETS (Fairness Review) impose de contrôler l’ensemble des tests et des supports de test pour s'assurer qu’ils ne comportent aucun élément offensant ou discriminatoire.

Principe clé : l‘équité assure que tous les candidats ont la même chance de réussir au mieux de leurs capacités.

Par exemple, les questions du test TOEIC® excluent les régionalismes, les particularismes ou les connotations culturelles trop spécifiques à un seul pays et évitent les situations trop spécifiques à un domaine d’activité, les références à des évènements historiques, etc. Le test TOEIC® est conçu, revu et corrigé par des linguistes anglophones de différents pays (Angleterre, Australie, Canada, USA,..) pour que le vocabulaire, la syntaxe ou les locutions idiomatiques utilisées puissent être compris par tous les candidats.

L’équité implique de considérer les personnes en toute impartialité, quelles que soient leurs caractéristiques personnelles et indépendamment de leur sexe, nationalité ou handicap potentiel.

Test pilote et analyse des items

Chaque item est testé pour sa fiabilité et sa capacité à évaluer une performance donnée. Afin d'être considéré comme pertinent, un item doit détecter une performance similaire parmi les candidats ayant un niveau de compétence égal et permettre de différencier les candidats de différents niveaux.

Création d’une banque d’items et des versions de tests

Une fois que les items ont franchi ces étapes, ils sont ajoutés à une banque d’items à partir de laquelle ils seront alors sélectionnés afin de créer de nouvelles versions de tests. Dans cette banque, chaque item est référencé avec ses spécifications clés : type d’item, type de contexte, lien avec les standards de qualité, difficulté, etc.

Les différentes versions d'un test doivent ensuite être calibrées afin de s'assurer qu'elles produisent des scores identiques pour un même niveau de compétence.

Correction des tests

ETS a développé un processus de correction ultra-performant qui permet de concilier fiabilité et efficacité. ETS Global corrige en moyenne près de 2000 tests par jour et envoie autant de relevés de scores et de certificats aux institutions et aux candidats.

La correction des tests TOEIC Listening and Reading et TOEIC Bridge (questionnaire à choix multiples, papier/ crayon) est assurée par balayage optique, ce qui garantit une fiabilité maximale, tandis que les tests TOEIC Speaking and Writing (administré sur ordinateurs et à réponses construites sont corrigés par le réseau de notation en ligne OSN (Online Scoring Network). Les réponses des candidats sont réparties au hasard et de manière anonyme entre les évaluateurs qualifiés qui corrigent une partie bien déterminée des réponses. Pour les tests TOEIC® Speaking and  Writing, 10 correcteurs différents en moyenne sont impliqués dans l'évaluation des performances d'un même candidat.