Nathalie Loye | Université de Montréal (original) (raw)

Papers by Nathalie Loye

Mesure et évaluation en éducation, May 13, 2016

de l'article Depuis Alfred Binet, qui, sans parler de validité, présentait toutefois une concepti... more de l'article Depuis Alfred Binet, qui, sans parler de validité, présentait toutefois une conception pragmatique, utilitaire et empirique de la pertinence d'un test, le concept de validité est né et a beaucoup évolué. À partir d'une perspective historique du concept de validité psychométrique, cet article vise à en explorer de manière critique quelques facettes afin de dégager les différentes orientations définitionnelles, sans perdre de vue les démarches d'opérationnalisation qu'on leur associe. Ce document est protégé par la loi sur le droit d'auteur. L'utilisation des services d'Érudit (y compris la reproduction) est assujettie à sa politique d'utilisation que vous pouvez consulter en ligne. [https://apropos.erudit.org/fr/usagers/politiquedutilisation/] Cet article est diffusé et préservé par Érudit.

Presses de l'Université du Québec eBooks, Oct 20, 2018

Pédagogie médicale, 2020

-Contexte et problématique : La pandémie de COVID-19 a causé de nombreuses perturbations dans les... more -Contexte et problématique : La pandémie de COVID-19 a causé de nombreuses perturbations dans les programmes de formation en amont des processus de sélection en médecine et a rendu difficile, voire impossible, l'utilisation de certains outils comme les entrevues en personne. Cette situation aura des répercussions importantes sur le choix et la validation des outils de sélection en médecine pour les années à venir, autant pour l'évaluation du rendement académique que pour l'évaluation des qualités personnelles. Analyse : Cette réflexion vise à évaluer dans quelle mesure ces impacts peuvent se faire sentir en utilisant comme référence le modèle de validation de Kane et propose certaines pistes de solution et d'investigation pour tirer des leçons de cette situation exceptionnelle.

Revue des sciences de l'éducation, Jun 7, 2017

 Dans le monde actuel, les enseignants doivent constamment s'adapter aux changements sociaux et ... more  Dans le monde actuel, les enseignants doivent constamment s'adapter aux changements sociaux et économiques. L'adaptation à ces transformations s'accompagne de plusieurs défis pour les nouveaux enseignants. À force de persévérer, un certain nombre d'entre eux franchissent les obstacles imposés par la profession grâce à leur engagement professionnel affectif qui les incite à continuer à exercer leurs activités d'enseignement. Les auteurs de la présente étude analysent des éléments liés à l'engagement professionnel affectif de 483 nouveaux enseignants canadiens du primaire et du secondaire, en utilisant la modélisation aux équations structurelles. Les résultats mettent en évidence l'importance de la satisfaction extrinsèque au travail, du sentiment de compétence et des expériences émotionnelles pour la variabilité de l'engagement professionnel affectif. Pour les nouveaux enseignants, les émotions positives en classe sont le facteur principal lié à l'engagement professionnel affectif. MOTS CLÉS  insertion professionnelle, engagement professionnel affectif, satisfaction extrinsèque au travail, sentiment de compétence, expériences émotionnelles en classe. 1 Cette recherche a été soutenue financièrement par le Fonds de recherche Société et culture du Québec-FRQSC, (141288).

Mesure et évaluation en éducation, 2005

Ceux-ci permettent d'établir le portrait de sujets ayant passé un test relativement à une liste d... more Ceux-ci permettent d'établir le portrait de sujets ayant passé un test relativement à une liste d'attributs cognitifs. Cet article présente une comparaison de cinq modèles qui allient la vision psychométrique à la vision cognitive. Les comparaisons portent sur l'étude de la qualité des attributs cognitifs posés a priori, sur les caractérisations des sujets, sur la possibilité d'appliquer les modèles et d'interpréter les résultats et sur les notions de validité et de fidélité.

Pédagogie médicale, 2018

La démarche d'évaluation nécessite de planifier, de collecter des données, de les interpréter et ... more La démarche d'évaluation nécessite de planifier, de collecter des données, de les interpréter et de porter un jugement avant de prendre une décision. Elle repose toujours sur des instruments d'évaluation qui peuvent prendre une variété de formes. Objectif : Cet article a pour but de présenter et d'illustrer plusieurs instruments d'évaluation, et de les mettre en perspective avec la démarche évaluative. Les instruments sont présentés de façon indépendante ; ils permettent de collecter des données quantitatives et qualitatives. La possibilité de combiner ces données pour porter un jugement évaluatif est abordée, mais n'est pas détaillée. Exégèse : Nous présentons d'abord la démarche évaluative constituée de cinq étapes. Après quelques considérations sur les nuances qui existent entre évaluer et mesurer, nous nous intéressons aux objets à évaluer à partir de la définition de la compétence et de la pyramide de Miller. Par la suite, nous proposons deux modèles visant à accompagner le développement d'instruments d'évaluation, ce qui nous amène à présenter deux catégories d'instruments d'évaluation. La première catégorie regroupe les instruments que nous qualifions de classiques comme les tests. La seconde catégorie rassemble quelques instruments associés à l'évaluation des compétences et qui sont largement utilisés dans le domaine de la pédagogie médicale.

Teaching and Learning in Medicine, Jun 13, 2016

Construct: The purpose of this study was to provide initial evidence of the validity of written c... more Construct: The purpose of this study was to provide initial evidence of the validity of written case summaries as assessments of clinical problem representation in a classroom setting. To solve clinical problems, clinicians must gain a clear representation of the issues. In the clinical setting, oral case presentations-or summaries-are used to assess learners&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;#39; ability to gather, synthesize, and &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;quot;translate&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;quot; pertinent case information. This ability can be assessed in Objective Structured Clinical Examination and Virtual Patient settings using oral or written case summaries. Evidence of their validity in these settings includes adequate interrater agreement and moderate correlation with other assessments of clinical reasoning. We examined the use of written case summaries in a classroom setting as part of an examination designed to assess clinical reasoning. We developed and implemented written examinations for 2 preclerkship general practice courses in Years 4 and 5 of a 7-year curriculum. Examinations included 8 case summary questions in Year 4 and 5 in Year 5. Seven hundred students participated. Cases were scored using 3 criteria: extraction of pertinent findings, semantic quality, and global ratings. We examined the item parameters (using classical test theory) and generalizability of case summary items. We computed correlations between case summary scores and scores on other questions within the examination. Item parameters were acceptable (average item difficulty = 0.49-0.73 and 0.59-0.68 in Years 4 and 5; average point-biserials = 0.21-0.24 and 0.18-0.21). Scores were moderately generalizable (G coefficients = 0.40-0.50), with case-specificity a substantial source of measurement error (10.2%-19.5% of variance). Scoring and rater had small effects. Correlations with related constructs were low to moderate. There is good evidence regarding the scoring and generalizability of written case summaries for assessment of clinical problem representation. Further evidence regarding the extrapolation and implications of these assessments is warranted.

Mesure et évaluation en éducation, May 7, 2014

Ce document est protégé par la loi sur le droit d'auteur. L'utilisation des services d'Érudit (y ... more Ce document est protégé par la loi sur le droit d'auteur. L'utilisation des services d'Érudit (y compris la reproduction) est assujettie à sa politique d'utilisation que vous pouvez consulter en ligne.

Mesure et évaluation en éducation, Jun 12, 2017

Mots clés : design d'épreuve, évaluation diagnostique, modèle psychométrique de classification di... more Mots clés : design d'épreuve, évaluation diagnostique, modèle psychométrique de classification diagnostique, attributs Le contexte de la formation professionnelle est caractérisé par des élèves hétérogènes dont certains présentent des difficultés importantes relatives aux apprentissages de base en mathématique, tels que les opérations ou l'usage des fractions. Cet article documente en détail les trois phases qui ont permis d'assembler une épreuve en mathématique ayant le potentiel de faire un diagnostic précis de ces difficultés en produisant des données compatibles avec l'application d'un modèle psychométrique de classification diagnostique.

Mesure et évaluation en éducation, Apr 17, 2014

NOTICE: The author has granted a nonexclusive license allowing Library and Archives Canada to rep... more NOTICE: The author has granted a nonexclusive license allowing Library and Archives Canada to reproduce, publish, archive, preserve, conserve, communicate to the public by telecommunication or on the Internet, loan, distribute and sell theses worldwide, for commercial or noncommercial purposes, in microform, paper, electronic and/or any other formats. AVIS: L'auteur a accorde une licence non exclusive permettant a la Bibliotheque et Archives Canada de reproduire, publier, archiver, sauvegarder, conserver, transmettre au public par telecommunication ou par Plntemet, prefer, distribuer et vendre des theses partout dans le monde, a des fins commerciales ou autres, sur support microforme, papier, electronique et/ou autres formats. Canada Bien que ces formulaires aient inclus dans la pagination, il n'y aura aucun contenu manquant. Resume l Cette recherche exploratoire compare les matrices Q elaborees par des experts dans une approche inductive pour deux questionnaires a choix multiple en mathematiques, dans trois conditions d'acces a des informations sur les items. Dans la premiere condition, les experts ne disposent que des enonces des items; dans la seconde, les items leur sont fournis regroupes selon les resultats d'une analyse factorielle ; la troisieme condition met a leur disposition les parametres de difficulte et de discrimination de chaque item ainsi que les resultats de l'analyse des leurres. L'application du modele cognitif RUM (Reparametrized Unified Model) aux donnees permet de comparer la structure cognitive des matrices et de definir si certaines sont plus fortes que d'autres en basant le jugement sur la forme des matrices obtenues, sur la concordance du jugement des experts et sur les valeurs des parametres estimes par le modele RUM. Les resultats tendent a montrer que les matrices de la condition 2 ont une structure cognitive plus forte pour les deux tests qui font Pobjet de cette etude, mais la difference entre les conditions 1 et 2 est peu importante. La condition 3 a amene les experts a perdre de vue le processus complet de reponse aux items au profit de details et a fourni les matrices de moins bonne qualite.

BMC Medical Education, Aug 12, 2022

Background: Multiple mini-interviews (MMI) are used to assess non-academic attributes for selecti... more Background: Multiple mini-interviews (MMI) are used to assess non-academic attributes for selection in medicine and other healthcare professions. It remains unclear if different MMI station formats (discussions, role-plays, collaboration) assess different dimensions. Methods: Based on station formats of the 2018 and 2019 Integrated French MMI (IFMMI), which comprised five discussions, three role-plays and two collaboration stations, the authors performed confirmatory factor analysis (CFA) using the lavaan 0.6-5 R package and compared a one-factor solution to a three-factor solution for scores of the 2018 (n = 1438) and 2019 (n = 1440) cohorts of the IFMMI across three medical schools in Quebec, Canada. Results: The three-factor solution was retained, with discussions, role-plays and collaboration stations all loading adequately with their scores. Furthermore, all three factors had moderate-to-high covariance (range 0.44 to 0.64). The model fit was also excellent with a Comparative fit index (CFI) of 0.983 (good if > 0.9), a Tucker Lewis index of 0.976 (good if > 0.95), a Standardized Root Mean Square Residual of 0.021 (good if < .08) and a Root Mean Square Error of 0.023 (good if < 0.08) for 2018 and similar results for 2019. In comparison, the single factor solution presented a lower fit (CFI = 0.819, TLI = 0.767, SRMR = 0.049 and RMSEA = 0.070). Conclusions: The IFMMI assessed three dimensions that were related to stations formats, a finding that was consistent across two cohorts. This suggests that different station formats may be assessing different skills, and has implications for the choice of appropriate reliability metrics and the interpretation of scores. Further studies should try to characterize the underlying constructs associated with each station format and look for differential predictive validity according to these formats.

Mesure et évaluation en éducation, 2019

Mots clés : approche diagnostique cognitive (ADC), lecture, DINA, G-DINA, modèles de classificati... more Mots clés : approche diagnostique cognitive (ADC), lecture, DINA, G-DINA, modèles de classification diagnostique (MCD), épreuves à grande échelle Malgré une importante demande de recevoir des informations diagnostiques sur les difficultés en lecture des élèves, il existe très peu d'outils d'évaluation conçus spécifiquement pour cet usage. Plusieurs recherches en approche diagnostique cognitive (ADC) utilisent donc les résultats d'épreuves à grande échelle pour fournir de la rétroaction diagnostique fine et fiable sur les forces et les faiblesses des élèves. Les modélisations de données permettent de s'éloigner des scores ou des rangs percentiles habituellement obtenus, et de fournir des pistes d'intervention appropriées. Cette étude vise à vérifier la faisabilité d'appliquer des modélisations à visée diagnostique aux résultats de 4762 élèves canadiens ayant fait le cahier 13 du test du PIRLS de 2011. Les résultats suggèrent un potentiel de recevoir de la rétroaction diagnostique détaillée de leurs forces et faiblesses sur les habiletés sousjacentes du test.

... Le jugement porté pouvant donc varier d'une personne à l'autre et d'une occasi... more ... Le jugement porté pouvant donc varier d'une personne à l'autre et d'une occasion à une autre, Raymond et Houston (1990) ont montré que l ... C'est ce que le modèle à facettes de Rasch permet de faire relativement aisément avec des devis complets ou incomplets (c'est-à-dire ...

Presses de l'Université du Québec eBooks, Mar 10, 2021

Presses de l'Université du Québec eBooks, Jan 25, 2023