Investigating the Interobserver Reliability of a Direct Observational Language Assessment Technique (original) (raw)
Fidélité interobservateur et intraobservateur d'un outil d'évaluation
OBJECTIF Développer un outil d'évaluation de la qualité des sites Web présentant de l'information médicale fondée sur des données probantes et en tester la fidélité de mesure. DEVIS Une valeur de 60% fut attribuée aux huit critères relatifs au contenu alors qu'une valeur de 40% fut attribuée aux neuf critères relatifs à l'organisation et la présentation. Sur 10 sites sélectionnés de façon aléatoire, cinq rencontrèrent les critères d'inclusion et furent utilisés pour tester la fidélité de la grille d'évaluation par trois observateurs. Chaque site fut évalué à deux reprises à trois semaines d'intervalle par chaque observateur. MILIEU Université Laval, Québec.
[Evaluation of medical web sites. Interobserver and intraobserver reliability of an evaluation tool]
Canadian family physician Médecin de famille canadien, 2001
To develop and test the reliability of a tool for rating websites that provide information on evidence-based medicine. For each site, 60% of the score was given for content (eight criteria) and 40% was given for organization and presentation (nine criteria). Five of 10 randomly selected sites met the inclusion criteria and were used by three observers to test the accuracy of the tool. Each site was rated twice by each observer, with a 3-week interval between ratings. Laval University, Quebec city. Three observers. The intraclass correlation coefficient (ICC) was used to rate the reliability of the tool. Average overall scores for the five sites were 40%, 79%, 83%, 88%, and 89%. All three observers rated the same two sites in fourth and fifth place and gave the top three ratings to the other three sites. The overall rating of the five sites by the three observers yielded an ICC of 0.93 to 0.97. An ICC of 0.87 was obtained for the two overall ratings conducted 3 weeks apart. This new ...
SEWS: un serveur d'évaluation orienté Web pour la syntaxe
Traitement automatique des …, 2008
Les plates-formes d'évaluation sont à l'heure actuelle peu répandues et les enjeux qu'elles représentent sont certainement sous-estimés, dès lors qu'elles sont automatisées et proposées comme serveur Web : gain de temps, économies de moyens, progression plus rapide des systèmes, rassemblement d'une communauté autour d'un même paradigme d'évaluation; les avantages sont nombreux. Dans cet article, nous proposons une plate-forme pour évaluer automatiquement des systèmes d'annotation syntaxique et relatons son déploiement en tant que service dans une campagne d'évaluation. Après avoir dressé un état de l'art des platesformes utilisées pour l'évaluation de systèmes TAL et des outils disponibles pour la mise en place de serveurs Web, nous présentons notre plate-forme d'analyse syntaxique et sa mise en oeuvre sous forme de serveur Web dans le projet PASSAGE, nous montrons ensuite l'intérêt de la généralisation d'un tel service à d'autres domaines du TAL.
2011
Depuis septembre 2007, un réseau lexical de grande taille pour le Français est en cours de construction à l’aide de méthodes fondées sur des formes de consensus populaire obtenu via des jeux (projet JeuxDeMots). L’intervention d’experts humains est marginale en ce qu’elle représente moins de 0,5% des relations du réseau et se limite à des corrections, à des ajustements ainsi qu’à la validation des sens de termes. Pour évaluer la qualité de cette ressource construite par des participants de jeu (utilisateurs non experts) nous adoptons une démarche similaire à celle de sa construction, à savoir, la ressource doit être validée sur un vocabulaire de classe ouverte, par des non-experts, de façon stable (persistante dans le temps). Pour ce faire, nous proposons de vérifier si notre ressource est capable de servir de support à la résolution du problème nommé ‘Mot sur le Bout de la Langue’ (MBL). A l’instar de JeuxdeMots, l’outil développé peut être vu comme un jeu en ligne. Tout comme ce d...
2020
L’augmentation du nombre d’élèves handicapés ou en difficulté d’adaptation ou d’apprentissage au sein du système scolaire québécois rend nécessaire des pratiques plus inclusives, telle la conception universelle de l’apprentissage. En se basant sur cette conception, donner l’opportunité à tous les élèves en difficulté ou non d’utiliser une aide technologique à l’apprentissage, mesure d’adaptation actuellement réservée pour les élèves HDAA, pourrait donner les moyens à tous d’exploiter leur plein potentiel. En raison des difficultés marquées en orthographe grammaticale des jeunes du secondaire, mesurer les impacts d’un réviseur orthographique sur leurs compétences est une bonne avenue pour vérifier la concrétisation possible de cette hypothèse. Deux objectifs spécifiques en découlent, soit 1) identifier les impacts individuels de l’utilisation de l’outil sur les compétences grammaticales et 2) identifier les impacts intergroupes de l’utilisation du réviseur. La collecte de données s’e...
Classification des apports d’Internet à l’apprentissage des langues
Alsic, 1998
apportées par Internet : ce discours ne nous dit rien de l'intégration de ces nouveaux supports dans les situations d'apprentissage ; il a par ailleurs tendance d'une part à confondre information et connaissance, d'autre part à glorifier la communication en tant que telle, sans s'interroger sur la nature, les contenus et les objectifs de cette communication (cf. Breton, 1992).
Using eye tracking to investigate what bilinguals notice about linguistic landscape images
Linguistic Landscape. An international journal
In daily life, we experience dynamic visual input referred to as the “linguistic landscape” (LL), comprised of images and text, for example, signs, and billboards (Gorter, 2013; Landry & Bourhis, 1997; Shohamy, Ben-Rafael and Barni 2010). While much is known about LLs descriptively, less is known about what people notice when viewing LLs. Building upon the bilingual eye movement reading literature (e.g., Whitford, Pivneva, & Titone, 2016) and the scene viewing literature (e.g., Henderson & Ferreira, 2004), we report a preliminary study of French-English bilinguals’ eye movements as they viewed LL images from Montréal. These preliminary data suggest that eye tracking is a promising new method for investigating how people with different language backgrounds process real-world LL images.
L’évaluation sommative/certificative en intercompréhension réceptive de l’oral
8 | 1 | 2019
In light of a general reflection on the criteria for an assessment process, we will focus on the evaluation of plurilingual competencies in Intercomprehension and, in particular, on oral listening skills, by observing best practices in unilingual official certifications, and by taking an approach that goes from the general to the particular. We will reflect on the concrete tools for measuring this hability, by discussing the choices of the CINCO and EVAL-IC projects – the first European project to tackle the question of evaluation under all its angles – with the goal of defining the contours of an assessment method taking into account the plurality of its possible forms.