Investigating the Interobserver Reliability of a Direct Observational Language Assessment Technique (original) (raw)
Related papers
[Evaluation of medical web sites. Interobserver and intraobserver reliability of an evaluation tool]
Canadian family physician Médecin de famille canadien, 2001
To develop and test the reliability of a tool for rating websites that provide information on evidence-based medicine. For each site, 60% of the score was given for content (eight criteria) and 40% was given for organization and presentation (nine criteria). Five of 10 randomly selected sites met the inclusion criteria and were used by three observers to test the accuracy of the tool. Each site was rated twice by each observer, with a 3-week interval between ratings. Laval University, Quebec city. Three observers. The intraclass correlation coefficient (ICC) was used to rate the reliability of the tool. Average overall scores for the five sites were 40%, 79%, 83%, 88%, and 89%. All three observers rated the same two sites in fourth and fifth place and gave the top three ratings to the other three sites. The overall rating of the five sites by the three observers yielded an ICC of 0.93 to 0.97. An ICC of 0.87 was obtained for the two overall ratings conducted 3 weeks apart. This new ...
2011
Depuis septembre 2007, un réseau lexical de grande taille pour le Français est en cours de construction à l’aide de méthodes fondées sur des formes de consensus populaire obtenu via des jeux (projet JeuxDeMots). L’intervention d’experts humains est marginale en ce qu’elle représente moins de 0,5% des relations du réseau et se limite à des corrections, à des ajustements ainsi qu’à la validation des sens de termes. Pour évaluer la qualité de cette ressource construite par des participants de jeu (utilisateurs non experts) nous adoptons une démarche similaire à celle de sa construction, à savoir, la ressource doit être validée sur un vocabulaire de classe ouverte, par des non-experts, de façon stable (persistante dans le temps). Pour ce faire, nous proposons de vérifier si notre ressource est capable de servir de support à la résolution du problème nommé ‘Mot sur le Bout de la Langue’ (MBL). A l’instar de JeuxdeMots, l’outil développé peut être vu comme un jeu en ligne. Tout comme ce d...
Compositional approach of probabilistic languages for assessment of events in dependability studies
2016
Dans les études de sûreté de fonctionnement des systèmes dynamiques et en particulier des systèmes de contrôle-commande, il estnécessaire d’évaluer la probabilité d’occurrence des séquences d’événements qui décrivent les évolutions critiques de ces systèmes. Les travaux présentés dans ce papier utilisent les langages probabilistes pour réaliser l’évaluation quantitative de séquences et ils proposent une approche modulaire compositionnelle, pour des systèmes ayant de multiples modes de défaillance et/ou possédant de multiples stratégies de reconfiguration ou de maintenance, basée sur des opérations formelles des langages probabilistes.In dependability studies of dynamic systems and in particular of the instrumentation and control (I&C) systems, it is necessary to assess the probability of events' sequences that describe the critical evolution of these systems. In this paper the probabilistic languages are used to realize the quantitative assessment of these sequences and a modula...
2011
Depuis septembre 2007, un reseau lexical de grande taille pour le Francais est en cours de construction a l'aide de methodes fondees sur des formes de consensus populaire obtenu via des jeux (projet JeuxDeMots). L'intervention d'experts humains est marginale en ce qu'elle represente moins de 0,5% des relations du reseau et se limite a des corrections, a des ajustements ainsi qu'a la validation des sens de termes. Pour evaluer la qualite de cette ressource construite par des participants de jeu (utilisateurs non experts) nous adoptons une demarche similaire a celle de sa construction, a savoir, la ressource doit etre validee sur un vocabulaire de classe ouverte, par des non-experts, de facon stable (persistante dans le temps). Pour ce faire, nous proposons de verifier si notre ressource est capable de servir de support a la resolution du probleme nomme 'Mot sur le Bout de la Langue' (MBL). A l'instar de JeuxdeMots, l'outil developpe peut etre vu co...