Henryk Szaleniec - Academia.edu (original) (raw)

Uploads

Papers by Henryk Szaleniec

DOAJ (DOAJ: Directory of Open Access Journals), Sep 1, 2014

omawia zagadnienie trafności predykcyjnej ocen szkolnych dla wyników uzyskanych w egzaminach zewn... more omawia zagadnienie trafności predykcyjnej ocen szkolnych dla wyników uzyskanych w egzaminach zewnętrznych. Opierając się na ocenach szkolnych i ich średniej, oszacowano stopień, w jakim można było przewidzieć uzyskany przez ucznia wynik na egzaminie gimnazjalnym w latach 2012 i 2013. Ze względu na hierarchiczną strukturę danych, w analizach wykorzystano dwupoziomowy model regresji. Do oszacowania stopnia selekcyjności oddziałów szkolnych w gimnazjum użyto modelowania IRT. Wyniki świadczą o wysokiej mocy predykcyjnej ocen szkolnych i ich średniej, zarówno na poziomie indywidualnym, jak i na poziomie oddziału szkolnego. Współczynniki korelacji wewnątrzklasowej świadczą o wysokim stopniu selekcyjności oddziałów szkolnych. Przedstawione wyniki mają znaczenie w kontekście procesów rekrutacyjnych do szkół ponadgimnazjalnych, zwłaszcza wyboru przez ucznia konkretnego oddziału szkolnego. Słowa kluczowe: trafność predykcyjna, model hierarchiczny, ocenianie szkolne, selekcyjność oddziałów szkolnych, egzamin zewnętrzny. © Instytut Badań Edukacyjnych Artykuł powstał w ramach projektu systemowego "Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego" finansowanego ze środków Europejskiego Funduszu Społecznego w ramach Programu Operacyjnego Kapitał Ludzki (Priorytet III: Wysoka jakość systemu oświaty, Poddziałanie 3.1.1. Tworzenie warunków i narzędzi do monitorowania, ewaluacji i badań systemu oświaty).

Artykuł przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz częś... more Artykuł przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części
matematyczno-przyrodniczej i części humanistycznej egzaminu gimnazjalnego z lat 2002–2012. W latach
2011–2014 przeprowadzone zostały cztery sesje, podczas których uczniowie z reprezentatywnej próby polskich
szkół rozwiązywali arkusze zadań pochodzących ze sprawdzianu w szóstej klasie szkoły podstawowej
i egzaminów gimnazjalnych, w warunkach możliwie zbliżonych do rzeczywistej sesji egzaminacyjnej. Dane
te posłużyły do oszacowania funkcji zrównujących, które zostały wykorzystane do zrównania wyników rzeczywistych
egzaminów. Zrównania przeprowadzone za pomocą metody ekwicentylowej, zrównania liniowego
i metod wywodzących się z item reponse theory, dały zbliżone wyniki. Uzyskane rezultaty omówione
zostały w kontekście planowania zrównań testów.

Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnost... more Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnostyczną. Dla realizacji tej funkcji ważne jest zapewnienie porównywalności oceniania w całym kraju. Drogą do osiągnięcia porównywalności jest stosowanie jednolitych kryteriów oceniania, jak również odpowiednia organizacja oceniania w całym kraju.

DOAJ (DOAJ: Directory of Open Access Journals), Sep 1, 2014

przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części matem... more przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części matematyczno-przyrodniczej i części humanistycznej egzaminu gimnazjalnego z lat 2002-2012. W latach 2011-2014 przeprowadzone zostały cztery sesje, podczas których uczniowie z reprezentatywnej próby polskich szkół rozwiązywali arkusze zadań pochodzących ze sprawdzianu w szóstej klasie szkoły podstawowej i egzaminów gimnazjalnych, w warunkach możliwie zbliżonych do rzeczywistej sesji egzaminacyjnej. Dane te posłużyły do oszacowania funkcji zrównujących, które zostały wykorzystane do zrównania wyników rzeczywistych egzaminów. Zrównania przeprowadzone za pomocą metody ekwicentylowej, zrównania liniowego i metod wywodzących się z item reponse theory, dały zbliżone wyniki. Uzyskane rezultaty omówione zostały w kontekście planowania zrównań testów. Słowa kluczowe: psychometria, zrównywanie wyników obserwowanych, zrównywanie ekwicentylowe. © Instytut Badań Edukacyjnych Artykuł powstał w ramach projektu systemowego "Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego" finansowanego ze środków Europejskiego Funduszu Społecznego w ramach Programu Operacyjnego Kapitał Ludzki (Priorytet III: Wysoka jakość systemu oświaty, Poddziałanie 3.1.1. Tworzenie warunków i narzędzi do monitorowania, ewaluacji i badań systemu oświaty).

Edukacja, Sep 1, 2012

Uczniowie z populacji 02 , 03 , … , 10 pisali wyłącznie egzamin odpowiadający ich rocznikowi (02 ... more Uczniowie z populacji 02 , 03 , … , 10 pisali wyłącznie egzamin odpowiadający ich rocznikowi (02 , 03 , … , 10). W badaniu zrównującym wzięli udział wylosowani uczniowie zdający egzamin gimnazjalny w roku 2011. Próbę tę podzielono losowo na 11 równoważnych podprób uczniów: 11 1 , 11 2 , … , 11 11 , którzy wzięli udział w sesji zrównującej. Uczniowie z każdej próby w sesji zrównującej rozwiązywali test składający się z dwóch podzbiorów zadań kotwiczących wybranych z poprzednich egzaminów (•). Przykładowo uczniowie z próby �� �

DOAJ (DOAJ: Directory of Open Access Journals), Jun 1, 2014

artykułu jest wpływ niepoprawnego określenia rodzaju zadania na trafność wyników egzaminu. W wyni... more artykułu jest wpływ niepoprawnego określenia rodzaju zadania na trafność wyników egzaminu. W wyniku przeglądu zadań części matematyczno-przyrodniczej egzaminu gimnazjalnego w latach 2002-11 zidentyfikowano 9 zadań uznanych przez CKE za otwarte, mimo że treściowo i psychometrycznie funkcjonowały one jak zamknięte. Dla jednego z tych zadań przeprowadzono studium przypadku z wykorzystaniem modelowania IRT. Omówiony przypadek dowodzi zgadywania poprawnej odpowiedzi w zadaniach błędnie zakwalifikowanych jako zadania otwarte. Słowa kluczowe: rodzaj zadania, trafność teoretyczna, trafność treściowa, zadania otwarte, zadania zamknięte. © Instytut Badań Edukacyjnych Artykuł powstał w ramach projektu systemowego "Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego" finansowanego ze środków Europejskiego Funduszu Społecznego w ramach Programu Operacyjnego Kapitał Ludzki (Priorytet III: Wysoka jakość systemu oświaty, Poddziałanie 3.1.1. Tworzenie warunków i narzędzi do monitorowania, ewaluacji i badań systemu oświaty).

Uczniowie z populacji 02 , 03 , … , 10 pisali wyłącznie egzamin odpowiadający ich rocznikowi (02 ... more Uczniowie z populacji 02 , 03 , … , 10 pisali wyłącznie egzamin odpowiadający ich rocznikowi (02 , 03 , … , 10). W badaniu zrównującym wzięli udział wylosowani uczniowie zdający egzamin gimnazjalny w roku 2011. Próbę tę podzielono losowo na 11 równoważnych podprób uczniów: 11 1 , 11 2 , … , 11 11 , którzy wzięli udział w sesji zrównującej. Uczniowie z każdej próby w sesji zrównującej rozwiązywali test składający się z dwóch podzbiorów zadań kotwiczących wybranych z poprzednich egzaminów (•). Przykładowo uczniowie z próby �� �

przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części matem... more przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części matematyczno-przyrodniczej i części humanistycznej egzaminu gimnazjalnego z lat 2002-2012. W latach 2011-2014 przeprowadzone zostały cztery sesje, podczas których uczniowie z reprezentatywnej próby polskich szkół rozwiązywali arkusze zadań pochodzących ze sprawdzianu w szóstej klasie szkoły podstawowej i egzaminów gimnazjalnych, w warunkach możliwie zbliżonych do rzeczywistej sesji egzaminacyjnej. Dane te posłużyły do oszacowania funkcji zrównujących, które zostały wykorzystane do zrównania wyników rzeczywistych egzaminów. Zrównania przeprowadzone za pomocą metody ekwicentylowej, zrównania liniowego i metod wywodzących się z item reponse theory, dały zbliżone wyniki. Uzyskane rezultaty omówione zostały w kontekście planowania zrównań testów. Słowa kluczowe: psychometria, zrównywanie wyników obserwowanych, zrównywanie ekwicentylowe. © Instytut Badań Edukacyjnych Artykuł powstał w ramach projektu systemowego "Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego" finansowanego ze środków Europejskiego Funduszu Społecznego w ramach Programu Operacyjnego Kapitał Ludzki (Priorytet III: Wysoka jakość systemu oświaty, Poddziałanie 3.1.1. Tworzenie warunków i narzędzi do monitorowania, ewaluacji i badań systemu oświaty).

ABSTRACT The article presents the methodology and results of a survey on equating the lower secon... more ABSTRACT The article presents the methodology and results of a survey on equating the lower secondary school examina-tions from 2002–2010. The survey was carried out by the Student Performance Analysis Unit at the Educational Research Institute. More than 10 000 students were selected for the equating study and information about more than 500 items was used. IRT models were used for equating exams, the results were presented on a latent vari-able scale and the observed score scale. Using this procedure, it was possible to isolate random difficulty varia-tion between exam papers from specific years and present changes in ability level of students taking the exam. Based on the results, the level of humanities abilities of lower secondary school leavers was stable, whilst maths and science demonstrated a downward trend. Equating was validated by comparison with the results of the international PISA survey. Results for the arts and humanities were consistent with the PISA results for reading literacy. Maths and science, as compared with the PISA survey maths section demonstrated greater divergence. T o compare the school performance of students taking lower secondary school leaving exams in various exam sessions, it is necessary to introduce mechanisms to permit equating. The equating procedures allow for control of random variations in difficulty be-tween papers set for the exam in subsequent years. This is important for the lower sec-ondary school leaving exam, which is used to evaluate school performance and is important for enrolment into upper secondary school. This is a high-stakes exam

Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnost... more Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnostyczną. Dla realizacji tej funkcji ważne jest zapewnienie porównywalności oceniania w całym kraju. Drogą do osiągnięcia porównywalności jest stosowanie jednolitych kryteriów oceniania, jak również odpowiednia organizacja oceniania w całym kraju.

Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnost... more Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnostyczną. Dla realizacji tej funkcji ważne jest zapewnienie porównywalności oceniania w całym kraju. Drogą do osiągnięcia porównywalności jest stosowanie jednolitych kryteriów oceniania, jak również odpowiednia organizacja oceniania w całym kraju.

DOAJ (DOAJ: Directory of Open Access Journals), Sep 1, 2014

omawia zagadnienie trafności predykcyjnej ocen szkolnych dla wyników uzyskanych w egzaminach zewn... more omawia zagadnienie trafności predykcyjnej ocen szkolnych dla wyników uzyskanych w egzaminach zewnętrznych. Opierając się na ocenach szkolnych i ich średniej, oszacowano stopień, w jakim można było przewidzieć uzyskany przez ucznia wynik na egzaminie gimnazjalnym w latach 2012 i 2013. Ze względu na hierarchiczną strukturę danych, w analizach wykorzystano dwupoziomowy model regresji. Do oszacowania stopnia selekcyjności oddziałów szkolnych w gimnazjum użyto modelowania IRT. Wyniki świadczą o wysokiej mocy predykcyjnej ocen szkolnych i ich średniej, zarówno na poziomie indywidualnym, jak i na poziomie oddziału szkolnego. Współczynniki korelacji wewnątrzklasowej świadczą o wysokim stopniu selekcyjności oddziałów szkolnych. Przedstawione wyniki mają znaczenie w kontekście procesów rekrutacyjnych do szkół ponadgimnazjalnych, zwłaszcza wyboru przez ucznia konkretnego oddziału szkolnego. Słowa kluczowe: trafność predykcyjna, model hierarchiczny, ocenianie szkolne, selekcyjność oddziałów szkolnych, egzamin zewnętrzny. © Instytut Badań Edukacyjnych Artykuł powstał w ramach projektu systemowego "Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego" finansowanego ze środków Europejskiego Funduszu Społecznego w ramach Programu Operacyjnego Kapitał Ludzki (Priorytet III: Wysoka jakość systemu oświaty, Poddziałanie 3.1.1. Tworzenie warunków i narzędzi do monitorowania, ewaluacji i badań systemu oświaty).

Artykuł przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz częś... more Artykuł przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części
matematyczno-przyrodniczej i części humanistycznej egzaminu gimnazjalnego z lat 2002–2012. W latach
2011–2014 przeprowadzone zostały cztery sesje, podczas których uczniowie z reprezentatywnej próby polskich
szkół rozwiązywali arkusze zadań pochodzących ze sprawdzianu w szóstej klasie szkoły podstawowej
i egzaminów gimnazjalnych, w warunkach możliwie zbliżonych do rzeczywistej sesji egzaminacyjnej. Dane
te posłużyły do oszacowania funkcji zrównujących, które zostały wykorzystane do zrównania wyników rzeczywistych
egzaminów. Zrównania przeprowadzone za pomocą metody ekwicentylowej, zrównania liniowego
i metod wywodzących się z item reponse theory, dały zbliżone wyniki. Uzyskane rezultaty omówione
zostały w kontekście planowania zrównań testów.

Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnost... more Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnostyczną. Dla realizacji tej funkcji ważne jest zapewnienie porównywalności oceniania w całym kraju. Drogą do osiągnięcia porównywalności jest stosowanie jednolitych kryteriów oceniania, jak również odpowiednia organizacja oceniania w całym kraju.

DOAJ (DOAJ: Directory of Open Access Journals), Sep 1, 2014

przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części matem... more przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części matematyczno-przyrodniczej i części humanistycznej egzaminu gimnazjalnego z lat 2002-2012. W latach 2011-2014 przeprowadzone zostały cztery sesje, podczas których uczniowie z reprezentatywnej próby polskich szkół rozwiązywali arkusze zadań pochodzących ze sprawdzianu w szóstej klasie szkoły podstawowej i egzaminów gimnazjalnych, w warunkach możliwie zbliżonych do rzeczywistej sesji egzaminacyjnej. Dane te posłużyły do oszacowania funkcji zrównujących, które zostały wykorzystane do zrównania wyników rzeczywistych egzaminów. Zrównania przeprowadzone za pomocą metody ekwicentylowej, zrównania liniowego i metod wywodzących się z item reponse theory, dały zbliżone wyniki. Uzyskane rezultaty omówione zostały w kontekście planowania zrównań testów. Słowa kluczowe: psychometria, zrównywanie wyników obserwowanych, zrównywanie ekwicentylowe. © Instytut Badań Edukacyjnych Artykuł powstał w ramach projektu systemowego "Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego" finansowanego ze środków Europejskiego Funduszu Społecznego w ramach Programu Operacyjnego Kapitał Ludzki (Priorytet III: Wysoka jakość systemu oświaty, Poddziałanie 3.1.1. Tworzenie warunków i narzędzi do monitorowania, ewaluacji i badań systemu oświaty).

Edukacja, Sep 1, 2012

Uczniowie z populacji 02 , 03 , … , 10 pisali wyłącznie egzamin odpowiadający ich rocznikowi (02 ... more Uczniowie z populacji 02 , 03 , … , 10 pisali wyłącznie egzamin odpowiadający ich rocznikowi (02 , 03 , … , 10). W badaniu zrównującym wzięli udział wylosowani uczniowie zdający egzamin gimnazjalny w roku 2011. Próbę tę podzielono losowo na 11 równoważnych podprób uczniów: 11 1 , 11 2 , … , 11 11 , którzy wzięli udział w sesji zrównującej. Uczniowie z każdej próby w sesji zrównującej rozwiązywali test składający się z dwóch podzbiorów zadań kotwiczących wybranych z poprzednich egzaminów (•). Przykładowo uczniowie z próby �� �

DOAJ (DOAJ: Directory of Open Access Journals), Jun 1, 2014

artykułu jest wpływ niepoprawnego określenia rodzaju zadania na trafność wyników egzaminu. W wyni... more artykułu jest wpływ niepoprawnego określenia rodzaju zadania na trafność wyników egzaminu. W wyniku przeglądu zadań części matematyczno-przyrodniczej egzaminu gimnazjalnego w latach 2002-11 zidentyfikowano 9 zadań uznanych przez CKE za otwarte, mimo że treściowo i psychometrycznie funkcjonowały one jak zamknięte. Dla jednego z tych zadań przeprowadzono studium przypadku z wykorzystaniem modelowania IRT. Omówiony przypadek dowodzi zgadywania poprawnej odpowiedzi w zadaniach błędnie zakwalifikowanych jako zadania otwarte. Słowa kluczowe: rodzaj zadania, trafność teoretyczna, trafność treściowa, zadania otwarte, zadania zamknięte. © Instytut Badań Edukacyjnych Artykuł powstał w ramach projektu systemowego "Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego" finansowanego ze środków Europejskiego Funduszu Społecznego w ramach Programu Operacyjnego Kapitał Ludzki (Priorytet III: Wysoka jakość systemu oświaty, Poddziałanie 3.1.1. Tworzenie warunków i narzędzi do monitorowania, ewaluacji i badań systemu oświaty).

Uczniowie z populacji 02 , 03 , … , 10 pisali wyłącznie egzamin odpowiadający ich rocznikowi (02 ... more Uczniowie z populacji 02 , 03 , … , 10 pisali wyłącznie egzamin odpowiadający ich rocznikowi (02 , 03 , … , 10). W badaniu zrównującym wzięli udział wylosowani uczniowie zdający egzamin gimnazjalny w roku 2011. Próbę tę podzielono losowo na 11 równoważnych podprób uczniów: 11 1 , 11 2 , … , 11 11 , którzy wzięli udział w sesji zrównującej. Uczniowie z każdej próby w sesji zrównującej rozwiązywali test składający się z dwóch podzbiorów zadań kotwiczących wybranych z poprzednich egzaminów (•). Przykładowo uczniowie z próby �� �

przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części matem... more przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części matematyczno-przyrodniczej i części humanistycznej egzaminu gimnazjalnego z lat 2002-2012. W latach 2011-2014 przeprowadzone zostały cztery sesje, podczas których uczniowie z reprezentatywnej próby polskich szkół rozwiązywali arkusze zadań pochodzących ze sprawdzianu w szóstej klasie szkoły podstawowej i egzaminów gimnazjalnych, w warunkach możliwie zbliżonych do rzeczywistej sesji egzaminacyjnej. Dane te posłużyły do oszacowania funkcji zrównujących, które zostały wykorzystane do zrównania wyników rzeczywistych egzaminów. Zrównania przeprowadzone za pomocą metody ekwicentylowej, zrównania liniowego i metod wywodzących się z item reponse theory, dały zbliżone wyniki. Uzyskane rezultaty omówione zostały w kontekście planowania zrównań testów. Słowa kluczowe: psychometria, zrównywanie wyników obserwowanych, zrównywanie ekwicentylowe. © Instytut Badań Edukacyjnych Artykuł powstał w ramach projektu systemowego "Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego" finansowanego ze środków Europejskiego Funduszu Społecznego w ramach Programu Operacyjnego Kapitał Ludzki (Priorytet III: Wysoka jakość systemu oświaty, Poddziałanie 3.1.1. Tworzenie warunków i narzędzi do monitorowania, ewaluacji i badań systemu oświaty).

ABSTRACT The article presents the methodology and results of a survey on equating the lower secon... more ABSTRACT The article presents the methodology and results of a survey on equating the lower secondary school examina-tions from 2002–2010. The survey was carried out by the Student Performance Analysis Unit at the Educational Research Institute. More than 10 000 students were selected for the equating study and information about more than 500 items was used. IRT models were used for equating exams, the results were presented on a latent vari-able scale and the observed score scale. Using this procedure, it was possible to isolate random difficulty varia-tion between exam papers from specific years and present changes in ability level of students taking the exam. Based on the results, the level of humanities abilities of lower secondary school leavers was stable, whilst maths and science demonstrated a downward trend. Equating was validated by comparison with the results of the international PISA survey. Results for the arts and humanities were consistent with the PISA results for reading literacy. Maths and science, as compared with the PISA survey maths section demonstrated greater divergence. T o compare the school performance of students taking lower secondary school leaving exams in various exam sessions, it is necessary to introduce mechanisms to permit equating. The equating procedures allow for control of random variations in difficulty be-tween papers set for the exam in subsequent years. This is important for the lower sec-ondary school leaving exam, which is used to evaluate school performance and is important for enrolment into upper secondary school. This is a high-stakes exam

Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnost... more Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnostyczną. Dla realizacji tej funkcji ważne jest zapewnienie porównywalności oceniania w całym kraju. Drogą do osiągnięcia porównywalności jest stosowanie jednolitych kryteriów oceniania, jak również odpowiednia organizacja oceniania w całym kraju.

Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnost... more Jak już sygnalizowano wcześniej sprawdzian jako egzamin zewnętrzny pełni głównie funkcję diagnostyczną. Dla realizacji tej funkcji ważne jest zapewnienie porównywalności oceniania w całym kraju. Drogą do osiągnięcia porównywalności jest stosowanie jednolitych kryteriów oceniania, jak również odpowiednia organizacja oceniania w całym kraju.