In
large-scale assessments like Programme for International Students Assessment
(PISA) and the Trends in International Mathematics and Science Study (TIMSS),
plausible values are often used as students’ ability estimations. In those
studies, stratified sampling method is employed in order to draw participants,
and hence, the data gathered has a hierarchical structure. In the context of
large-scale assessments, plausible values refer to randomly drawn values from
posterior ability distribution. It is reported that using one of plausible
values or mean of those values as independent variable in linear models may
lead to some estimation errors. Moreover, it is observed that sampling weights
sometimes are not used during analysis of large-scale assessment data. This
study aims to investigate the influence of three approaches on the parameters
of linear and hierarchical linear regression models: 1) using only one
plausible value, 2) using all plausible values, 3) incorporating sampling
weights or not. Data used in the present study is obtained from school and
student questionnaires in PISA (2015) Turkey database. Results revealed that
the use of sampling weights and number of plausible values has significant
effects on regression coefficients, standard errors and explained variance for
both regression models. Findings of the study were discussed in details and
some conclusions were drawn for practice and further research.
Hierarchical linear modeling Multiple linear regression Plausible values Survey weights large-scale assessments PISA
Uluslararası Öğrenci
Değerlendirme Programı (PISA) ve Uluslararası Matematik ve Fen Eğilimleri
Çalışması (TIMSS) gibi geniş ölçekli uygulamalarda öğrenci yeteneğine ilişkin
kestirimler olarak makul değerler kullanılır. Bu çalışmalarda katılımcılar
tabakalı örnekleme yöntemi ile çekilmektedir. Bu durum elde edilen verilerin,
çok sayıdaki tabakadan oluşan hiyerarşik bir yapıda olmasının önünü açmaktadır.
Geniş ölçekli değerlendirme çalışmaları bağlamında makul değerler, sonsal
yetenek dağılımından rastgele elde edilen değerler olarak tanımlanmaktadır.
Doğrusal modellerde tek bir makul değerin veya tüm makul değerlerin
ortalamasının bağımsız değişken olarak kullanılmasının yanlı sonuçlara sebep
olabildiği bilinmektedir. Aynı zamanda bu geniş ölçekli çalışmaların verileri
ile analizler yapılırken örnekleme ağırlıklarının göz ardı edildiği sıkça
gözlenmektedir. Bu çalışmanın amacı, çoklu doğrusal regresyon ve hiyerarşik
doğrusal modellerde 1) tek makul değer kullanımının, 2) tüm makul değerlerin
kullanımının, 3) ağırlık kullanma durumunun parametre kestirimlerine etkisini
araştırmaktır. Çalışmada PISA 2015 uygulamasının Türkiye verilerinden
yararlanılmıştır. Araştırmada, örnekleme ağırlıkları kullanma durumunun ve
makul değerlerin kullanım şeklinin kat sayıların, standart hataların ve
açıklanan varyans oranının kestirilmesinde önemli rolleri olduğu
belirlenmiştir. Bulgular detaylı bir biçimde tartışılmış ve uygulama ve gelecek
araştırmalar için bazı öneriler sunulmuştur.
Hiyerarşik doğrusal modeller çoklu doğrusal regresyon makul değer örnekleme ağırlıkları geniş ölçekli değerlendirmeler PISA
Primary Language | English |
---|---|
Journal Section | Articles |
Authors | |
Publication Date | September 4, 2019 |
Acceptance Date | June 17, 2019 |
Published in Issue | Year 2019 Volume: 10 Issue: 3 |