A kettős párhuzamos értékelés az angoltanári szakdolgozatok értékelésében
Article Sidebar
Main Article Content
Absztrakt
A kutatás a kettős párhuzamos értékelés megvalósítását vizsgálja az angoltanári szakdolgozatok esetében az ELTE Angol-Amerikai Intézetében, 2011–2019 között. Az eszközök a klasszikus, nyerspontokra épülő megbízhatósági, korrelációs elemzés és pontátlagok összevetése volt, kiegészítve a többváltozós, probabilisztikus Rasch-módszerrel. A pontozás konzisztenciája, megbízhatósága megfelelt az elvárásoknak, megteremtve így a feltételeket az érvényesség vizsgálatához, azonban az értékelők egyetértési mutatója alacsony volt. A magas belső konzisztencia mellett jelentkező szignifikáns különbségekre a témavezetői és bírálói összpontszám-átlagok és korrelációk mutatnak rá, amely különbség nem is lenne meglepő, ha a témavezetők és bírálók teljesen külön csoport lennének. Az eltérések mégis érdekesek, mert túlnyomórészt ugyanazok a kollégák pontoznak, vagy témavezetőként, vagy bírálóként, és fordítva, jellemzően ugyanabban a félévben, amint azt a kutatás itt leírt szerkezete mutatja. Az egyetértés alacsony értéke és a témavezetői-bírálói körök jelentős átfedése közötti ellentmondás – mintha az értékelők önmagukkal nem értenének egyet – az értékelői szerepek magyarázatával oldható fel: A témavezető és bíráló eltérő konstruktumaik szerint, nem azonos szemlélettel értékeli a dolgozatokat. Szellemi folyamataik és a szakdolgozóhoz való viszonyuk különbségei magyarázzák a pontkülönbségeket a vizsgáztatásban tipikusnak mondható szigorúság (severity) vagy elnézőség (leniency) különbségei mellett. E tanulmány bemutatja, hogy az értékelői hatás komplex, hierarchikus elrendezésű, összetevői nem csupán a szigor vagy elnézőség tényezője, dimenziója lehet, hanem abban az eltérő értékelői feladatkörökből származó értékelői szerep tényező is közrejátszhat.
Letöltések
Article Details
Hivatkozások
Alderson, J. C., Clapham, C. & Wall, D. (1995). Language test construction and evaluation. Cambridge University Press.
Bachman, L. F. & Palmer, A. S. (1996). Language Testing in Practice. Oxford University Press.
Bachman, L. F. & Palmer, A. S. (2010). Language Assessment in Practice. Oxford University Press.
Bond, T. G. & Fox, C. M. (2001). Applying the Rasch model: Fundamental measurement in the human sciences. Lawrence Erlbaum Associates.
Borsboom, D., Mellenbergh, G. J. & van Heerden, J. (2004). The concept of validity. Psychological Review, 111(4), 1061–1071. DOI: https://doi.org/10.1037/0033-295X.111.4.1061
Bramley, T. & Dhawan, V. (2011). Investigating and reporting information about marker reliability in high-stakes external school examinations. Konferencia-összefoglaló. European Conference on Educational Research, Berlin. https://www.cambridgeassessment.org.uk/Images/111868-investigating-and-reporting-information-about-marker-reliability-in-high-stakes-external-school-examinations-.pdf
Brennan, R. L. (2006). Perspectives on the evolution and future of educational measurement. In Brennan, R. L. (szerk.), Educational measurement. 4. kiadás. American Council on Education/Praeger. 1–16.
Brooks, V. (2004). Double marking revisited. British Journal of Educational Studies, 52(1), 29–46. DOI: https://doi.org/10.1111/j.1467-8527.2004.00253.x
Brown, A. (2003). Legibility and the rating of second language writing. IELTS reports 4. International English Language Testing System (IELTS). 131–151. https://ielts.org/researchers/our-research/research-reports/legibility-and-the-rating-of-second-languagewriting-an-investigation-of-the-rating-of-handwrittenand-word-processed-ielts-task-2-essays
Brown, A., Iwashita, N. & McNamara, T. (2005). An examination of rater orientations and test-taker performance on English-for-academic-purposes speaking tasks. ETS Research Report Series, (1), i–157. DOI: https://doi.org/10.1002/j.2333-8504.2005.tb01982.x
Council of Europe. (2001). Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Cambridge University Press.
Cumming, A., Kantor, R. & Powers, D. E. (2002). Decision making while rating ESL/EFL writing tasks: A descriptive framework. The Modern Language Journal, 86(1), 67–96. DOI: https://doi.org/10.1111/1540-4781.00137
Csíkos, Cs. (2020). A neveléstudomány kutatásmódszertanának alapjai. ELTE Eötvös Kiadó.
Dávid, G. & Piniel, K. (2018). Establishing categories in the design of rating scales for MA in-ELT theses. Working Papers In Language Pedagogy, 12. 55–82. https://doi.org/10.61425/wplp.2018.12.55.82
DeCarlo, L. T. (1998). Signal Detection Theory and Generalized Linear Models. Psychological Methods, 3(2), 186–205. DOI: https://doi.org/10.1037/1082-989X.3.2.186
DeCarlo, L. T. (2005). A model of rater behavior in essay grading based on signal detection theory. Journal of Educational Measurement, 42(1), 53–76. DOI: https://doi.org/10.1111/j.0022-0655.2005.00004.x
DeCarlo, L. T., Kim, Y. & Johnson, M. S. (2011). A hierarchical rater model for constructed responses with a signal detection rater model. Journal of Educational Measurement, 48(3), 333–356. DOI: https://doi.org/10.1111/j.1745-3984.2011.00143.x
Ducasse, A. M. & Brown, A. (2009). Assessing paired orals: Raters’ orientation to interaction. Language Testing, 26(3), 423–443. DOI: https://doi.org/10.1177/0265532209104669
Eckes, T. (2008). Rater types in writing performance assessments: A classification approach to rater variability. Language Testing, 25(2), 155–185. DOI: https://doi.org/10.1177/0265532207086780
Eötvös Loránd University (é. n.). OTAK theses. https://delp.elte.hu/otak_theses
Fulcher, G. (2013). Philosophy and Language Testing. In Kunnan, A. J. (szerk.), The Companion to Language Assessment, 1431–1451. Wiley–Blackwell. DOI: https://doi.org/10.1002/9781118411360.wbcla032
Guttman, R. & Greenbaum, C. W. (1998). Facet theory: Its development and current status. European Psychologist, 3(1), 13–36. DOI: https://doi.org/10.1027/1016-9040.3.1.13
Hallinger, P. (2011). A review of three decades of doctoral studies using the principal instructional management rating scale. Educational Administration Quarterly, 47(2), 271–306. DOI: https://doi.org/10.1177/0013161X10383412
IBM Corp. (2020). IBM SPSS Statistics for Windows (Version 27.0) [Számítógépes szoftver].
Kane, M. (1992). An argument-based approach to validity. Psychological Bulletin, 112(3), 527–535. DOI: https://doi.org/10.1037/0033-2909.112.3.527
Kane, M. (2012) Validating Score Interpretations and Uses: Messick Lecture, The Language Testing Research Colloquium, Cambridge, April 2010. Language testing, 29(1), 3–17. DOI: https://doi.org/10.1177/0265532211417210
Kim, H. J. (2015). A qualitative analysis of rater behavior on an L2 speaking assessment. Language Assessment Quarterly, 12(3), 239–261. DOI: https://doi.org/10.1080/15434303.2015.1049353
Kim, Y-H. (2010). An argument-based validity inquiry into the empirically derived descriptor-based diagnostic (EDD) assessment in ESL academic writing. Doktori értekezés. University of Toronto. https://hdl.handle.net/1807/24786
Kiszely, Z. (2012). Egy anglisztika szakon használt szakdolgozati értékelési skála megújításának alapelvei és használatának első eredményei. In Sárdi, C. (szerk.), A felsőoktatás-pedagógia kihívásai a 21. században. Eötvös József Könyvkiadó.
Kiszely, Z. (2019). Értékelési skálák használata a beszédkészség és íráskészség vizsgákon. Modern Nyelvoktatás, 25(3–4), 120–135. https://ojs.elte.hu/modernnyelvoktatás/article/view/1480
Kondo-Brown, K. (2002). A FACETS analysis of rater bias in measuring Japanese second language writing performance. Language testing, 19(1), 3–31. DOI: https://doi.org/10.1191/0265532202lt218oa
Lamprianou, I., Tsagari, D. & Kyriakou, N. (2023). Experienced but detached from reality: Theorizing and operationalizing the relationship between experience and rater effects. Assessing Writing, 56(100713), 1–14. DOI: https://doi.org/10.1016/j.asw.2023.100713
Lim, G. S. (2011). The development and maintenance of rating quality in performance writing assessment: A longitudinal study of new and experienced raters. Language Testing, 28(4), 543-560. https://doi.org/10.1177/02655322114064
Linacre, J. M. (1989). Many-facet Rasch measurement. Mesa Press.
Linacre, J. M. (2014). FACETS (Version 3.71.4) [Számítógépes szoftver]. https://www.winsteps.com/facets.htm
Linacre, J. M. (2017). A user’s guide to FACETS Rasch-model computer programs (Version 3.80). https://www.winsteps.com/facets.htm
Linacre, J. M., Patz, R. J. & Donoghue, J. R. (2003). The Hierarchical Rater Model HRM from a Rasch perspective. Rasch Measurement Transactions, 17(2), 928. https://www.rasch.org/rmt/rmt172k.htm
Lukácsi, Z. (2021). Developing a level-specific checklist for assessing EFL writing. Language Testing, 38(1), 86–105. DOI: https://doi.org/10.1177/0265532220916703
Luoma, S. (2004). Assessing speaking. Cambridge University Press. DOI: https://doi.org/10.1017/CBO9780511733017
Martens, F. L. (1979). A scale for measuring attitude toward physical education in the elementary school. The Journal of Experimental Education, 47(3), 239–247. DOI: https://doi.org/10.1080/00220973.1979.11011688
McNamara, T. (1996). Measuring second language performance. Longman.
McQuade, R., Kometa, S., Brown, J., Bevitt, D. & Hall, J. (2020). Research project assessments and supervisor marking: maintaining academic rigour through robust reconciliation processes. Assessment & Evaluation in Higher Education, 45(8), 1181–1191. DOI: https://doi.org/10.1080/02602938.2020.1726284
Meadows, M. & Billington, L. (2005). A review of the literature on marking reliability. National Assessment Agency. https://assets.publishing.service.gov.uk/media/5a820a57e5274a2e87dc0d5a/0505_Meadows_and_Billington_CERP_RP.pdf
Messick, S. (1989). Validity. In Linn, R. L. (szerk.), Educational Measurement. American Council on Education/Macmillan. 13–103.
Messick, S. (1995). Validity of psychological assessment. American Psychologist, 50(9), 741–749. DOI: https://doi.org/10.1037/0003-066X.50.9.741
Ofqual (2014a). Review of double marking research. https://assets.publishing.service.gov.uk/media/5a82b3efed915d74e623734f/2014-02-14-review-of-double-marking-research.pdf
Ofqual (2014b). Review of marking internationally. https://webarchive.nationalarchives.gov.uk/ukgwa/20141031163546/http://ofqual.gov.uk/documents/review-of-marking-internationally
Partington, J. (1994). Double-marking students’ work. Assessment & Evaluation in Higher Education, 19(1), 57–60. DOI: https://doi.org/10.1080/0260293940190106
Patz, R. J., Junker, B. W., Johnson, M. S. & Mariano, L. T. (2002). The hierarchical rater model for rated test items. Journal of Educational and Behavioral Statistics, 27(4), 341–384. DOI: https://doi.org/10.3102/10769986027004341
Pollitt, A. (1991). Response to Charles Alderson’s paper: ‘Bands and scores’. In Alderson, J. C. & North, B. (szerk.), Language testing in the 1990s: The communicative legacy. Macmillan. 87–94.
PTMIK (2002). Közös Európai Referenciakeret: Nyelvtanulás, nyelvtanítás, értékelés. Pedagógus-továbbképzési Módszertani és Információs Központ.
Safari, F. & Ahmadi, A. (2023). Developing and evaluating an empirically based diagnostic checklist for assessing second language integrated writing. Journal of Second Language Writing, 60, Article 101007. DOI: https://doi.org/10.1016/j.jslw.2023.101007
Schaefer, E. (2008). Rater bias patterns in an EFL writing assessment. Language Testing, 25(4), 465–493. DOI: https://doi.org/10.1177/0265532208094273
Sideridis, G. & Padeliadu, S. (2013). Creating a brief rating scale for the assessment of learning disabilities. Journal of Learning Disabilities, 46(2), 115–132. DOI: https://doi.org/10.1177/0022219411407924
Steele, J. & Shaw, M. (2022). Exploring the value of double marking in dissertation assessments. [Preprint]. EdArXiv. DOI: https://doi.org/10.35542/osf.io/ug7yb
Weigle, S. C. (2002). Assessing writing. Cambridge University Press. DOI: https://doi.org/10.1017/CBO9780511732997
Weir, C. J. (2005). Language Testing and Validation: An Evidence-based Approach. Palgrave Macmillan. DOI: https://doi.org/10.1057/9780230514577
Wigglesworth, G. (1993). Exploring bias analysis as a tool for improving rater consistency in assessing oral interaction. Language Testing, 10(3), 305–319. DOI: https://doi.org/10.1177/026553229301000306
Williams, L. & Kemp, S. (2019). Independent markers of master’s theses show low levels of agreement. Assessment & Evaluation in Higher Education, 44(5), 764–771. DOI: https://doi.org/10.1080/02602938.2018.1535052
Winke, P., Gass, S. & Myford, C. (2012). Raters’ L2 background as a potential source of bias in rating oral performance. Language Testing, 30(2), 231–252. DOI: https://doi.org/10.1177/0265532212456968
Yan, X. (2014). An examination of rater performance on a local oral English proficiency test: A mixed-methods approach. Language testing, 31(4), 501–527. DOI: https://doi.org/10.1177/0265532214536171
Yanosky II, D. J., Schwanenflugel, P. J. & Kamphaus, R. W. (2013). Psychometric properties of a proposed short form of the BASC teacher rating scale–preschool. Journal of Psychoeducational Assessment, 31(4), 351–362. DOI: https://doi.org/10.1177/0734282912456969