Psychometrické a analytické metody v diagnostice jazykové výkonnosti

Mgr. Lothar Filip Rudorfer

• jazyková výkonnost
• situace v psychometrice a jaz. výkonnosti (kdo vytváří, podmínky)
• přehledová studie
• deskriptiva
• rizika a plány do budoucna

Jazyková

výkonnost?

CHC teorie kognitivní schopností� - cross-battery přístup� - umožňuje kombinovat různé verbální subtesty různých metod

faktory zahrnuty v testových bateriích:

• Cognitive processing speed (Gs):

​

• Reading and writing (Grw):

​

• Visual-spatial processing (Gv):

​

• Auditory processing (Ga):

​

• Comprehension-knowledge (Gc):

• Short-term memory (Gsm):

Současný stav

​

kdo připravuje testy?

• soukromé společností (např. Testcentrum – Hogrefe, Psychodiagnostika, s.r.o. aj)

​

• projekty (např. ESF, TAČR)
• Dříve NÚV (v rámci projektu DIS (Diagnostika dětí a žáků se speciálními vzdělávacími potřebami) 2010- 2013 připravil 12 nových diagnostických nástrojů pro diagnostiku dětí a adolescentů – změna od 2020 - Národní pedagogický institut ČR - agenda dále nepodpořena!)
• vyhláška č. 72/2005 Sb. o poskytování poradenských služeb ve školách a školských poradenských zařízeních, ve znění vyhlášky č. 116/2011 Sb.
• vyhláška č. 27/2016,
• MZDR 5107/2020-2/MIN/KAN
• odborná literatura zaměřující na diagnostiku (např. Svoboda: Psychologická diagnostika dospělých, Portál 1999, Svoboda, Humpolíček, Šnorek: Psychodiagnostika dospělých, Portál 2013, Svoboda, Krejčířová, Vágnerová: Psychodiagnostika dětí a dospívajících, Portál 2001, Říčan, Krejčířová: Dětská klinická psychologie, Portál 2006)

​

​

Vytváření testů

Bibliografické rešerše pro psychometriku a diagnostické nástroje jazykové výkonnosti

• Procedia Computer Science (7), Neuroscience & Biobehavioral Reviews (3), Journal of Taibah University Medical Sciences (2), Value in Health (1),
• Neural Networks (1), International Journal of Research in Marketing (1),
• Computers & Geosciences (1), Landscape and Urban Planning (1), Computer Law & Security Review (1),
• Acta Psychologica (1)

Cíle a fáze projektu

• Zmapovat povědomí odborné psychologické veřejnosti o psychometrických standardech
• Přehledová studie
• Přehledy, doporučení, průzkum trhu a legislativy
• Dotazníkové šetření se zaměřením na používané testové baterie (pro psychology z praxe / pro výzkumníky)
• Testová statistika vybraných nástrojů
• Výstupy: recenzované články (peer-review), konferenční výstupy (např. psychodiagnostika FSS MU Brno)

​

Přehledová studie

•    Ústní a písemný projev

•    Čtení

•    Achievementové / Výkonové testy

•    Testy Inteligence

•    Artikulační testy

•    Testy sociálně-adaptačních schopností a dovedností

•    Testy motorických funkcí

​

•    Do 5ti let (Předškolní věk)

•    6-8 

•    9-11 

•    12-14 

•    14-18 

•    18 -25 

​

Tato fotka od autora Neznámý autor s licencí CC BY-ND

všechny v sobě mají test/subtest/položky jazykové výkonnosti zahrnutý

Přehledová studie

• 46 testových nástrojů a jejich odborných článků, recenzí, odborných příruček a doporučujících dokumentů národních a nadnárodních organizací spravující některé testové baterie (APA, University of Michigan, MSMT-13319/2019-1, archiv diagnostických nástrojů PedF CUNI, American Guidance Service, Inc., Kyoto University 京都大学, UC Berkeley, Testfórum FSS MUNI, Universität München)
• Kategorie: název, zkratka, typ, klasifikace, standardizace, vzorek pro standardizace, revize, dostupné v ČR, standardizace v ČR, země vydání, skupinová administrace, cena, měna, hodnocení, počet subtestů a věková skupina

Deskriptivní statistiky I

Deskriptivní statistiky II

Deskriptivní statistiky III

*studie s hodnocením 9 jsou vhodné pro tzv. dynamickou diagnostiku

Deskriptivní statistiky IV

V Česku používané (n=17 z celku n=64)

klasifikace

​

Dotazníkové šetření

Dotazníkové šetření

praktici

výzkumníci

Rizika

• chybějící data - nezahrnuty baterie a testy národních jazyků, které nejsou v kompetenci výzkumníka (Latinská Amerika, Španělsko, Portugalsko, Čína, Taiwan, Hong Kong, Vietnam, JV Asie)�
• možné kreslení - chyba měření, paradox pozorovatele, Hawthorne effect (1924) Labov paradox (1972), upřímné odpovědi výzkumníků a praktiků�
• neuznání vymezení projektu vůči již probíhajícím podobným v ČR (vzhledem aktuálnosti tématu)�
• změna legislativy (tlaky na ČMPSY, UPAČR, MŠMT, MZV pro realizaci diagnostiky v online prostředí vs. odlišné názory jiných asociací)�
• ambivalentní výsledky výzkumného šetření (aneb. vím, že nic nezměřím)�
• zamítnutí poskytnutí obsahu standardizačních studií pro vybrané často užívané baterie (přesný způsob výpočtu skóre respondenta)

​

KONEC -Citované zdroje:

• Albers, C. A., & Grieve, A. J. (2007). Test Review: Bayley, N. (2006). Bayley Scales of Infant and Toddler Development– Third Edition. San Antonio, TX: Harcourt Assessment. Journal of Psychoeducational Assessment, 25(2), 180–190. https://doi.org/10.1177/0734282906297199
• Bain, S. K., & Allin, J. D. (2005). Book Review: Stanford-Binet Intelligence Scales, Fifth Edition. Journal of Psychoeducational Assessment, 23(1), 87–95. https://doi.org/10.1177/073428290502300108
• Bain, S. K., & Gray, R. (2008). Test Reviews: Kaufman, A. S., & Kaufman, N. L. (2004). Kaufman Assessment Battery for Children, Second edition. Circle Pines, MN: AGS. Journal of Psychoeducational Assessment, 26(1), 92–101. https://doi.org/10.1177/0734282907300461
• Blackwell, T. L. (2001). Test Review: Woodcock, R. W., McGrew, K. S., & Mather, N. (2001). Woodcock-Johnson® III Test. Riverside Publishing Company. Itasca, IL. Rehabilitation Counseling Bulletin, 44(4), 232–235. https://doi.org/10.1177/003435520104400407
• Braden, Jeffery & Alfonso, Vincent. (2003). The Woodcock-Johnson III Tests of Cognitive Abilities in Cognitive Assessment Courses. DOI: 10.1016/B978-012628982-4/50013-1. 
• Brem, S., Kuhn, C., & Mehringer, H. (2016). Lese- und/oder Rechtschreibstörung: leitlinienbasierte Diagnostik und Therapie. PSYCH Up2date, 10(06), 495–506. https://doi.org/10.1055/s-0042-110743
• Brock, S. E., & Knapp, P. K. (1996). Reading comprehension abilities of children with Attention-Deficit/Hyperactivity Disorder. Journal of Attention Disorders, 1(3), 173–185. https://doi.org/10.1177/108705479600100305
• Cígler, H., & Mafková, J. (2013). Metoda barvově-slovních asociací (takzvané Barvy života) není diagnostickým nástrojem. TESTFÓRUM, 2(2), 15-27.            DOI:https://doi.org/10.5817/TF2013-2-9
• Cígler, Hynek. (2018). Verbální fluence u dětí ve věku 5–12 let: české normy a vybrané psychometrické ukazatele. E-psychologie. DOI: 12. 16-30. DOI: 10.29364/epsy.329. 
• Cohen, M. J., Morgan, A. M., Vaughn, M., Riccio, C. A., & Hall, J. (1999). Verbal Fluency in Children: Developmental Issues and Differential Validity in Distinguishing Children with Attention-Deficit Hyperactivity Disorder and Two Subtypes of Dyslexia. Archives of Clinical Neuropsychology, 14(5), 433–443. http://doi.org/10.1016/S0887-6177(98)00038-9
• Deimel, Wolfgang. Testverfahren zur Diagnostik der Lese-Rechtschreibstörung. München: Klinik für Kinder- und Jugendpsychiatrie, Psychosomatik und Psychotherapie der Ludwig-Maximilians-Universität (2002), 11 S. 2008/4
• Eriksson, M., & Berglund, E. (1999). Swedish early communicative development inventories: words and gestures. First Language, 19(55), 55–90. https://doi.org/10.1177/014272379901905503
• Frazier, T. W., Demaree, H. A., & Youngstrom, E. A. (2004). Meta-analysis of intellectual and neuropsychological test performance in attention-deficit/hyperactivity disorder. Neuropsychology, 18(3), 543–555. http://doi.org/10.1037/0894-4105.18.3.543
• Fukushima, Shino. (2014). Characteristics of Developmental Dyslexia in Japanese Kana from the Viewpoint of the Japanese Feature. Journal of Psychological Abnormalities in Children. 03. DOI: 10.4172/2329-9525.1000126. 
• Gilkerson, J., Richards, J. A., Greenwood, C. R., & Montgomery, J. K. (2017). Language assessment in a snap: Monitoring progress up to 36 months. Child Language Teaching and Therapy, 33(2), 99–115. https://doi.org/10.1177/0265659016660599
• Green L, Myerson J. A discounting framework for choice with delayed and probabilistic rewards. Psychol Bull. 1999;130(5):769-792. doi:10.1037/0033-2909.130.5.769
• Hendl, J. (2012). Přehled statistických metod: Analýza a metaanalýza dat. 4. vydání Praha: Portál, 2012, 736 s. ISBN 978-80-262-0200-4.
• JASP Team (2020). JASP (Version 0.14.1)[Computer software].
• Kaufman, A. S., Flanagan, D. P., Alfonso, V. C., & Mascolo, J. T. (2006). Test Review: Wechsler Intelligence Scale for Children, Fourth Edition (WISC-IV). Journal of Psychoeducational Assessment, 24(3), 278–295. https://doi.org/10.1177/0734282906288389
• Landerl, K., Fussenegger, B., Moll, K., & Willburger, E. (2009). Dyslexia and dyscalculia: Two learning disorders with different cognitive profiles. Journal of Experimental Child Psychology, 103(3), 309–324. http://doi.org/10.1016/j.jecp.2009.03.006
• Levy, G., Jacobs, D. M., Tang, M.-X., Côté, L. J., Louis, E. D., Alfaro, B., … Marder, K. (2002). Memory and executive function impairment predict dementia in Parkinson’s disease. Movement Disorders, 17(6), 1221–1226. http://doi.org/10.1002/mds.10280
• McCane, S. J. M. (2007). An Evaluation of the Psychometric Properties of the Test of Dyslexia-Rapid Assessment Profile. Https://Core.Ac.Uk/, 1. https://core.ac.uk/download/pdf/268771263.pdf
• McCauley, R. J., & Strand, E. A. (2008). A review of standardized tests of nonverbal oral and speech motor performance in children. American journal of speech-language pathology, 17(1), 81–91. https://doi.org/10.1044/1058-0360(2008/007)
• Mccauley, Rebecca & Strand, Edythe. (2008). A Review of Standardized Tests of Nonverbal Oral and Speech Motor Performance in Children. American journal of speech-language pathology / American Speech-Language-Hearing Association. 17. 81-91. DOI: 10.1044/1058-0360(2008/007). 
• McCrimmon, A. W., & Climie, E. A. (2011). Test Review: Test of Written Language—Fourth Edition. Journal of Psychoeducational Assessment, 29(6), 592–596. https://doi.org/10.1177/0734282911406646
• Mccrimmon, Adam & Climie, Emma. (2011). Test Review: Test of Written Language--Fourth Edition. Journal of Psychoeducational Assessment. 29. 592-596. DOI: 10.1177/0734282911406646. 
• Moll, K., Thompson, P. A., Mikulajova, M., Jagercikova, Z., Kucharska, A., Franke, H., Hulme, C., & Snowling, M. J. (2016). Precursors of Reading Difficulties in Czech and Slovak Children At-Risk of Dyslexia. Dyslexia (Chichester, England), 22(2), 120–136. https://doi.org/10.1002/dys.1526
• Moll, Kristina & Thompson, Paul & Mikulajova, Marina & Jagercikova, Zuzana & Kucharska, Anna & Franke, Helena & Hulme, Charles & Snowling, Margaret. (2016). Precursors of Reading Difficulties in Czech and Slovak Children At-Risk of Dyslexia. Dyslexia (Chichester, England). DOI: 22. 10.1002/dys.1526. 
• Neuwirthová, Barbora. (2015). Baterie testů pro diagnostiku specifických poruch učení u studentů vysokých škol a uchazečů o vysokoškolské studium: Recenze metody. TESTFÓRUM. 4. DOI: 10.5817/TF2015-6-88. 
• Pedroli, Elisa & Padula, Patrizia & Guala, Andrea & Meardi, Maria & Riva, Giuseppe & Albani, Giovanni. (2017). A Psychometric Tool for a Virtual Reality Rehabilitation Approach for Dyslexia. Computational and Mathematical Methods in Medicine. 2017. 1-6. DOI: 10.1155/2017/7048676. 
• Příloha č. 1 Seznam podporovaných diagnostických nástrojů.pdf, https://www.msmt.cz/file/46583/, MSMT
• Puranik, C. S., Patchan, M. M., Sears, M. M., & McMaster, K. L. (2017). Examining Alphabet Writing Fluency in Kindergarten: Exploring the Issue of Time on Task. Assessment for Effective Intervention, 42(2), 81–96. https://doi.org/10.1177/1534508416665324
• Radencich, M. C. (1988). Book Review: Woodcock Reading Mastery Tests-Revised. Journal of Psychoeducational Assessment, 6(2), 168–173. https://doi.org/10.1177/073428298800600208
• Rehfeld DM, Padgett RN. Test Review: Comprehensive Assessment of Spoken Language–Second Edition. Journal of Psychoeducational Assessment. 2019;37(4):524-529. DOI:10.1177/0734282917753484
• Rehfeld, D. M., & Padgett, R. N. (2019). Test Review: Comprehensive Assessment of Spoken Language–Second Edition. Journal of Psychoeducational Assessment, 37(4), 524–529. https://doi.org/10.1177/0734282917753484
• Rinehardt, E., Eichstaedt, K., Schinka, J. A., Loewenstein, D. A., Mattingly, M., Fils, J., … Schoenberg, M. R. (2014). Verbal Fluency Patterns in Mild Cognitive Impairment and Alzheimer’s Disease. Dementia and Geriatric Cognitive Disorders, 38(1–2), 1–9. http://doi.org/10.1159/000355558
• Richard W. Woodcock. (1984) A Response to Some Questions Raised About the Woodcock-Johnson II. Efficacy of the Aptitude Clusters. School Psychology Review 13:3, pages 355-362. 
• Sands R., D’Amato R.C. (2018) McCarthy Scales of Children’s Abilities. In: Kreutzer J., DeLuca J., Caplan B. (eds) Encyclopedia of Clinical Neuropsychology. Springer, Cham. https://doi.org/10.1007/978-3-319-56782-2_1462-3
• Sands, R. & D'Amato, Rik. (2017). McCarthy Scales of Children’s Abilities. DOI: 10.1007/978-3-319-56782-2_1462-3. 
• Scattone, D., Raggio, D. J., & May, W. (2011). Comparison of the Vineland Adaptive Behavior Scales, Second Edition, and the Bayley Scales of Infant and Toddler Development, Third Edition. Psychological reports, 109(2), 626–634. https://doi.org/10.2466/03.10.PR0.109.5.626-634
• Scattone, Dorothy & Raggio, Donald & May, Warren. (2011). Comparison of the Vineland Adaptive Behavior Scales, Second Edition, and the Bayley Scales of Infant and Toddler Development, Third Edition. Psychological reports. 109. 626-34. DOI: 10.2466/03.10.PR0.109.5.626-634. 
• Schulte-Körne, G. (2017). Lese- und/oder Rechtschreibstörung. Monatsschrift Kinderheilkunde, 165(6), 476–481. https://doi.org/10.1007/s00112-017-0290-4
• Seitl, M. S. (2015). Testové psychodiagnostické metody pro výběr zaměstnanců. Https://Www.Ff.Upol.Cz/. https://www.ff.upol.cz/fileadmin/userdata/FF/katedry/pch/vyzkum/SEITL-Testove_psychodiagnosticke_metody.pdf
• Shenoy, S. (2014). Assessment tools to differentiate between language differences and disorders in English language learners. Berkeley Review of Education, 5(1). http://dx.doi.org/10.5070/B85110048 Retrieved from https://escholarship.org/uc/item/6nj5f2x7
• Shenoy, Sunaina. (2014). Assessment tools to differentiate between language differences and disorders in English language learners. Berkeley Review of Education. 5. DOI: 10.5070/B85110048. 
• Šmahelová, Lucie. (2018) Prožívání depresivity v raných fázích otcovství [online]. Brno, 2018 [cit. 2021-02-22]. Available from: <https://is.muni.cz/th/fa7bj/>. Master's thesis. Masaryk University, Faculty of Social Studies. Thesis supervisor Ivo Plaňava.
• Squires J, Bricker D, Potter L. Revision of a parent-completed development screening tool: Ages and Stages Questionnaires. J Pediatr Psychol. 1997 Jun;22(3):313-28. DOI: 10.1093/jpepsy/22.3.313. PMID: 9212550.
• Squires, Jane & Bricker, Diane & Potter, LaWanda. (1997). Revision of a Parent-Completed Developmental Screening Tool: Ages and Stages Questionnaires. Journal of pediatric psychology. 22. 313-28. DOI: 10.1093/jpepsy/22.3.313.
• Strawser, S., & Sileo, N. (1999). Developmental Indicators for the Assessment of Learning – Third Edition (DIAL-3). Diagnostique, 24(1–4), 99–113. https://doi.org/10.1177/153450849902401-410
• Strawser, S., & Sileo, N. (1999). Developmental Indicators for the Assessment of Learning – Third Edition (DIAL-3). Diagnostique, 24(1–4), 99–113. https://doi.org/10.1177/153450849902401-410
• Towse, J. N., Hitch, G. J., Hamilton, Z., Peacock, K., & Hutton, U. M. Z. (2005). Working Memory Period: The Endurance of Mental Representations. The Quarterly Journal of Experimental Psychology Section A, 58(3), 547–571. https://doi.org/10.1080/02724980443000098
• Towse, John & Hitch, Graham & Hamilton, Zoë & Miller, Kirsty & Hutton, Una. (2005). Working Memory Period: The Endurance of Mental Representations. The Quarterly journal of experimental psychology. A, Human experimental psychology. 58. 547-71. DOI: 10.1080/02724980443000098. 
• Vladescu, Jason. (2007). Test Review: Kaufman Test of Educational Achievement-Second Edition (KTEA-II). Journal of Psychoeducational Assessment - J PSYCHOEDUC ASSESS. 25. 92-100. DOI: 10.1177/0734282906294708. 
• Volden J, Smith IM, Szatmari P, Bryson S, Fombonne E, Mirenda P, Roberts W, Vaillancourt T, Waddell C, Zwaigenbaum L, Georgiades S, Duku E, Thompson A. Using the preschool language scale, fourth edition to characterize language in preschoolers with autism spectrum disorders. Am J Speech Lang Pathol. 2011 Aug;20(3):200-8. DOI: 10.1044/1058-0360(2011/10-0035). Epub 2011 Apr 8. PMID: 21478278.
• Witruk, Evelin. (2011). Assessment and Treatment of Dyslexia - An Overview. Ad verba liberorum. 3. DOI: 10.2478/v10196-011-0022-1. 
• ��

Studie

• Urbánek (2009): problémem je, že není určen žádný kontrolní orgán, který by dozoroval užití nástrojů, aby nedocházelo k jejich nesprávnému užívání nebo dokonce zneužití, bude-li s psychodiagnostickou pomůckou pracovat nekvalifikovaný uživatel. Správné užívání psychodiagnostiky je součástí etických kodexů, které přijímají profesní asociace psychologických aplikačních oblastí, nejsou však zákonně závazné.
• European Federation of Psychologists' Associations (2009)
• EFPA (EFPA Board of Assessment)
• (srov. Revelle, W., 2015; Urbánek, T., 2010; Cígler, H., 2019; Ciharova, M., et al., 2020)
• Paralelní šetření - Urbánek, Cígler, Ježek (2020)
• Řídíme se kvantitativním standardem řešení výzkumných šetření s přesahem do klinické praxi, kazuistik a aplikačního rámce diagnostiky -> k popojení KVANT a KVAL standardu (smíšený design)

• The Intelligence Test Desk Reference (ITDR) (McGrew & Flanagan, 1998)
• Cross Battery Assessment (XBA; Flanagan, Ortiz, Alfonso, & Dynda, 2008)
• otázka faktoru LD - language development

​

Teorie dělení typů testů I

• Dělení, kategorizace a typy psychologických diagnostických testů mají různou strukturu v závislosti na:
• zemi vzniku, místním regulacím, doporučením ,případně i dle zaměření, či věku cílové skupiny.

Obecně však neexistuje jednoznačný úzus dělení, který by byl univerzální a použitelný psychology po celém světě.

• I. Výkonové metody (zahrnující inteligenční testy a testy specifických kognitivních funkcí), 
• II. Testy osobnosti ( Osobnostní dotazníky, projektivní metody, Objektivní testy osobnosti, Testy integrity, Testy situačního úsudku a kompetencí).
• psychodiagnostické metody pro výběr zaměstnanců nezařazuji posuzovací stupnice. Nejedná se o metody standardizované a splňující psychometrické parametry, které jsou součástí podmínek účelnosti, které sjou popsány více  níže.

Teorie dělení typů testů II

Šmahelová (2018) také uvádí klasifikaci:

1 .testy individuální a skupinové 

2. testy„tužka-papír“ a testy manipulační 

3. testy jednodimenzionální a multidimenzionální 

4. výkonové testy - testy inteligence - testy speciálních schopností a jednotlivých psychických funkcí - testy   vědomostí b ) testy osobnosti - projektivní testy - objektivní testy osobnosti - dotazníky - posuzovací stupnice

​

Diagnostika

• psychometrický přístup

– vysuzování neúplná indukce (závěry nelze vysoudit ze všech údajů – skok mezi fakty a závěry) - je třeba správná administrace a volba testu

• klinický přístup – naopak, doplnění informací údaji z psychometrických nástrojů

Pojem měření v psychologii: měření je součástí psychodiagnostické činnosti (psychometrie), je to měření psychických jevů (registrace pozorovaného chování). Cílem psychometriky je konstrukce a ověřování psychodiagnostických metod. Než může být jakákoli psychodiagnostická metoda použita, musí projít procesy konstrukce, ověřování a standardizace (umožňuje nám zvážit, jakou metodu, pro jaký problém funkčně použít).

Tato fotka od autora Neznámý autor s licencí CC BY

N=46

Hypotézy a metodologie

• Kvantitativní a statistická analýza
• Hypotézy založené na závěrech a interpretacích získaných dat z dotazníkového šetření
• Hledání vztahů, faktorů, možných řešení pro praktiky a výzkumníky - testová statistika vybraných často používaných nástrojů
• Katalog diagnostických metod s podrobnými popisy jednotlivých sledovaných aspektů pro testování jazykové výkonnosti (typ administrace, časová náročnost, validita, reliabilita, standardizace v ČR/zahraničí, dyn. diagnostika)

Děkuji za pozornost

​

​

​

Mgr. Lothar Filip Rudorfer

Oddělení pro vědeckou činnost PedF CUNI / KPS PedF CUNI

lotharfilip.rudorfer@pedf.cuni.cz

M. Rettigové 4, Praha 1, 110 00

4. patro, č. dveří 444, 445

+420221900213