s

روان سنجی پرسشنامه و آموزش عملی آن

گرررر

عنوان سمینار :

فصل ششم: پرسش وپاسخ

فصل پنجم: نتیجه‌گیری و پیشنهادات

فـهرسـت مطالب

نقل قول منتسب به پیتر دارکر:�

اگر نتوانید چیزی را اندازه بگیرید، نمی توانید آن را کنترل کنید: و اگر نتوانید چیزی را کنترل کنید، نمی توانید آن را مدیریت کنید: و اگر نتوانید چیزی را مدیریت کنید، نمی توانید آن را بهبود ببخشید.

3

مقدمه

اعتبار

پایایی

کار با نرم افزار

پرسش و پاسخ

01

02

03

04

05

روش های جمع آوری اطلاعات:

• پرونده ها و مستندات موجود
• مدارک پزشکی و فرم ها
• مصاحبه و مشاهده
• پرسشنامه

4

مقدمه

اعتبار

پایایی

کار با نرم افزار

پرسش و پاسخ

01

02

03

04

05

پرسشنامه:

مجموعه ای از سوالات است که برای اندازه گیری یک پدیده ذهنی به کار می رود.

هنر پرسشنامه آن است که داده های انتزاعی (آنچه در ذهن میگذرد) را به حالت عینی و قابل اندازه گیری تبدیل نماید.

5

مقدمه

اعتبار

پایایی

کار با نرم افزار

پرسش و پاسخ

01

02

03

04

05

6

لزوم داشتن پرسشنامه برای اندازه گیری یک مفهوم

هیچ پرسشنامه ای وجود ندارد

عدم وجود پرسشنامه معتبر

طراحی ابزار بومی و روان سنجی آن

استفاده از پرسشنامه

وجود پرسشنامه به زبان دیگر و متعلق به فرهنگ دیگر

وجود پرسشنامه معتبر

ترجمه و تطابق فرهنگی ابزار و روان سنجی ان

(Validity) اعتبار یا روایی

درجه ای از صحت نتایج مطالعات است و نشان می دهد که مطالعه تا چه اندازه ای چیزی را که قصد اندازه گیری آن را داشته است به درستی سنجیده است؟

7

مقدمه

اعتبار

پایایی

کار با نرم افزار

پرسش و پاسخ

01

02

03

04

05

(Reliability) پایایی یا اعتماد

درجه ای از یکسان بودن نتایج در طول زمان معین، تحت شرایط مشابه و با روش کار مشابه می باشد که با قابلیت تکرار (Repeatability) و قابلیت تکثیر (Reproducibility) نتایج، اندازه گیری می شود.

8

مقدمه

اعتبار

پایایی

کار با نرم افزار

پرسش و پاسخ

01

02

03

04

05

​

​

​

​

11

روانسنجی

Validity

12

Goodness of data

Predictive

Concurrent

مفهوم اعتبار پرسشنامه

• منظور از اعتبار پرسشنامه آن است که آنچه بررسی می کند، همانی باشد که قرار است بسنجد و برای آن تهیه شده است.
• نحوه جمع آوری اطلاعات از نمونه ها و نیز نحوه نمونه گیری به شدت روی اعتبار یک پرسشنامه اثر می گذارد.

13

• برای دستیابی به اعتبار قابل قبول در پرسشنامه باید سوالات به گونه ای طراحی شوند که:
• با موضوع مورد سنجش تناسب و انطباق داشته باشد.
• برداشت پاسخگویان از سوالات با یکدیگر یکسان باشد.
• برداشت پاسخگویان با برداشت طراح پرسشنامه مطابقت داشته باشد.

پرسش

​

• آیا به نظر شما سوال زیر معتبر است؟

​

14

چه مدت است که خانواده شما تلویزیون دارد؟

​

عدم مقبولیت

عدم آگاهی فرد از موضوع باعث می شود که پاسخ درستی به سوال داده نشود.

فرد برای فرار از واقعیت و منطقی جلوه دادن نظر خود، از استدلال و استنتاج های منطقی استفاده می کند.

افراد از بیان افکار و نگرش هایی که خلاف اصول اخلاقی و اعتقادی جامعه است خودداری می نماید.

فرد تصور می کند واقعیت ذهنی اش، مورد قبول جامعه نیست و بیان آن نگرش، باعث طرد او از جامعه می شود.

نزاکت

عدم آگاهی

غیر عقلایی بودن

15

موانع سنجش اعتبار

​

16

اعتبار سازه ای

• اعتبار هم گرایی
• اعتبار واگرا

​

اعتبار ظاهری

اعتبار ملاکی:

• اعتبار پیش بینی کننده
• اعتبار همزمان

وجوه مختلف اعتبار

اعتبار محتوا

) Face validityاعتبار ظاهری (

• به میزان اعتبار یک اندازه‌گیری یا ارزیابی اشاره دارد که به ‌نظر می‌رسد در سطح ظاهری، آنچه را که قصد اندازه‌گیری آن را دارد، اندازه‌گیری می کند.
• بر اساس ارزش ظاهری ابزار اندازه‌گیری انجام می‌شود، نه بر اساس شواهد تجربی یا تحلیل‌های آماری
• آیا یک آزمون، «به نظر می‌رسد» ساختار یا مفهومی که ادعا می‌شود اندازه‌گیری می‌کند را ارزیابی می کند ؟

17

نحوه اندازه گیری اعتبار ظاهری به روش کیفی

• با کمک متخصصین امر در رشته های مرتبط با زمینه تحقیقاتی و پرسشنامه، از متخصصین آمار و اپیدمیولوژی و برحسب موضوع از متخصصین روانشناسی و دیگر علوم استفاده می شود.
• فقط یک قضاوت ذهنی و شخصی می باشد.
• تحویل پرسشنامه به دو فرد متبحر در زبان انگلیسی و واژه های تخصصی
• نسخه ی نهایی فارسی باید شامل عبارات ساده، قابل فهم و عاری از واژه های فنی و تخصصی باشد.

18

19

بررسی اعتبار ظاهری توسط متخصصین

بررسی اعتبار ظاهری با استفاده از مصاحبه با گروه هدف

• یافتن دشواری در درک کلمات و عبارات
• تناسب و ارتباط مطلوب آیتم ها
• احتمال وجود ابهام و برداشت های نارسا از عبارات
• وجود نارسایی در معانی کلمات

​

• نکته: اگر 70% کسانی که برای تکمیل پرسشنامه دعوت می شوند، مشارکت نمایند می توان نتیجه گیری نمود که روایی بیرونی مطالعه قابل قبول است.

20

بررسی اعتبار ظاهری به روش کیفی

مثال: ترجمه، روایی ظاهری و محتوایی نسخه فارسی آزمون ارزیابی وانمودین خودانگیخته ی کودکان 4-7ساله

1. پنج تن از کاردرمانگران در حیطه کودک و بازی در ارتباط با واضح و قابل فهم بودن پرسشنامه نظر دادند.
2. نظر سه تن از اساتید حوزه کودکان و بازی در ارتباط با شکل کلی و قابل فهم بودن پرسشنامه استخراج شد.
3. نظرات این افراد باحضور اساتید راهنما و مشاور بررسی گردید و نسخه نهایی فارسی تهیه گردید.

21

بررسی اعتبار ظاهری به روش کمی

• در این فرم برای هریک سوالات پرسشنامه، سه قسمت مجزا طراحی شده به گروه هدف تحویل داده می شود که دشواری درک مفاهیم، ابهام و برداشت های ناروا و تناسب و ارتباط موارد را به صورت مجزا دریک طیف لیکرتی 5 قسمتی مورد بررسی قرار می دهد.
• نمره اثر بالای 1/5، بدین معناست که مورد از روایی ظاهری مناسبی برخوردار است و برای گروه نمونه ساده، واضح و قابل فهم است.

22

نحوه اندازه گیری اعتبار ظاهری به روش کمی

23

گروه آموزشی اپیدمیولوژی، دانشگاه علوم پزشکی مشهد

​

(Content validity) اعتبار محتوا

• این اعتبار بسته به آن است که سوالات جنبه های مختلف متغیر مورد سنجش را به میزان کافی و متناسب تحت پوشش قرار دهد.
• داشتن یک اعتبار محتوای بالا به این معنی است که محقق به تمام جوانب موضوع مورد بررسی احاطه کامل دارد.

24

​

​

بررسی روایی محتوا به روش کیفی

25

​

• جهت اطمینان از اینکه مهم ترین و صحیح محتوا (ضرورت آیتم) انتخاب شده است

بررسی روایی محتوا به روش کمی

1) Content validity ratio (CVR)

2) Content validity Index (CVI)

نسبت روایی محتوا

شاخص روایی محتوا

• برای اطمینان از اینکه آیتم های ابزار به بهترین نحو جهت اندازه گیری محتوا طراحی شده اند

• بااستفاده از نظر متخصصین و با استفاده از دو شاخص زیر محاسبه می شود:

Content validity ratio (CVR)

• از صاحب نظران و متخصصین خواسته می شود که در مورد هر یک از آیتم های ابزار به سه طیف شامل " ضروری است"، "مفید است اما ضروری نیست" و "ضرورتی ندارد" پاسخ دهند.
• بهتراست که تعداد ارزیابان بالای 10 نفر باشند.

27

مثال جهت بررسی اعتبار محتوا به روش کمی:

28

گروه آموزشی اپیدمیولوژی، دانشگاه علوم پزشکی مشهد

​

حداقل CVR مورد تایید Lawshe

​

​

Content validity Index (CVI)

• ارزیابان می بایست به هر آیتم ابزار مورد استفاده، در خصوص سه معیار مربوط یا اختصاصی بودن، سادگی یا روان بودن و وضوح یا شفاف بودن، براساس طیف لیکرتی چهار قسمتی اظهار نمایند.
• مثلا جهت معیار مرتبط بودن گزینه های:
• مربوط نیست=1، نسبتا مربوط است=2، مربوط است=3، کاملا مربوط است=4 به کار گرفته می شود.

30

شاخص روایی محتوا

​

​

نحوه اندازه گیری اعتبار ظاهری به روش کمی

32

گروه آموزشی اپیدمیولوژی، دانشگاه علوم پزشکی مشهد

​

:(Criterion validity) اعتبار ملاکی

• درجه ای از توافق بین یک تست با یک یا تعداد بیشتری تست معتبر در همان زمینه است که معمولا با استفاده از ضریب همبستگی بین آن ها سنجیده می شود.

34

:(Concurrent validity) اعتبار همزمان

• میزان توافق بین دو ارزیابی همزمان را به شما نشان می دهد.
• مقایسه ارزیابی جدید با ارزیابی ای که قبلاً آزمایش شده و معتبر بودن آن ثابت شده است.

35

مثال

• نتایج پرسشنامه کیفیت زندگی کودکان آسمی را با نتایج شاخص اسپیومتری مقایسه میکنیم و انتظار داریم در کسانی که نمره کیفیت زندگی آنان بالاتر است، نتیجه اسپیرومتری هم بهتر باشد.
• ابزار مقایسه Objective است.

(Predictive validity) اعتبار پیشگویی کننده

• به توانایی یک آزمون یا اندازه گیری برای پیش بینی نتیجه آینده اشاره دارد.
• یک نتیجه می تواند یک رفتار، عملکرد یا حتی بیماری باشد که در نقطه ای در آینده رخ می دهد.

37

(Construct validity) اعتبار سازه ای

• باید قادر باشد همان چیزی را بسنجد که برای آن طراحی شده است.
• که یک آزمون یا ابزار چقدر مفهوم نظری را که در نظر گرفته شده است اندازه گیری کند.
• قلب ابزار سازی است.

39

(Convergence validity) اعتبارهمگرایی

بررسی ارتباط بین مقیاس جدید (مورد مطالعه) و سایر مقیاس هایی است که مطالعات قبلی اعتبار آن ها را نشان داده اند و با استفاده از ضریب همبستگی بیان میشود.

این روش بررسی می کند که آیا یک معیار با معیارهای دیگری که همان سازه را ارزیابی می کنند همبستگی مثبت دارد یا خیر.

هم بستگی مشاهده شده در این نوع اعتبار نباید خیلی قوی باشد.

40

اعتبار همگرایی

​

​

:(Discriminant validity) اعتبار واگرایی

• این روش بررسی می کند که آیا معیار با معیارهای سازه های مختلف همبستگی خیلی قوی ندارد. همبستگی کم با سازه های نامرتبط حاکی از روایی واگرا خوب است.
• به عبارتی نتایج به دست آمده از پرسشنامه جدید با آزمون های دیگر هم بستگی منفی و پایین داشته است.

42

روش های اعتبار سنجی سوالات

محاسبه ضریب دشواری و تفسیر آن:

محاسبه ضریب دشواری و تفسیر آن:

نکات:

• یک سوال زمانی دارای حداقل واریانس است که ضریب دشواری آن صفر یا یک باشد.
• زمانی که ضریب سوال برابر 5/. باشد، واریانس سوال حداکثر خواهد بود، پس سوالاتی بهتر هستند که ضریب دشواری آن ها به 5/. نزدیک باشد.
• در انتخاب سوالات نهایی باید سوالاتی که همبستگی زیادی با یکدیگر دارند و دارای واریانس بزرگتری هستند، گزینش نمود.

محاسبه ضریب دشواری و تفسیر آن:

نکات:

• انتخاب سوالات با ضریب دشواری مناسب به هدف پرسشنامه آگاهی سنجی نیز بستگی دارد.
• یکی از مشکلات ضریب دشواری عدم تعیین قدرت سوال در افتراق افراد ممتاز از افراد ضعیف می باشد.

​

محاسبه ضریب تمیز و تفسیر آن:

• جهت تعیین قدرت سوال در تمیز افراد ممتاز از افراد ضعیف

• تفسیر ضریب تمیز:
• بالای80% ایده آل
• بین 60% تا 80% مناسب
• 30% تا 60% قابل بحث
• زیر 30% غیر قابل قبول

همبستگی

• هرگاه در یک تحقیق اثرات تغییر متغیری بر متغیر دیگر سنجیده شود.
• ضریب همبستگی(r)
• دامنه ضریب تغییرات بین 1_ تا 1+
• ضریب همبستگی پیرسون: هر دو متغیر مورد بررسی کمی و دارای توزیع نرمال
• ضریب هم بستگی اسپیرمن و کندال:هر دو متغیر کمی و یک یا هر دو متغیر عدم توزیع نرمال، هردو متغیر کیفی رتبه ای باشند.

​

​

بررسی مسیر سنجش همبستگی

​

​

بررسی مسیر سنجش همبستگی

​

​

)Reliabilityپایایی(

• در صورت تكرار يك اندازه گيري تا چه ميزان مقادير سنجيده شده به يكديگر نزديك هستند.
• پایایی با خطای تصادفی در ارتباط است و روایی با خطای منظم
• هرچقدر که تعداد حجم نمونه بالاتر برود می تواند بر کاهش خطای تصادفی تأثیرگذارد در نتیجه بر دقت اندازه گیری مؤثر است.
• وجود پایایی، شرط لازم برای روایی است.

​

​

51

عوامل ایجاد کننده خطای تصادفی

الف)فاکتورهای مربوط به آزمون شونده:

• خستگی، ملالت، بی دقتی در پاسخگویی، بدشانسی در انتخاب تصادفی حدس( luck in guessing ).

ب)فاکتورهای مربوط به آزمون:

• سوالات اختصاصی انتخاب شده، سواالات مبهم یا مجهول و یا مسیرهای نامشخص(poor directions)

ج)فاکتورهای مرتبط با امتیازدهی:

• مثل دستورالعمل امتیازدهی غیریکنواخت،بی دقتی و خطاهای شمارشی یا محاسباتی(A.Wollack)

​

شرایط لازم برای پایایی

نتایج تحقیق باید:

• از فرد انجام دهنده تحقیق مستقل باشد.
• از زمان تحقیق مستقل باشد.
• از مکان و محل انجام تحقیق مستقل باشد.
• از ابزارهای خاص استفاده شده در تحقیق مستقل باشد.

​

شرایط لازم برای پایایی

• پایایی با نمونه تصادفی در ارتباط است، هرچه دفعات تکرار تحقیق بر روی نمونه های بیشتر باشد ، پایایی ابزار بیشتر خواهد شد.
• هر اندازه گیری از دو جزء تشکیل شده است: جزء واقعی و جزء خطا

X=tau + error

​

روش های محاسبه پایایی

Test-retest

• اصول اولیه پرسشنامه یا آزمون یکسان باقی بماند.
• ساختار اجرای تحقیق تغییری نکند.
• اندازه گیری اولیه تاثیری بر نتایج دیگر اندازه گیری ها نداشته باشد.

56

Test-retestمشکلات روش

• آشنایی آزمون شوندگان با سوالات در اثر تجربه اول (learning-practice effect)
• تعیین فاصله زمانی مناسب بین اجرای دو تست
• تورش عدم پاسخگویی: به دلیل تکراری بودن آزمون

​

Test-retestروش آماری مناسب

ICCمسیر سنجش

​

​

ICCنتیجه

​

​

Inter observe reliability

• در این حالت گروه نمونه با دو یا چند ابزار و مشاهده گر مورد بررسی قرار می گیرد.
• میزان پایایی و توافق بین مشاهده گران اهمیت دارد.
• محقق به عدد توافق میان دو مشاهده گر یا دو روش یا دو نوع سنجش متفاوت می رساند.

​

61

مثال

​

​

• یک نیروی پلیس محلی می خواست تعیین کند که آیا دو افسر پلیس با سطح تجربه مشابه می توانند تشخیص دهند که آیا رفتار افراد در یک فروشگاه خرده فروشی “عادی” است یا “مشکوک”.
• به دو افسر پلیس 100 کلیپ ویدئویی که به طور تصادفی انتخاب شده بودند نشان داده شد. هر کلیپ ویدیویی حرکت تنها یک نفر را از لحظه ورود به فروشگاه خرده فروشی تا لحظه خروج از فروشگاه ضبط می کرد. در پایان هر کلیپ ویدیویی، از هر افسر پلیس خواسته می‌شد که آیا رفتار آن فرد را «عادی» است یا «مشکوک».
• پس از اینکه هر دو افسر پلیس همه 100 کلیپ ویدیویی را ارزیابی کردند، از کاپای کوهن برای مقایسه ارزیابی این دو افسر استفاده شد.
• توجه: هر دو افسر پلیس 100 کلیپ ویدیویی مشابه را مشاهده کردند. همچنین، ارزیابی دو افسر پلیس (یعنی رفتار «عادی» یا «مشکوک») برای همان افراد مقایسه شد. یعنی امتیازی که افسر پلیس 1 برای فرد 1 داده بود با ارزیابی افسر پلیس 2 که برای فرد 1 داده بود، مقایسه شد.

​

مسیر انجام کاپای کوهن

​

​

مسیر انجام کاپای کوهن

​

​

مسیر انجام کاپای کوهن

​

​

نتایج و تفسیر کاپای کوهن

​

​

(Internal Consistency) همسانی درونی

• بررسی میزان سازگاری و هماهنگی بین اجزای یک ابزار اندازه گیری مانند پرسشنامه
• روش های اندازه گیری این معیار:
• آلفای کرونباخ Cronbach’s Alpha
• روش دونیمه ای Split-Half
• کودر ریچاردسون

Cronbach’s Alpha

• نشان دهنده میزان همبستگی بین تمام سوالات یک ابزار است.
• مقدار قابل قبول 0/6 به بالا است

مسیر انجام آلفای کرونباخ

​

​

مسیر انجام آلفای کرونباخ

​

​

تفسیر نتایج آلفای کرونباخ

​

​

(Half-Split reliability)روش دو نیمه کردن

• دراین روش محقق سوالات براساس قرداد محقق به دو نیمه تقسیم می شود و همبستگی هردو نیمه با یکدیگر سنجیده می شود.
• منظور از دونیمه کردن سوالاتی است که یک موضوع خاص را می سنجد.
• با به دست آوردن ضریب همبستگی بین دونیمه پرسشنامه، پایایی بین دو نیمه به دست می آید.
• از فرمول اسپیرمن براون استفاده میکنیم.

ضریب کودر ریچاردسون

• برای ابزارهایی باسوالات دو گزینه ای (بلی/خیر) طراحی شده است.
• زمانی که تعداد سوالات کم است از KR-21 استفاده می شود.

Parallel Test

• محقق در ابتدا دو پرسشنامه مستقل طراحی میکند که هر دو برای سنجش یک موضوع می باشد
• لازم است که سوالات پرسشنامه کاملا بایکدیگر هماهنگ باشند و یک موضوع را مورد سنجش قرار دهند.
• هدف این است که پایایی پاسخ های دو پرسشنامه توسط محقق مورد استفاده قرار گرفته است با یکدیگر سنجیده شود.

74

​

​

پایایی تست های معادل یا موازی

Parallel Test

نکات:

• بهتر است نمونه های مورد بررسی به صورت اتفاقی به دو گروه تقسیم و هر گروه یک نوع پرسشنامه تکمیل کند.
• دو تست یا ابزار را زمانی معادل یکدیگر می گوییم که از لحاظ نوع متغیر (کیفی یا کمی بودن)، مقیاس و واحد آن باید در دو ابزار یکسان باشد.

​

​

76

Parallel Test

نکات:

• آزمون ها باید شامل تست ها و سوالاتی باشد که از نظر شکل و نوع محتوا یکسان و نیز از نظر درجه دشواری در یک سطح باشند.
• همبستگی بین نمره های حاصل از دو فرم برابر همبستگی بین نمره های حاصل از دوبار اجرای یکی از آن دو فرم باشد.

​

77

Parallel Test

نکات:

• اثرات پر نمودن پرسشنامه اول می تواند تا حدودی اثرات آزمون معادل را متاثر کند.
• ضریب پایایی محاسبه شده را نمی توان به هیچ یک از دو پرسشنامه نسبت داد و ممکن است هریک ضرایب پایایی بیشتر یا کمتری از مقدار محاسبه شده داشته باشند.

78

Question?

79

I appreciate you