מהימנות מתייחסת לעקביות של ציוני המדידה, ותוקף מתייחס לראיות שתומכות בפירוש הציונים ובשימוש בהם. בעבודה כמותית צריך להסביר מה כלי המחקר מודד, אילו ראיות תומכות בהתאמתו למחקר, וכיצד נבדקה מהימנות הציונים. אלפא של קרונבאך היא מדד לעקיבות פנימית, אך אינה מוכיחה שהשאלון מודד את המושג הנכון.
שאלון יכול לכלול שאלות ברורות, להפיק נתונים מסודרים ולהציג מקדם מהימנות גבוה, ובכל זאת לא להתאים למטרת המחקר. למשל, שאלון שמוצג ככלי למדידת מעורבות בלמידה עלול להתמקד בעיקר בנוכחות בשיעורים ולהחמיץ את ההשקעה הרגשית והקוגניטיבית של הסטודנטים. לכן, כשמתכננים סמינריון, חשוב לבדוק גם את עקביות המדידה וגם את משמעות הציון שמתקבל.
מה ההבדל בין תוקף למהימנות?
| היבט | מהימנות | תוקף |
|---|---|---|
| השאלה המרכזית | עד כמה הציונים עקביים בתנאי המדידה הרלוונטיים? | עד כמה הראיות תומכות בפירוש הציונים לצורך מסוים? |
| מוקד הבדיקה | טעות מקרית, עקיבות בין פריטים, יציבות בזמן או הסכמה בין מעריכים | התאמה למושג התאורטי, לתוכן, לאוכלוסייה ולשימוש המתוכנן |
| דוגמאות לראיות | אלפא, אומגה, מבחן חוזר או מדדי הסכמה בין מעריכים | הערכת תוכן, ניתוח גורמים וקשרים עם משתנים אחרים |
| מסקנה אפשרית | הציונים עקביים ביחס למקור הטעות שנבדק | הפירוש המוצע לציונים נתמך בראיות שנאספו |
| מה הבדיקה אינה מוכיחה? | שהציון מייצג בהכרח את המושג הרצוי | שהכלי מתאים אוטומטית לכל שפה, אוכלוסייה ומטרה |
אפשר להמחיש את ההבדל באמצעות שאלון שביעות רצון מהלימודים. אם כל הפריטים עוסקים בנוחות מערכת השעות, הם עשויים להיות קשורים מאוד זה לזה. עם זאת, ציון כזה אינו בהכרח מייצג שביעות רצון כוללת, הכוללת גם את איכות ההוראה, התמיכה והחוויה החברתית. עקביות גבוהה אינה מתקנת כיסוי חלקי של המושג.
מהו תוקף במחקר כמותי?
תוקף אינו חותמת קבועה שמקבל שאלון. הוא נוגע למידה שבה תאוריה וראיות תומכות בפרשנות מסוימת של הציונים עבור שימוש מוגדר. לכן עדיף לכתוב אילו ראיות לתוקף קיימות, באיזו אוכלוסייה נאספו ומה הן מאפשרות להסיק, במקום להסתפק במשפט “השאלון תקף”.
השלב הראשון הוא להגדיר את המושג שרוצים למדוד. אם שאלת מחקר עוסקת בקשר בין מסוגלות עצמית להישגים, צריך להסביר מה נכלל במסוגלות עצמית וכיצד פריטי הכלי מייצגים אותה. הגדרה זו מחברת בין התאוריה, השאלון והניתוח.
תוקף תוכן: האם הפריטים מכסים את המושג?
ראיות המבוססות על תוכן בוחנות את הרלוונטיות של הפריטים ואת הכיסוי שהם מספקים לתחום הנמדד. ניתן להיעזר במומחים, בהגדרה תאורטית ובבדיקת הבנת הפריטים בקרב אוכלוסיית היעד. חשוב לתעד מי בדק את הכלי, לפי אילו קריטריונים ואילו שינויים נעשו.
לדוגמה, בבניית שאלון שחיקה אקדמית אפשר למפות מראש את ממדי המושג על בסיס סקירה ספרותית, ולבדוק אם השאלון מכסה אותם. שאלון שעוסק רק בעייפות עשוי להחמיץ היבטים נוספים של שחיקה.
תוקף מבנה: האם הנתונים תואמים את התאוריה?
ראיות לתוקף מבנה יכולות להתבסס על המבנה הפנימי של הכלי ועל קשריו עם משתנים אחרים. ניתוח גורמים בוחן אם דפוס הקשרים בין הפריטים מתאים לממדים המשוערים. ראיות מתכנסות בוחנות קשרים צפויים עם מדדים של מושגים קרובים; ראיות מבחינות בוחנות אם אפשר להבחין בין המושג הנמדד לבין מושגים אחרים.
למשל, אם כלי נועד למדוד מעורבות רגשית ומעורבות התנהגותית בנפרד, יש לבחון אם הנתונים תומכים בהבחנה הזאת לפני שמחשבים ציונים נפרדים. מתאם מובהק יחיד עם משתנה אחר אינו מספיק לביסוס כל הפרשנויות האפשריות של הכלי.
תוקף קריטריון ותוקף פנים
ראיות הקשורות לקריטריון בוחנות קשר עם אמת מידה חיצונית רלוונטית. הקריטריון יכול להימדד במקביל או בעתיד, בהתאם לשימוש המתוכנן. לדוגמה, כלי שנועד לסייע בניבוי הישגים יכול להיבחן מול הישגים שנמדדו בהמשך.
תוקף פנים מתאר עד כמה השאלות נראות מתאימות למטרתן. זוהי בדיקה שימושית של הרושם הראשוני, אך היא אינה מחליפה ראיות שיטתיות המבוססות על תוכן, מבנה או קשרים חיצוניים.
מהי מהימנות, ואיזו בדיקה מתאימה למחקר?
מהימנות עוסקת בעקביות הציונים ביחס למקורות אפשריים של טעות מקרית. הבדיקה המתאימה תלויה באופן המדידה: שאלון מרובה פריטים, מדידה חוזרת ואיסוף דירוגים ממעריכים שונים מציבים שאלות שונות. אין מדד יחיד שמכסה את כולן.
| סוג הבדיקה | מה בודקים? | דוגמה | דגש לדיווח |
|---|---|---|---|
| עקיבות פנימית | את הקשרים בין פריטים המיועדים להרכיב ציון משותף | שמונה פריטים למדידת מסוגלות עצמית | המקדם, מספר הפריטים, מספר המקרים שנותחו והסולם שנבדק |
| מבחן חוזר | יציבות במדידות חוזרות כשהתכונה צפויה להישאר יציבה | העברת אותו כלי בשתי נקודות זמן | פרק הזמן בין המדידות, תנאי ההעברה והמדד שנבחר |
| מהימנות או הסכמה בין מעריכים | עקביות או הסכמה בין דירוגים עצמאיים | שני מעריכים מדרגים ביצוע לפי מחוון | סוג הנתונים, מספר המעריכים והגדרת המדד |
מתאם בין שתי מדידות עשוי להראות שהדירוג היחסי של המשתתפים נשמר, גם אם כל הציונים עלו. לכן, כשהמטרה היא לבדוק הסכמה בציונים עצמם, יש לבחור מדד מתאים, למשל ICC בהגדרה המתאימה. בנתונים קטגוריאליים עשוי להתאים מדד קאפה. הבחירה צריכה להתאים לשאלה ולמבנה הנתונים.
מה אלפא של קרונבאך אומרת, ומה היא אינה אומרת?
אלפא של קרונבאך משמשת לאמידת עקיבות פנימית של ציון המורכב מכמה פריטים. פירושה מחייב התייחסות למבנה הסולם ולהנחות המדידה. אלפא גבוהה אינה מוכיחה חד-ממדיות, אינה בודקת יציבות בזמן ואינה מהווה הוכחה לתוקף.
הערך 0.70 מופיע לעיתים כנקודת ייחוס, אך אינו כלל אוניברסלי. ההערכה תלויה במטרת המדידה, באוכלוסייה, במספר הפריטים ובאיכות הראיות למבנה הסולם. החלטות אישיות בעלות השלכות משמעותיות דורשות שיקול שונה ממחקר ראשוני המשווה קבוצות. גם ערך גבוה מאוד עשוי להצדיק בדיקה של חזרתיות בין פריטים.
בשאלון הכולל כמה תתי-סולמות אין לחשב אוטומטית אלפא אחת לכל הפריטים. יש לבדוק את הציונים שבכוונתכם לפרש. אין גם צורך לחשב אלפא על רשימת שאלות רקע שאינן מיועדות למדוד מושג משותף. במקרים מתאימים אפשר לשקול אומגה של מקדונלד, בהתאם למודל המדידה ולהנחותיו.
איך בודקים תוקף ומהימנות לפני ובמהלך המחקר?
- מגדירים את המשתנה: מה בדיוק רוצים למדוד, באיזו אוכלוסייה ולשם מה?
- מאתרים כלי מתאים: בודקים את המקור, הגרסה, השפה, הוראות הניקוד והראיות הקיימות.
- מתעדים התאמות: תרגום, שינוי ניסוח, קיצור שאלון או שינוי סולם התשובות עשויים להשפיע על משמעות הציונים.
- בודקים הבנה בפיילוט: מזהים ניסוחים עמומים, שאלות כפולות ואפשרויות תשובה חסרות. פיילוט קטן אינו מוכיח כשלעצמו תוקף או מהימנות מספקים.
- בודקים את הקידוד: מוודאים שטווחי התשובות תקינים ושפריטים הפוכים קודדו לפי הוראות הכלי.
- מבצעים את הבדיקות הרלוונטיות: בוחרים אומדני מהימנות וראיות לתוקף לפי הציונים והשימוש המתוכנן.
- מדווחים גם מגבלות: מבחינים בין בדיקות שבוצעו במחקר הנוכחי לבין מידע ממחקרים קודמים.
בחירת הבדיקות היא חלק מהמתודולוגיה. מומלץ לתכנן אותה מראש, כדי שלא לבחור בדיעבד רק את המדדים שנראים מחמיאים לכלי.
דוגמה לקידוד פריט הפוך
בסולם תשובות של 1 עד 5, כאשר הוראות הכלי דורשות להפוך פריט, הציון החדש הוא 6 פחות הציון המקורי: 1 הופך ל-5, 2 ל-4 ו-3 נשאר 3. יש לשמור את המשתנה המקורי, ליצור משתנה מקודד ולוודא שערכים חסרים לא הפכו לתשובות תקפות.
אלפא נמוכה או שלילית עשויה להצביע על בעיית קידוד, פריטים שאינם קשורים או מבנה שאינו מתאים לציון יחיד. אין להסיר פריטים רק כדי להעלות את המקדם: הסרה יכולה לפגוע בכיסוי התוכן וביכולת להשוות את הכלי לגרסתו המקורית.
בדיקת עקיבות פנימית ב-SPSS
לביצוע הבדיקה ניגשים ל-Analyze > Scale > Reliability Analysis, בוחרים את הפריטים הרלוונטיים ומגדירים את המודל. אפשר לבקש נתונים על פריטים, מתאמי פריט עם יתר הסולם ואלפא לאחר הסרת פריט. זמינות האפשרויות עשויה להשתנות בין גרסאות התוכנה.
במסגרת ניתוח סטטיסטי יש לבדוק גם את מספר המקרים שנכללו ואת אופן הטיפול בחסרים. טבלת הפלט מספקת אומדנים, אך אינה מחליפה הצדקה תאורטית לציון המשותף.
איך מציגים תוקף ומהימנות בעבודה אקדמית?
בפרק השיטה: מתארים את הכלי ואת הבסיס לבחירתו
בתיאור כלי המחקר מציינים את שמו ומקורו, מספר הפריטים, הממדים, סולם התשובות, אופן חישוב הציון ומשמעותו. מציגים ראיות קודמות רלוונטיות תוך הפניה למקור, ומתארים התאמות שבוצעו במחקר הנוכחי. המדריך לכתיבת פרק שיטת מחקר מסייע לשלב את המידע בתיאור שניתן להבין ולשחזר.
תבנית לניסוח:
המשתנה נמדד באמצעות [שם הכלי], שפותח בידי [מחברים, שנה]. הכלי כולל [מספר] פריטים ב-[מספר] תתי-סולמות, המדורגים מ-[ערך ותיאור] עד [ערך ותיאור]. הציון חושב באמצעות [שיטת חישוב], וציון גבוה מציין [משמעות]. במחקר המקורי דווחו [ראיות מוגדרות לתוקף ומהימנות]. במחקר הנוכחי נעשו [התאמות], ונבדקה [בדיקת המהימנות המתאימה].
בפרק התוצאות: מציגים מה נמצא במדגם הנוכחי
יש לדווח את המקדם שחושב בנתונים שלכם, את מספר הפריטים ואת מספר המשתתפים שנכללו בבדיקה. כשהכלי כולל ציונים נפרדים, מדווחים לכל ציון בנפרד. אם חושבו רווחי סמך, מציגים אותם לצד האומדן. בחלק מהמוסדות נהוג לשלב אומדני מהימנות נוכחיים בתיאור הכלים בפרק השיטה; יש לפעול לפי ההנחיות המקומיות.
דוגמה מומצאת להמחשת דיווח בלבד:
במדגם הנוכחי נבדקה העקיבות הפנימית של תת-סולם המסוגלות העצמית, הכולל שמונה פריטים. לאחר קידוד שני הפריטים ההפוכים לפי הוראות הכלי, התקבלה אלפא של קרונבאך בגובה 0.82. הניתוח התבסס על 142 משתתפים שלהם תשובות מלאות בכל פריטי תת-הסולם. ציון תת-הסולם חושב כממוצע הפריטים.
דוגמה מומצאת לדיווח על בדיקת תוכן:
שלושה מומחים בתחום התבקשו להעריך את הרלוונטיות של הפריטים ואת כיסוי ממדי המושג שהוגדרו מראש. בעקבות הערותיהם שונו שני ניסוחים ונוסף פריט לממד שהיה מיוצג באופן חלקי. הבדיקה סיפקה ראיות ראשוניות המבוססות על תוכן; במחקר הנוכחי לא נערך ניתוח גורמים.
הניסוחים האלה מתאימים רק אם ההליכים אכן בוצעו. אין להציג הערכת מומחים, מקדם או מספר משתתפים מתוך דוגמה כנתון של המחקר שלכם.
בדיון: מסבירים את ההשלכות על המסקנות
מהימנות נמוכה עשויה לפגוע בדיוק האומדנים ולהקשות על זיהוי קשרים. ראיות מוגבלות לתוקף מחייבות זהירות בפירוש מה שהציון מייצג. למשל, אם השאלון קוצר ללא בדיקת מבנה, יש לציין שהיכולת לפרש את הציון כמו בגרסה המקורית מוגבלת. אפשר להיעזר במדריך לכתיבת פרק דיון כדי לחבר בין המגבלה לבין מסקנות המחקר.
תוקף כלי המדידה לעומת תוקף פנימי וחיצוני
חשוב להבחין בין משמעות ציוני הכלי לבין איכות המסקנות ממערך המחקר. תוקף פנימי עוסק, בין היתר, בהצדקה להסיק קשר סיבתי ובשלילת הסברים חלופיים. תוקף חיצוני עוסק באפשרות להכליל את הממצאים לאוכלוסיות ולתנאים אחרים.
שאלון מתאים ומהימן אינו הופך מחקר מתאמי לניסוי. לדוגמה, קשר בין שחיקה להישגים אינו מוכיח ששחיקה גרמה לירידה בהישגים. גם מדגם נוחות מצומצם מגביל את ההכללה, אפילו כשציוני השאלון עקביים.
טעויות נפוצות בדיווח על תוקף ומהימנות
- הצגת אלפא כמדד לתוקף: היא בוחנת עקיבות פנימית, ואינה מוכיחה שהמושג הרצוי נמדד.
- העתקת מקדם ממחקר קודם: יש לזהות אותו כנתון קודם ולדווח בנפרד על הבדיקה הנוכחית.
- חישוב מקדם לכל השאלון ללא הצדקה: שאלות רקע ותתי-סולמות שונים אינם בהכרח ציון משותף.
- הכרזה על כלי ששונה כאילו הוא הגרסה המקורית: יש לתעד קיצור, תרגום ושינויים בתשובות.
- מחיקת פריטים לפי הפלט בלבד: כל שינוי מחייב גם שיקול תוכני ותיעוד.
- דיווח בלי פרטי הניתוח: מספר המקרים, הטיפול בחסרים והגרסה שנבדקה חשובים להבנת התוצאה.
שאלות נפוצות
האם כלי יכול להיות מהימן בלי להיות תקף למטרת המחקר?
כן. פריטים יכולים להפיק ציון עקבי, אך להתמקד בהיבט שונה או צר יותר מהמושג שרוצים למדוד. מהימנות לבדה אינה מצדיקה את פירוש הציון.
האם צריך לבדוק מהימנות גם בשאלון מוכר?
כשמשתמשים בציון מרובה פריטים, רצוי לאמוד את מהימנותו גם במדגם הנוכחי. יש להציג את הנתונים הקודמים כרקע, תוך הבחנה בין הגרסאות והאוכלוסיות.
האם חייבים לבצע ניתוח גורמים בכל עבודה?
לא בהכרח. הצורך תלוי במטרת המחקר, בכלי, בשינויים שנעשו ובנתונים הזמינים. כלי חדש או שינוי משמעותי מצריכים תשומת לב מיוחדת למבנה. אם הבדיקה לא בוצעה, יש לדווח זאת ולהימנע מטענה שהיא ביססה את המבנה.
מה עושים אם אלפא נמוכה?
בודקים תחילה קידוד, פריטים הפוכים, חסרים והתאמה לציון משותף. לאחר מכן בוחנים את המבנה ואת תוכן הפריטים. מדווחים את התוצאה ואת החלטות הניתוח, גם אם המקדם אינו תואם את הציפיות.
רשימת בדיקה לפני הגשת העבודה
- האם הוגדר המושג וכלי המדידה מתאים לשאלת המחקר?
- האם צוינו מקור הכלי, הגרסה וכל התאמה שבוצעה?
- האם הופרדו ראיות קודמות מבדיקות שבוצעו במדגם הנוכחי?
- האם דווחו המדד, מספר הפריטים, מספר המקרים והטיפול בחסרים?
- האם הראיות לתוקף מתוארות במדויק, ללא טענה גורפת?
- האם מגבלות המדידה משתקפות בפירוש הממצאים?
דיווח טוב מאפשר לקורא להבין מה נמדד, על איזה בסיס נבחר הכלי ומה מידת הביטחון בציונים ובמסקנות. לפני ההגשה, השוו את תיאור הכלים לפלט ולגרסת השאלון שבה השתמשתם, ובדקו את ההתאמה לכללים לכתיבת עבודה אקדמית ולהנחיות המנחה.
מקורות מקצועיים להרחבה
- AERA, APA ו-NCME: Standards for Educational and Psychological Testing – מסגרת מקצועית לתוקף, מהימנות ופירוש ציונים.
- המרכז הארצי לבחינות ולהערכה: מהימנות ותוקף של בחינות מיון והשמה – הסבר בעברית על מדידה ועל מקורות לראיות.
- COSMIN Manual, Version 2.0 – הנחיות להערכת תכונות מדידה של כלי דיווח מטופלים, כולל הקשר בין מבנה לעקיבות פנימית.
- IBM SPSS Statistics: Reliability Analysis – תיעוד אפשרויות ניתוח המהימנות בתוכנה.
