روایی محتوا: از تعریف نظری تا کاربرد عملی در آزمون و پرسشنامه

مقدمه

روایی یا اعتبار محتوا (Content Validity) یکی از بنیادی‌ترین انواع روایی در علم سنجش و اندازه گیری در پژوهش‌های آموزشی، علوم اجتماعی،  روان‌سنجی و علوم رفتاری است و تقریباً در تمامی ابزارهای اندازه‌گیری، از آزمون‌های پیشرفت تحصیلی گرفته تا پرسشنامه‌های سنجش سازه‌های روان‌شناختی، نقش تعیین‌کننده دارد.

اهمیت روایی محتوا از آن‌جا ناشی می‌شود که این نوع روایی، پیش‌نیاز بقیه انواع روایی است؛ چرا؟ چون اگر ابزار اندازه‌گیری از نظر محتوایی معتبر یا روا نباشد، بررسی روایی سازه یا ملاکی نیز عملاً ‌معنایی نخواهد داشت. در این مقاله تلاش می‌شود روایی محتوا با نگاهی آموزشی، کاربردی و همراه با مثال‌های متعدد تبیین شود.

قبل از اینکه روایی محتوی را با هم بررسی کنیم، می خواهم سه حالت را در مورد سنجش و اندازه گیری مطرح کنم:

• حالت اول، وقتی است که قرار است توانایی ها و یا عملکرد یک فرد را در یک موضوع بسنجیم. مثلا، بخواهیم بررسی کنیم توانایی های یک فرد در مباحث ریاضی تدریس شده چقدر است.
• حالت دوم، وقتی است که بخواهیم یک سازه مثل اضطراب و افسردگی را اندازه گیری کنیم.
• حالت سوم، وقتی قرار است یک ابزار تصمیم گیری یا غربالگری مثل چک لیست تشخیص بالینی، مقیاس خطر، ابزارهای غربالگری ساخته شود. هدف این ابزارها حذف موارد غیر ضروری، پوشش عوامل کلیدی، تناسب محتوا با هدف عملی ابزار هستند.

حالا روایی محتوی را با هم بررسی کنیم.

روایی محتوا چیست؟

روایی محتوا به این پرسش پاسخ می‌دهد که:

«آیا محتوای ابزار اندازه‌گیری، به‌طور کافی و نماینده، دامنه‌ی مورد نظر را پوشش می‌دهد یا خیر؟»

منظور از «دامنه»، بسته به هدف ابزار، می‌تواند دامنه‌ی دانش و مهارت‌ها (در آزمون‌ها) یا دامنه‌ی ابعاد یک سازه نظری (در پرسشنامه‌ها) باشد. بنابراین، روایی محتوا همواره وابسته به هدف ابزار اندازه‌گیری است و نمی‌توان آن را به‌صورت مطلق و مستقل از بافت قضاوت کرد.

روایی محتوا در آزمون‌های سنجش توانایی و عملکرد

در آزمون‌هایی که با هدف سنجش توانایی، دانش یا عملکرد طراحی می‌شوند (مانند آزمون‌های درسی، آزمون‌های مهارتی یا آزمون‌های پیشرفت تحصیلی)، روایی محتوا ناظر بر میزان تطابق آزمون با اهداف آموزشی و محتوای تدریس‌شده است.

در این نوع ابزارها، روایی محتوا معمولاً از طریق سه مؤلفه‌ی اصلی بررسی می‌شود: جدول مشخصات آزمون، پوشش سطوح شناختی، و تناسب وزنی سؤالات.

۱. جدول مشخصات آزمون (Test Blueprint)

جدول مشخصات آزمون، نقشه‌ی ساخت آزمون است و نشان می‌دهد که هر یک از مباحث محتوایی در چه سطح شناختی و با چه سهمی در آزمون حضور دارند. این جدول معمولاً حاصل تقاطع دو بعد «محتوا» و «سطح شناختی» است و تضمین می‌کند که سؤالات آزمون به‌صورت نظام‌مند و هدفمند طراحی شده‌اند.

سطح شناختی به میزان پیچیدگی فرایندهای ذهنی مورد نیاز برای پاسخ‌گویی به یک سؤال یا انجام یک تکلیف آموزشی اشاره دارد و نشان می‌دهد که سؤال، یادآوری ساده اطلاعات یا فرایندهای شناختی سطح بالاتری مانند کاربرد و تحلیل را می‌سنجد.

برای مثال، در یک درس روش تحقیق، اگر اهداف آموزشی شامل «شناخت انواع طرح پژوهش»، «کاربرد طرح مناسب در موقعیت واقعی» و «تحلیل نقاط قوت و ضعف طرح‌ها» باشد، جدول مشخصات باید نشان دهد که سؤالات آزمون تنها به تعاریف محدود نشده‌اند و سطوح بالاتر شناختی نیز پوشش داده شده‌اند. نبود جدول مشخصات یا طراحی آن پس از نوشتن سؤالات، یکی از شایع‌ترین تهدیدهای روایی محتوا در آزمون‌هاست.

۲. پوشش سطوح شناختی

روایی محتوا تنها به این معنا نیست که از همه‌ی فصل‌ها سؤال طرح شود، بلکه باید بررسی کرد که آزمون چه نوع توانایی شناختی را می‌سنجد. استفاده از طبقه‌بندی‌هایی مانند بلوم (دانش، فهم، کاربرد، تحلیل و …) کمک می‌کند تا سؤالات متناسب با اهداف آموزشی طراحی شوند.

برای مثال، اگر هدف درس آمار «توانایی انتخاب آزمون آماری مناسب» باشد، آزمونی که صرفاً شامل سؤالات حفظی درباره تعریف آزمون‌ها یا فرمول‌هاست، از نظر روایی محتوا ناقص خواهد بود. برعکس، آزمونی که فقط شامل مسائل پیچیده تحلیلی است و هیچ سؤال مفهومی ندارد نیز می‌تواند از نظر روایی محتوا نامتوازن تلقی شود.

۳. تناسب تعداد سؤالات با اهمیت مباحث

سومین مؤلفه‌ی مهم روایی محتوا در آزمون‌ها، تناسب تعداد سؤالات هر مبحث با اهمیت واقعی آن در برنامه آموزشی است. اهمیت مباحث می‌تواند بر اساس زمان تدریس، اهداف یادگیری یا نقش آن‌ها در شکل‌گیری مهارت نهایی تعیین شود.

برای مثال، اگر مبحثی در طول ترم تنها دو جلسه تدریس شده باشد اما بخش عمده‌ای از سؤالات آزمون را به خود اختصاص دهد، آزمون از نظر روایی محتوا دچار سوگیری می‌شود. بنابراین، روایی محتوا مستلزم «نمایندگی منصفانه» محتواست، نه صرفاً حضور اسمی آن در آزمون.

روایی محتوا در پرسشنامه‌های سنجش سازه

در پرسشنامه‌هایی که برای اندازه‌گیری سازه‌های انتزاعی مانند اضطراب، نگرش، خودکارآمدی یا رضایت شغلی طراحی می‌شوند، روایی محتوا معنای متفاوتی پیدا می‌کند. در اینجا پرسش اصلی این است که:

«آیا گویه‌ها، همه‌ی ابعاد نظری سازه را به‌طور کامل و بدون آلودگی مفهومی پوشش می‌دهند؟»

برای مثال، اگر سازه‌ی «اضطراب امتحان» شامل مؤلفه‌های شناختی، هیجانی و فیزیولوژیک باشد، پرسشنامه‌ای که تنها بر نشانه‌های هیجانی تمرکز دارد، حتی با گویه‌های دقیق و پایا، از نظر روایی محتوا ناقص محسوب می‌شود. در این نوع ابزارها، تعریف مفهومی دقیق سازه، استخراج ابعاد آن بر اساس نظریه، و قضاوت خبرگان نقش محوری در تأمین روایی محتوا دارند.

جمع‌بندی

روایی محتوا مفهومی یک‌بعدی و ساده نیست، بلکه بسته به هدف ابزار اندازه‌گیری، جلوه‌های متفاوتی پیدا می‌کند. در آزمون‌های سنجش توانایی، روایی محتوا از طریق طراحی جدول مشخصات، پوشش متوازن سطوح شناختی و تناسب وزنی سؤالات با اهمیت مباحث محقق می‌شود. در پرسشنامه‌های سازه‌ای، روایی محتوا به میزان پوشش ابعاد نظری سازه و تناسب گویه‌ها با تعریف مفهومی آن وابسته است. در هر دو حالت، روایی محتوا بیش از آن‌که یک شاخص آماری باشد، نتیجه‌ی تصمیم‌های نظری و طراحی آگاهانه پژوهشگر است.