کاپای کوهن (Cohen’s kappa (κ)) با استفاده از SPSS

پری کرمی
فوریه 27, 2023
5 دیدگاه ها

کاپای کوهن با استفاده از SPSS

معرفی

در طرح‌های تحقیقاتی که در آن شما دو یا چند ارزیاب (raters) دارید که مسئولیت اندازه‌گیری یک متغیر را در مقیاس طبقه‌ای (categorical) را دارند، بسایر مهم است که تعیین کنید آیا چنین ارزیاب هایی موافق هستند یا خیر. همچنین ارزیاب ها به عنوان «قاضی» یا «ناظر» شناخته می‌شوند. کاپا (κ) کوهن (Cohen’s kappa) معیاری از توافق بین دو ارزیاب برای مقیاس‌های طبقه ای است که وجود دارد. در آن κ حرف یونانی کوچک «کاپا» است.

موارد زیادی وجود دارد که شما نیاز به تعیین توافق بین دو ارزیاب دارید. به عنوان مثال، رئیس یک بخش پزشکی ممکن است بخواهد تعیین کند که آیا دو پزشک با تجربه در مطب در مورد فرستادن بیماران نزد یک متخصص توافق دارند یا خیر. هر دو پزشک به 30 بیمار نگاه می‌کنند و تصمیم می‌گیرند که بیمار را به یک متخصص «ارجاع» دهند یا ندهند. در این مثال «ارجاع دادن» و «ارجاع ندادن» دو دسته از یک متغیر اسمی، «تصمیم ارجاع» هستند. سطح توافق بین دو پزشک برای هر بیمار با استفاده از کاپای کوهن آنالیز می شود. نتایج نشان می دهد که توافق بسیار خوبی بین دو پزشک وجود دارد و رئیس بخش پزشکی تا حدودی مطمئن است که هر دو پزشک بیماران را به روشی مشابه تشخیص می دهند. با این حال، شایان ذکر است که حتی اگر دو ارزیاب کاملاً موافق باشند، این لزوماً به این معنی نیست که تصمیم آنها درست است. به عنوان مثال، هر دو پزشک ممکن است برای بیماران تشخیص اشتباه دهند. این چیزی است که شما باید هنگام گزارش یافته های خود به آن توجه کنید، اما نمی توان آن را با استفاده از کاپای کوهن (هنگام مقایسه دو پزشک) اندازه گیری کرد.

توجه: تغییراتی از کاپای کوهن (κ) وجود دارد که به طور خاص برای متغیرهای ترتیبی به نام کاپا وزنی، κ_w) ) و برای چند ارزیاب (یعنی بیش از دو ارزیاب) طراحی شده‌اند.

این آموزش به شما نشان می‌دهد که چگونه کاپای کوهن را با استفاده از SPSS Statistics انجام دهید، و همچنین نتایج این آزمون را تفسیر و گزارش کنید. با این حال، قبل از اینکه شما را با این روش آشنا کنیم، فرضیات مختلفی را که داده های شما باید رعایت کنند تا کاپای کوهن به شما نتیجه معتبری بدهد، باید بدانید. در ادامه به این فرضیات می پردازیم.

فرضیات

کاپای کوهن دارای پنج فرض است که باید رعایت شود. اگر این فرضیات برآورده نشدند، نمی توانید از کاپای کوهن استفاده کنید و باید به جای آن از آزمون آماری دیگری استفاده کنید. بنابراین، برای اجرای کاپای کوهن، باید بررسی کنید که طرح مطالعه شما با پنج فرض زیر مطابقت داشته باشد:

فرض شماره 1:

پاسخ ها (به عنوان مثال، قضاوت) که توسط دو ارزیاب شما داده می شود باید در در مقیاس اسمی (مثلاً متغیر ترتیبی یا اسمی) اندازه گیری بیان شوند و دسته ها باید متقابلاً منحصر به فرد باشند. به‌علاوه، دسته‌هایی که توسط دو ارزیاب ارزیابی می‌شوند باید «متقابلا انحصاری» (“mutually exclusive) باشند، به این معنی که هیچ دسته‌ای همپوشانی ندارند به عنوان مثال، یک پزشک ارزیاب فقط می‌تواند برای بیمار در نظر بگیرد که نیاز به ارجاع به متخصص دارد یا ندارد و نمیتواند همزمان بگوید هم نیاز به ارجاع دارد و هم نیاز به ارجاع ندارد!.

فرض شماره 2:

داده های پاسخ مشاهدات جفت شده (paired observations) از یک پدیده هستند، به این معنی که هر دو ارزیاب مشاهدات یکسان را ارزیابی می کنند. مثال بالا را در مورد دو پزشک باتجربه در نظر بگیرید که از آنها خواسته شد تا تعداد 30 بیمار را بررسی کنند و تصمیم بگیرند که آیا هر بیمار را به یک متخصص “ارجاع دهند” یا “ارجاع ندهند”. یک مشاهده جفت شده منفرد ارزیابی “دکتر 1” را برای “بیمار 1” در مقایسه با ارزیابی “دکتر 2” برای “بیمار 1” نشان می دهد آنها بیمار یکسانی را مقایسه می کنند. 30 بیمار در این مطالعه، بدان معنی است که 30 مشاهده جفتی وجود دارد.

فرض شماره 3:

هر متغیر پاسخ باید دارای تعداد دسته های یکسانی باشد و جدول بندی متقاطع (crosstabulation) باید متقارن باشد (به عنوان مثال، “مربع”) .به عنوان مثال، جدول بندی متقاطع 22x، جدول بندی متقاطع 33x، جدول بندی متقاطع 44x، و غیره. جدول بندی متقاطع 22x به این معنی است که پاسخ هر دو ارزیاب در یک مقیاس دوگانه اندازه گیری می شود. یعنی یک مقیاس اسمی با دو دسته (به عنوان مثال، بدون جای زخم در مقابل زخمی، قابل اعتماد تر در مقابل کمتر قابل اعتماد، سرد در مقابل گرم و غیره). همچنین جدول بندی متقاطع 33x به این معنی است که پاسخ ها برای هر دو ارزیاب در مقیاس اسمی با سه دسته اندازه گیری شده است. به عنوان مثال، یادآوری کامل اطلاعات در مقابل یادآوری برخی اطلاعات در مقابل عدم یادآوری اطلاعات.

فرض شماره 4:

دو ارزیاب مستقل هستند و قضاوت یک ارزیاب بر قضاوت ارزیاب دیگر تأثیری ندارد. به عنوان مثال، اگر دو پزشک در مثال بالا، ارزیابی خود را درکنار در یک اتاق انجام دهند ممکن است حضور آنها در کنار یکدیگر، ارزیابی آنها تأثیر بگذارد.

فرض شماره 5:

برای قضاوت در مورد همه مشاهدات (به عنوان مثال، بیماران) از دو ارزیاب یکسان استفاده می شود. از این به عنوان دارای ارزیابهای ثابت یا منحصربه‌فرد یاد می‌شود. اگر برای هر مشاهده از ارزیاب های متفاوتی استفاده شده باشد (مثلاً بیمار)، کاپای کوهن آزمون مناسبی برای استفاده نیست. با این حال، در این مورد دوم، می‌توانید به جای آن از کاپای فلیس (Fleiss’ kappa) استفاده کنید، که به ارزیاب‌هایی که به‌طور تصادفی برای هر مشاهده (مثلاً بیمار) انتخاب می‌شوند، اجازه می‌دهد.

اگر طرح مطالعه شما با این پنج فرض مطابقت نداشته باشد، نمی توانید کاپای کوهن را اجرا کنید در بخش بعدی، به شما نشان می دهیم که چگونه داده های خود را با استفاده از کاپای کوهن در SPSS Statistics آنالیز کنید. ابتدا شما را با مثالی که در این راهنما استفاده می کنیم آشنا می کنیم.

مثال

یک نیروی پلیس محلی می خواست تعیین کند که آیا دو افسر پلیس با سطح تجربه مشابه می توانند تشخیص دهند که آیا رفتار افراد در یک فروشگاه خرده فروشی “عادی” است یا “مشکوک”. فروشگاه خرده فروشی طیف گسترده ای از لباس ها را می فروخت.

به دو افسر پلیس 100 کلیپ ویدئویی که به طور تصادفی انتخاب شده بودند نشان داده شد. هر کلیپ ویدیویی حرکت تنها یک نفر را از لحظه ورود به فروشگاه خرده فروشی تا لحظه خروج از فروشگاه ضبط می کرد. در پایان هر کلیپ ویدیویی، از هر افسر پلیس خواسته می‌شد که آیا رفتار آن فرد را «عادی» است یا «مشکوک».

پس از اینکه هر دو افسر پلیس همه 100 کلیپ ویدیویی را ارزیابی کردند، از کاپای کوهن برای مقایسه ارزیابی این دو افسر استفاده شد.

توجه: هر دو افسر پلیس 100 کلیپ ویدیویی مشابه را مشاهده کردند. همچنین، ارزیابی دو افسر پلیس (یعنی رفتار «عادی» یا «مشکوک») برای همان افراد مقایسه شد. یعنی امتیازی که افسر پلیس 1 برای فرد 1 داده بود با ارزیابی افسر پلیس 2 که برای فرد 1 داده بود، مقایسه شد.

تنظیمات در SPSS Statistics

برای کاپای کوهن، شما دو متغیر خواهید داشت. در این مثال، اینها عبارتند از: (1) امتیازات “ارائه دهنده 1″، (Rater 1) ، که منعکس کننده تصمیم افسر پلیس 1 (Officer1) است. و (2) امتیازات “ارائه دهنده 2″، (Rater 1)، که منعکس کننده تصمیم افسر پلیس 2 (Officer2) است. ارزیابی رفتار یک فرد به عنوان “عادی” (normal) یا “مشکوک” (suspiciou) است.

روش آزمون در SPSS Statistics

روش 9 مرحله ای زیر به شما نشان می دهد که چگونه داده های خود را با استفاده از کاپای کوهن در SPSS Statistics آنالیز کنید. در پایان این 9 مرحله، نحوه تفسیر نتایج این آزمون را به شما نشان می دهیم.

مرحله (1)

روی

Analyze > Descriptive Statistics > Crosstabs…

در منوی اصلی کلیک کنید:

مطابق شکل زیر پنجره ی Crosstabs نمایش داده می شود:

مرحله (2)

شما باید یک متغیر (به عنوان مثال، Officer1) را به کادر Row(s) و متغیر دوم (به عنوان مثال، Officer2) را به کادر Column(s) منتقل کنید. برای انجام این کار، هر متغیر را به طور جداگانه انتخاب کنید و با استفاده از دکمه فلش سمت راست ، آنها را منتقل کنید. در نهایت با صفحه‌ای مشابه تصویر زیر مواجه خواهید شد:

مرحله (3)

روی دکمه Statistics کلیک کنید. همانطور که در زیر نشان داده شده است، با پنجره ی Crosstabs: Statistics روبرو خواهید شد:

مرحله (4)

چک باکس Kappa را انتخاب کنید. در نهایت با پنجره ی زیر مواجه خواهید شد:

مرحله (5)

بر روی دکمه Continue کلیک کنید و به پنجره ی Crosstabs باز می گردید.

مرحله (6)

بر روی دکمه Cells کلیک کنید. همانطور که در زیر نشان داده شده است، با پنجره ی Crosstabs: Cell Display روبرو خواهید شد:

مرحله (7)

چک باکس Observed را مانند شکل زیر انتخاب کنید:

توجه: اگر SPSS Statistics ورژن 27 یا 28 را دارید و می خواهید جدول Crosstabulations را در APA Style ایجاد کنید، مطابق شکل زیر بر روی گزینه Create APA style table کلیک کنید:

اگر SPSS Statistics ورژن 26 یا ورژن قبلی دارید، کادر انتخاب Create APA style table را نمی توانید بینید. زیرا این ویژگی در ورژن 27 به بعد SPSS Statistics وجود دارد.

مرحله (8)

بر روی دکمه OK کلیک کنید. مطابق شکل زیر به پنجره ی Crosstabs بازگردانده می شوید:

مرحله (9)

روی دکمه OK کلیک کنید تا خروجی کاپای کوهن تولید گردد.

اکنون که روش کاپای کوهن را اجرا کرده اید، به شما نشان می دهیم که چگونه نتایج خود را تفسیر و گزارش کنید.

خروجی کاپای کوهن در SPSS Statistics

SPSS Statistics دو جدول اصلی خروجی برای کاپای کوهن تولید می کند: جدول Crosstabulation (جدول بندی متقارن) و جدول Symmetric Measures (اندازه گیری های متقارن). اینها به نوبه خود در زیر مورد بحث قرار می گیرند:

(1) جدول Crosstabulation (جدول بندی متقارن)

قبل از گزارش نتیجه واقعی کاپا (κ) کوهن، بهتر است که خلاصه‌ای از داده‌های خود را بررسی کنید تا برداشت بهتری نسبت به نتایج خود داشته باشید. جدول تولید شده توسط SPSS Statistics یک جدول بندی متقابل از دسته های دو متغیر است که گاهی اوقات “ماتریکس در هم ریختگی” (confusion matrix’) نامیده می شود. و جدول Crosstabulation در زیر نشان داده شده است:

توجه: اگر ورژن 27 یا 28 SPSS Statistics را دارید و چک باکس Create APA style table را در مرحله 6 انتخاب کرده اید، جدول Crosstabulation زیر در APA Style تولید می گردد:

ما می‌توانیم از جدول جدول‌بندی متقاطع، در میان چیزهای دیگر، برای درک میزان توافق و مخالفت دو ارزیاب (یعنی هر دو افسر پلیس) در مورد قضاوتشان درباره رفتار مشکوک استفاده کنیم. از جدول بالا می بینید که از 100 نفر ارزیابی شده توسط افسران پلیس، 85 نفر طبق توافق هر دو افسر پلیس رفتار عادی نشان دادند. علاوه بر این، هر دو افسر موافق بودند که هفت نفر بودند که رفتار مشکوکی از خود نشان دادند. بنابراین، هشت نفر (یعنی 6 + 2 = 8) وجود داشتند که دو افسر پلیس نتوانستند در مورد رفتارشان به توافق برسند.

(2) جدول Symmetric Measures (اندازه گیری های متقارن)

جدول Symmetric Measures ، کاپا (κ) کوهن را نشان می‌دهد، که آماری برای در نظر گرفتن شانس توافق طراحی شده است. اساساً، حتی اگر دو افسر پلیس در این مثال به طور تصادفی در مورد رفتار هر فرد حدس بزنند، در نهایت به طور تصادفی در مورد رفتار یک فرد به توافق می رسند، اما شما نمی خواهید که این توافق تصادفی نتایج شما را آلوده کند. به جای اندازه گیری نسبت کلی توافق (که در بالا محاسبه کردیم)، کاپای کوهن نسبت توافق را بیش از توافق مورد انتظار تصادفی (یعنی توافق شانسی) اندازه گیری می کند.

می بینید که کاپا (κ) کوهن 0.593 است. این نسبت توافق بیش از توافق شانسی است. کاپا (κ) کوهن می تواند از 1- تا 1+ باشد. کاپا (κ) 0.593 نشان دهنده قدرت متوسطی از توافق است. علاوه بر این، از آنجایی که p <0.001 است، ضریب کاپا (κ) از نظر آماری به طور قابل توجهی با صفر متفاوت است.

گزارش خروجی کاپای کوهن

با توجه به نتایج فوق، می‌توان نتایج تحقیق را به شرح زیر گزارش کرد:

κ کوهن برای تعیین وجود توافق بین قضاوت دو افسر پلیس در مورد اینکه آیا 100 نفر در یک مرکز خرید رفتار عادی یا مشکوک از خود نشان می‌دهند یا خیر، اجرا شد. توافق متوسطی بین قضاوت دو افسر وجود داشت

κ=.593 (95% CI, .300 to .886), p<.001

از گزارش بالا متوجه خواهید شد که نوشتن کاپای کوهن نه تنها شامل آمار کاپا (κ) و مقدار p است، بلکه فاصله اطمینان 95٪ CI) ) را نیز شامل می شود.

مطالب زیر را هم از دست ندهید:

تفسیر ضریب کاپا