ANCOVA یک طرفه در SPSS Statistics

ANCOVA یک طرفه در SPSS Statistics

مقدمه

ANCOVA یک طرفه (تجزیه و تحلیل کوواریانس) را می توان به عنوان بسط ANOVA یک طرفه برای ترکیب یک متغیر کمکی (covariate) در نظر گرفت. مانند ANOVA یک طرفه، ANCOVA یک طرفه برای تعیین اینکه آیا تفاوت معنی داری بین دو یا چند گروه مستقل (غیر مرتبط) در یک متغیر وابسته وجود دارد یا خیر استفاده می شود. با این حال، در حالی که ANOVA به دنبال تفاوت‌ها در میانگین‌های گروهی است، ANCOVA به دنبال تفاوت‌ها در میانگین‌های تعدیل‌شده (adjusted means) (یعنی تنظیم شده برای متغیر کمکی) است. به این ترتیب، در مقایسه با ANOVA یک طرفه، ANCOVA یک طرفه این مزیت اضافی را دارد که به شما امکان می دهد برای یک متغیر سوم (که گاهی اوقات به عنوان “متغیر مخدوش کننده” (confounding variable) شناخته می شود) “کنترل آماری” داشته باشید، که فکر می کنید بر نتایج شما تأثیر می گذارد. این متغیر سوم که می تواند نتایج شما را مخدوش کند، متغیر کمکی (covariate) نامیده می شود و شما آن را در تحلیل ANCOVA یک طرفه خود قرار می دهید.

توجه: شما می توانید بیش از یک متغیر کمکی داشته باشید و اگرچه متغیرهای کمکی به طور سنتی در مقیاس پیوسته اندازه گیری می شوند، اما می توانند طبقه ای (categorical) نیز باشند. با این حال، زمانی که متغیرهای کمکی طبقه‌بندی می‌شوند، تحلیل اغلب ANCOVA نامیده نمی‌شود. علاوه بر این، بخش “یک طرفه ” ANCOVA یک طرفه به تعداد متغیرهای مستقل اشاره دارد. اگر به جای یک متغیر، دو متغیر مستقل دارید، می توانید یک ANCOVA دو طرفه را اجرا کنید.

اگر با ANCOVA یک طرفه آشنا نیستید، مثال زیر می‌تواند به وضوح کمک کند.

محققان می خواستند تأثیر سه نوع مداخله ورزشی مختلف را بر فشار خون سیستولیک بررسی کنند. برای انجام این کار، آنها 60 شرکت کننده را برای مطالعه خود انتخاب کردند. آنها به طور تصادفی 20 شرکت کننده را به هر یک از سه مداخله اختصاص دادند: (1) “مداخله ورزشی با شدت کم”، (2) “مداخله ورزشی با شدت متوسط” و (3) “مداخله ورزشی با شدت بالا”. ورزش در تمام مداخلات به همان میزان کالری سوزاند. “فشار خون سیستولیک” هر شرکت کننده قبل از مداخله و بلافاصله پس از مداخله آنها، اندازه گیری شد. محقق می خواست بداند که آیا مداخلات ورزشی مختلف اثرات متفاوتی بر فشار خون سیستولیک دارد یا خیر؟. برای پاسخ به این سوال، محققان می خواستند تعیین کنند که آیا تفاوتی در فشار خون سیستولیک پس از مداخلات ورزشی وجود دارد؟ (یعنی آیا میانگین فشار خون سیستولیک بعد از مداخله بین مداخلات مختلف متفاوت است؟). با این حال، محققان انتظار داشتند که تأثیر سه مداخله ورزشی مختلف بر فشار خون سیستولیک متوسط ​​تحت تأثیر فشار خون سیستولیک شرکت‌کنندگان قبل از مداخلات باشد. برای کنترل فشار خون سیستولیک بعد از مداخله برای تفاوت فشار خون سیستولیک قبل از مداخله، می‌توانید یک ANCOVA یک طرفه با فشار خون سیستولیک قبل از مداخله به عنوان متغیر کمکی، مداخله به عنوان متغیر مستقل و خون سیستولیک پس از مداخله را اجرا کنید. فشار به عنوان متغیر وابسته اگر تفاوت آماری معنی‌داری بین مداخلات پیدا کردید، می‌توانید ANCOVA یک طرفه را با یک آزمون تعقیبی (Post-Hoc) دنبال کنید تا مشخص کنید کدام مداخلات ورزشی خاص از نظر تأثیر آنها بر فشار خون سیستولیک متفاوت است (به عنوان مثال، آیا مداخله تمرینی با شدت بالا تأثیر بیشتری بر فشار خون سیستولیک نسبت به مداخله تمرینی با شدت کم دارد یا نه؟).

این آموزش به شما نشان می‌دهد که چگونه یک ANCOVA یک طرفه (با یک متغیر کمکی) را با استفاده ازSPSS Statistics انجام دهید، و همچنین نتایج این آزمون را تفسیر و گزارش کنید. از آنجایی که ANCOVA یک طرفه اغلب با یک آزمون تعقیبی (Post-Hoc) دنبال می‌شود، ما به شما نشان می‌دهیم که چگونه یک آزمون تعقیبی (Post-Hoc) را با استفاده ازSPSS Statistics انجام دهید. با این حال، قبل از اینکه شما را با این روش آشنا کنیم، باید فرضیات مختلفی را که داده های شما باید رعایت کنند تا ANCOVA یک طرفه به شما نتیجه معتبری بدهد، بدانید. در ادامه به این فرضیات می پردازیم.

فرضیات

هنگامی که تصمیم می گیرید داده های خود را با استفاده از ANCOVA یک طرفه تجزیه و تحلیل کنید، بخشی از فرآیند بررسی می شود تا مطمئن شوید که داده هایی که می خواهید تجزیه و تحلیل کنید واقعاً می توانند با استفاده از ANCOVA یک طرفه تجزیه و تحلیل شوند یا نه. شما باید این کار را انجام دهید زیرا تنها زمانی استفاده از ANCOVA یک طرفه مناسب است که داده های شما از 9 فرضیه ای که برای یک ANCOVA یک طرفه لازم است تا نتیجه معتبری به شما ارائه دهد، عبور کند. در عمل، بررسی این 9 فرض فقط کمی زمان بیشتری به تجزیه و تحلیل شما می‌افزاید، و از شما می‌خواهد هنگام انجام تجزیه و تحلیل، روی چند دکمه دیگر درSPSS Statistics کلیک کنید، و همچنین کمی بیشتر در مورد داده‌های خود فکر کنید که کار سختی نیست.

قبل از اینکه شما را با این 9 فرض آشنا کنیم، اگر هنگام تجزیه و تحلیل داده های خود با استفاده ازSPSS Statistics، یک یا چند مورد از این فرضیات نقض شد (یعنی برآورده نشد) تعجب نکنید. در هنگام کار با داده های دنیای واقعی به جای نمونه های کتاب درسی، که اغلب فقط به شما نشان می دهد چگونه یک ANCOVA یک طرفه را زمانی که همه چیز خوب پیش می رود، انجام دهید، غیر معمول نیست! با این حال، نگران نباشید. حتی زمانی که داده های شما برخی از فرضیات را با شکست مواجه می کند، اغلب راه حلی برای غلبه بر آن وجود دارد. ابتدا اجازه دهید نگاهی به این 9 فرض بیندازیم:

فرض شماره 1:

متغیر وابسته و متغیر(های) کمکی شما باید در مقیاس پیوسته اندازه گیری شوند (یعنی در سطح فاصله ای (interval) یا نسبتی (ratio) اندازه گیری می شوند). نمونه هایی از متغیرهایی که این معیار را برآورده می کنند عبارتند از: زمان تجدید نظر (اندازه گیری شده بر حسب ساعت)، هوش (اندازه گیری شده با استفاده از نمره IQ)، نمره امتحان (اندازه گیری از 0 تا 20)، وزن (اندازه گیری شده بر حسب کیلوگرم) و غیره. همانطور که قبلاً گفته شد، می‌توانید متغیرهای کمکی طبقه‌ای (categorical covariates) داشته باشید (به عنوان مثال، متغیرهای طبقه‌ای مانند “جنسیت” که دارای دو دسته است: مرد و زن)، اما معمولاً در این شرایط به آن تحلیل به عنوان ANCOVA گفته نمی‌شود.

فرض شماره 2:

متغیر مستقل شما باید از دو یا چند گروه طبقه‌ای مستقل تشکیل شده باشد. نمونه متغیرهای مستقلی که این معیار را برآورده می کنند شامل جنسیت (به عنوان مثال، دو گروه: مرد و زن)، قومیت (به عنوان مثال، سه گروه: ایرانی، آمریکایی و اسپانیایی)، سطح فعالیت بدنی (به عنوان مثال، چهار گروه: بی تحرک، کم، متوسط ​​و بالا)، ​​ حرفه (به عنوان مثال، پنج گروه: جراح، پزشک، پرستار، دندانپزشک، درمانگر) و غیره. است.

فرض شماره 3:

شما باید از مشاهدات استقلال داشته باشید، به این معنی که هیچ رابطه ای بین مشاهدات در هر گروه یا بین خود گروه ها وجود ندارد. برای مثال، باید در هر گروه شرکت‌کنندگان متفاوتی وجود داشته باشد و هیچ شرکت‌کننده‌ای در بیش از یک گروه نباشد. این بیشتر یک موضوع طراحی مطالعه است تا چیزی که بتوانید آن را آزمایش کنید، اما یک فرض مهم برای یک ANCOVA یک طرفه است. اگر مطالعه شما با این فرض شکست بخورد، باید به جای آزمون ANCOVA یک طرفه از آزمون آماری دیگری استفاده کنید (به عنوان مثال، طرح اندازه گیری های مکرر).

فرض شماره 4:

نباید داده های پرت (outliers) قابل توجهی وجود داشته باشد. داده های پرت به سادگی نقاط داده ای در داده های شما هستند که از الگوی معمول پیروی نمی کنند (به عنوان مثال، در یک مطالعه بر روی تست هوش 100دانش آموز، که در آن میانگین نمره 108 با تفاوت کمی بین دانش آموزان بود، یک دانش آموز امتیاز 156 داشت، که بسیار غیرمعمول است و حتی ممکن است او را در 1% امتیازهای IQ برتر در سطح جهان قرار دهد). مشکل داده های پرت این است که آنها می توانند تأثیر منفی بر ANCOVA یک طرفه داشته باشند و اعتبار نتایج شما را کاهش دهند. خوشبختانه، هنگام استفاده ازSPSS Statistics برای اجرای یک ANCOVA یک طرفه بر روی داده‌های خود، می‌توانید به راحتی داده های پرت احتمالی را شناسایی کنید.

فرض شماره 5:

باقیمانده های شما باید تقریباً به طور معمول برای هر دسته از متغیر مستقل توزیع شوند. ما در مورد ANCOVA صحبت می کنیم که فقط به باقیمانده های تقریباً معمولی نیاز دارد، زیرا در برابر نقض نرمال بودن کاملاً “محکم” است، به این معنی که این فرض می تواند تا حدی نقض شود و همچنان نتایج معتبری ارائه دهد. می‌توانید با استفاده از دو تست Shapiro-Wilk نرمال بودن را آزمایش کنید: یکی برای آزمایش باقی‌مانده‌های درون گروهی (within-group residuals) و دیگری برای آزمایش تناسب مدل کلی (overall model fit). هر دوی اینها به راحتی برای استفاده ازSPSS Statistics آزمایش می شوند.

فرض شماره 6:

باید یکسان بودن واریانس ها (homogeneity of variances) وجود داشته باشد. شما می توانید این فرض را درSPSS Statistics با استفاده از آزمون Levene برای یکسان بودن واریانس ها آزمایش کنید..

فرض شماره 7:

متغیر کمکی باید به صورت خطی با متغیر وابسته در هر سطح از متغیر مستقل مرتبط باشد. شما می توانید این فرض را درSPSS Statistics با رسم نمودار نقطه ای گروهی (grouped scatterplot) از متغیرهای کمکی، نمرات پس آزمون متغیر وابسته و متغیر مستقل آزمایش کنید.

فرض شماره 8:

نیاز به هموسداستیک یا هم‌واریانسی (homoscedasticity) وجود دارد. شما می توانید این فرض را درSPSS Statistics با رسم نمودار نقطه ای از باقیمانده های استاندارد شده در برابر مقادیر پیش بینی شده آزمایش کنید. در راهنمای بهبودیافته ANCOVA یک طرفه خود، (الف) ما به شما نشان می‌دهیم که چگونه یک نمودار نقطه ای در آمارهای SPSS برای آزمایش هموسداستیک تولید کنید، (ب) برخی از مواردی را که باید هنگام تفسیر داده‌های خود در نظر بگیرید، توضیح می‌دهیم، و (ج) در صورتی که داده‌های شما این فرض را برآورده نکنند، راه‌های ممکن را برای ادامه تحلیل خود ارائه دهید.

فرض شماره 9:

نیاز به یکسان بودن شیب های رگرسیون وجود دارد، به این معنی که هیچ تعاملی بین متغیر کمکی و متغیر مستقل وجود ندارد. به‌طور پیش‌فرض،SPSS Statistics یک اصطلاح تعاملی بین یک متغیر کمکی و یک مستقل را در روش GLM خود درج نمی‌کند تا بتوانید آن را آزمایش کنید.

با استفاده ازSPSS Statistics می توانید فرضیات #4، #5، #6، #7، #8 و #9 را بررسی کنید. قبل از انجام این کار، باید مطمئن شوید که داده های شما با فرضیات #1، #2 و #3 مطابقت دارند، اگرچه برای انجام این کار بهSPSS Statistics نیاز ندارید. به یاد داشته باشید که اگر آزمون های آماری را بر اساس این فرضیات به درستی اجرا نکنید، نتایجی که هنگام اجرای ANCOVA یک طرفه به دست می آورید ممکن است معتبر نباشند.

در بخش، روش آزمون درSPSS Statistics، ما روش آماری SPSS را برای انجام یک ANCOVA یک طرفه، با فرض اینکه هیچ فرضی نقض نشده است، نشان می دهیم. ابتدا، مثالی را که برای توضیح روش ANCOVA یک طرفه درSPSS Statistics استفاده می‌کنیم، ارائه می‌کنیم.

مثال

محققی علاقه مند به تعیین این موضوع بود که آیا یک برنامه تمرینی-ورزشی با شدت کم یا زیاد شش هفته ای برای کاهش غلظت کلسترول خون در مردان میانسال موثر است یا نه. هر دو برنامه تمرینی به گونه‌ای طراحی شده بودند که در گروه‌های کم و پر شدت، کالری یکسانی مصرف شود. به این ترتیب، مدت زمان تمرین بین گروه ها متفاوت بود. محقق انتظار داشت هرگونه کاهش در غلظت کلسترول ناشی از مداخلات به غلظت اولیه کلسترول شرکت کننده نیز بستگی دارد. به این ترتیب، محقق می خواست از غلظت کلسترول قبل از مداخله به عنوان یک متغیر کمکی هنگام مقایسه غلظت کلسترول پس از مداخله بین مداخلات و گروه کنترل استفاده کند. بنابراین، محقق یک ANCOVA یک طرفه را با: (الف) غلظت کلسترول پس از مداخله به عنوان متغیر وابسته ( ) (ب) گروه کنترل و دو گروه مداخله به عنوان سطوح متغیر مستقل ( ) و (ج) غلظت کلسترول قبل از مداخله به عنوان متغیر کمکی ( ) اجرا کرد.

راه اندازی (Setup) درSPSS Statistics

درSPSS Statistics، ما سه متغیر را وارد کردیم: (1) متغیر وابسته ( )، که غلظت کلسترول پس از مداخله است. (2) متغیر مستقل ( )، که دارای سه دسته است: “control”، “Int_1” (نماینده مداخله تمرینی با شدت کم)، و “Int_2” (نماینده مداخله تمرینی با شدت بالا). و (3) متغییر قبل ( )، که نشان دهنده غلظت کلسترول قبل از مداخله است.

روش تست در SPSS Statistics

در روش زیر، به شما نشان می‌دهیم که چگونه داده‌های خود را با استفاده از ANCOVA یک طرفه درSPSS Statistics تجزیه و تحلیل کنید، زمانی که 9 فرض در بخش فرضیات نقض نشده است. در پایان این روش، نحوه تفسیر نتایج این آزمایش را به شما نشان می دهیم.

از آنجایی که مراحلی که باید بر اساس ورژن SPSS Statistics شما انجام دهید متفاوت است، ما روش General Linear Model > Univariate… را بر اساس  ورژن 25، 26، 27 یا 28  تنظیم می کنیم.

SPSS Statistics ورژن 25، 26، 27 و 28

مرحله (1)

همانطور که در زیر نشان داده شده است، روی

Analyze > General Linear Model > Univariate…

در منوی اصلی کلیک کنید:

 

نکته: SPSS Statistics در ورژن 27، ظاهر جدیدی را به رابط خود به نام “SPSS Light” معرفی کرد و جایگزین ظاهر قبلی برای ورژن 26 و ورژن های قبلی شد که “SPSS Standard” نام داشت. بنابراین، اگر ورژن 27 یا 28 SPSS Statistics را دارید، تصاویر زیر خاکستری روشن خواهند بود تا آبی. با این حال، روش یکسان است.

 

همانطور که در زیر نشان داده شده است، با پنجره Univariate نمایش داده می شود:

مرحله (2)

متغیر وابسته، را به کادر Dependent Variable، متغیر مستقل را به کادرFixed Factor(s) و متغیر کمکی را به کادر Covariate(s)، با انتخاب هر متغیر و کلیک بر روی روی دکمه فلش سمت راست مربوطه، انتقال دهید. در نهایت با صفحه زیر مواجه خواهید شد:

مرحله (3)

بر روی دکمه کلیک کنید. همانطور که در زیر نشان داده شده است، با پنجره Univariate: Estimated Marginal Means روبرو خواهید شد:

مرحله (4)

با استفاده از دکمه فلش سمت راست، متغیر را از کادر Factor(s) and Factor Interactions به کادر Display Means for منتقل کنید. سپس تیک Compare main effect را بزنید که گزینه Confidence interval adjustment فعال می شود. از این منوی کشویی، مانند شکل زیر، Bonferroni را از بین گزینه ها انتخاب کنید:

مرحله (5)

بر روی دکمه Continue کلیک کنید و به پنجره Univariate بازگردانده می شوید.

مرحله (6)

بر روی دکمه Options کلیک کنید. همانطور که در زیر نشان داده شده است، با پنجره Univariate Options روبرو خواهید شد:

مرحله (7)

همانطور که در زیر نشان داده شده است، Descriptive statistics و Estimates of effect size را در ناحیه Display انتخاب کنید:

مرحله (8)

بر روی دکمه Continue کلیک کنید و به پنجره Univariate بازگردانده می شوید.

مرحله (9)

بر روی دکمه OK کلیک کنید. با این کار خروجی شما تولید می شود.

 

اگر SPSS Statistics ورژن 24 یا ورژن قبلی SPSS Statistics دارید، چگونه یک ANCOVA یک طرفه را باید به صورت زیر انجام دهید.

 

SPSS Statistics ورژن 24 و ورژن های قبلی SPSS Statistics

مرحله (1)

همانطور که در زیر نشان داده شده است، روی

Analyze > General Linear Model > Univariate…

در منوی اصلی کلیک کنید:

مرحله (2)

همانطور که در زیر نشان داده شده است، با پنجره Univariate نمایش داده می شود:

مرحله (3)

متغیر وابسته، را به کادر Dependent Variable، متغیر مستقل را به کادرFixed Factor(s) و متغیر کمکی را به کادر Covariate(s)، با انتخاب هر متغیر و کلیک بر روی روی دکمه فلش سمت راست مربوطه، انتقال دهید. در نهایت با صفحه زیر مواجه خواهید شد:

مرحله (4)

بر روی دکمه Options کلیک کنید. همانطور که در زیر نشان داده شده است، با پنجره Univariate: Options روبرو خواهید شد:

مرحله (5)

با استفاده از دکمه فلش سمت راست، متغیر را از کادر Factor(s) and Factor Interactions به کادر Display Means for منتقل کنید. سپس تیک Compare main effect را بزنید که گزینه Confidence interval adjustment فعال می شود. از این منوی کشویی، مانند شکل زیر، Bonferroni را از بین گزینه ها انتخاب کنید. همچنین، همانطور که در زیر نشان داده شده است، Descriptive statistics و Estimates of effect size را در ناحیه Display انتخاب کنید:

مرحله (6)

بر روی دکمه Continue کلیک کنید و به پنجره Univariate بازگردانده می شوید.

مرحله (7)

بر روی دکمه OK کلیک کنید. با این کار خروجی شما تولید می شود.

خروجی SPSS Statistics از ANCOVA یک طرفه

SPSS Statistics در تجزیه و تحلیل ANCOVA یک طرفه خود، جداول زیادی تولید می کند. در این بخش، ما تنها جداول اصلی مورد نیاز برای درک نتایج خود از ANCOVA یک طرفه و آزمون تعقیبی (post hoc test) را به شما نشان می دهیم.

در این آموزش جدول توصیفی و همچنین نتایج آزمون ANCOVA یک طرفه و آزمون تعقیبی را توضیح می دهیم. هر جدول را به ترتیب مرور می کنیم:

آمار توصیفی (Descriptive statistics)

جدول آمار توصیفی (در زیر نشان داده شده است) آمار توصیفی (میانگین، انحراف معیار، تعداد شرکت کنندگان) را در مورد متغیر وابسته ، برای سطوح مختلف متغیر مستقل ، ارائه می دهد. این مقادیر شامل هیچ گونه تنظیمی که با استفاده از یک متغیر کمکی در تجزیه و تحلیل انجام می شود، نمی شود.

نتایج ANCOVA یک طرفه

بخش اصلی نتایج در جدول Tests of Between-Subjects Effects به شرح زیر ارائه شده است:

این جدول به شما اطلاع می دهد که آیا مداخلات مختلف با تعدیل متغیر کمکی شما از نظر آماری تفاوت معنی داری داشتند یا خیر. به عبارت دیگر، آیا تفاوت آماری معنی‌داری در غلظت کلسترول پس از مداخله بین مداخلات مختلف وجود دارد که میانگین آن‌ها برای غلظت کلسترول قبل از مداخله تنظیم شده باشد. این مورد در زیر برجسته شده است:

برای تفسیر نتایج، ردیف group را بخوانید تا به “Sig” برسید. ستون این مقدار معنی‌داری آماری (یعنی p-value) را نشان می‌دهد که آیا تفاوت‌های آماری معنی‌داری در فشار خون سیستولیک پس از مداخله (یعنی متغیر وابسته) بین گروه‌ها (یعنی متغیر مستقل) وجود دارد یا خیر، زمانی که برای قبل از مداخله تنظیم شود. فشار خون سیستولیک (یعنی متغیر کمکی). در این مثال می بینید که از نظر آماری تفاوت معنی داری بین میانگین های تعدیل شده وجود دارد (0005/0 > p).

برآوردها

برای درک بهتر اینکه چگونه متغیر کمکی میانگین های گروه اصلی را تنظیم کرده است، می توانید به جدول Estimates، همانطور که در زیر نشان داده شده است، مراجعه کنید:

توجه کنید که چگونه مقادیر میانگین در مقایسه با مقادیر موجود در جدول آمار توصیفی بالا تغییر کرده است. این مقادیر جدید نشان دهنده میانگین تعدیل شده (adjusted means) است (یعنی میانگین اصلی تنظیم شده برای متغیر کمکی).

آزمون تعقیبی (Post hoc test)

اکنون که می دانید از نظر آماری تفاوت معنی داری بین میانگین های تعدیل شده وجود دارد، می خواهید بدانید که تفاوت ها در کجا قرار دارند. همانطور که در زیر نشان داده شده است در جدول Pairwise Comparisons گزارش شده است:

با مراجعه به مقادیر معناداری (به عنوان مثال، ستون “Sig”)، می توانید ببینید که مقایسه های گروهی از نظر آماری تفاوت معنی داری دارند. شما می توانید این نتایج را به روشی مشابه با ANOVA یک طرفه گزارش دهید، اما با روش های تنظیم شده به جای روش های اصلی جایگزین کنید.

 

مطالب زیر را هم از دست ندهید:

آزمون t نمونه تکی با استفاده از SPSS Statistics

ANOVA ی اندازه گیری های مکرر

چگونه یک نمودار نقطه‌ای متصل به هم در R ایجاد کنیم؟

چند پروژه برای مبتدیان علم داده

اندازه اثر در تحلیل واریانس

نحوه تعیین خودکار تعداد خوشه ها توسط قانون آرنج

هوش مصنوعی (AI) چیست؟ 3 چیز که باید بدانید

تجزیه و تحلیل آماری: تعریف، مثال

 

Afshin Safaee (@afshinsafaee.official)

 

اشتراک گذاری در facebook
اشتراک گذاری در twitter
اشتراک گذاری در linkedin
اشتراک گذاری در telegram
اشتراک گذاری در whatsapp
نوشته های مرتبط

10 پاسخ

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *