از مهم‌ترین خصیصه‌های یک تحقیقِ علمیِ معتبر می‌توان به «شفافیتِ روش» و «قابلیت تکرارپذیری نتایج»[۱]reproducibility آن اشاره کرد. این یعنی هر گروه دیگری از محققان که دارای مهارت‌ها و توانایی‌هایِ مشابهی باشند بتوانند به نتایج مشابهی دست یابند. اما چندی است که توجه‌ها به سوی آن‌چه «بحران تکرارپذیری»[۲]reproducibility crisis خوانده می‌شود جلب شده که موضوعی نسبتاً فراگیر است، اگر چه در برخی شاخه‌های علوم نظیر روان‌شناسی و پزشکی بارزتر است. در یک نظرسنجی‌ انجام شده توسط نشریهٔ نیچر سؤال‌هایی دربارهٔ بحران تکرارپذیری از حدود ۱۶۰۰ محقق در حوزه‌های مختلف پرسیده شد[۳]Baker, M., 2016. 1,500 scientists lift the lid on reproducibility. Nature News 533, 452. https://doi.org/10.1038/533452a. نیمی از پاسخ دهندگان معتقد به وجود بحرانِ جدیِ تکرارپذیری در علوم بودند. ۴۰٪ دیگر معتقد به وجود بحرانِ خفیف تکرارپذیری بودند. فقط ۱۰٪ آن‌ها ابراز بی‌اطلاعی کردند یا معتقد بودند چنین بحرانی وجود ندارد. وقتی از آن‌ها دربارهٔ دلایل بروز این بحران پرسیده شد، عمدتاً معتقد بودند که فشار برای انتشار سریع نتیجهٔ تحقیق و همین‌طور گزارشِ انتخابی (یعنی انتشار موفقیت‌ها و بی‌توجهی به نتایج نامطلوب) از عوامل همیشه حاضر هستند. افزایش رقابت برای دریافت فرصت‌ها و موقعیت‌های دانشگاهی و رویه‌های دست‌و‌پاگیر اداری و اجرایی محققان را در وضعیتِ کمبود وقت و منابعِ دائمی قرار داده است.

اما بخشی از این بحران نیز به اشکالات موجود در برخی روش‌های مرسوم در طراحیِ تجربه‌ها مربوط می‌شود. به عنوان مثال به روشِ متداولِ «آزمایش تصادفی کنترل‌شده»[۴]randomized controlled trial که کاربرد گسترده‌ای در کارآزمایی‌های بالینی[۵]clinical trials دارد توجه کنیم. در این روش، داوطلبان به صورت تصادفی به دو (یا چند) گروه تقسیم می‌شوند: گروه اول تحت درمان مورد آزمایش قرار می‌گیرند (گروه تحت آزمایش) و گروه دوم تحت درمان قرار نمی‌گیرند ولی وضعیت آن‌ها جهت مقایسه زیر نظر گرفته می‌شود (گروه کنترل). در نهایت، نتایج گروه تحت آزمایش و گروه کنترل با هم مقایسه می‌شوند و روابط علت و معلولی بین درمان و پاسخ به آن بررسی می‌شوند. این نوع تحقیقات به صورت گسترده‌ای برای بررسی تأثیرات، موارد ایمنی، خطرات احتمالی و در مجموع کارآیی داروها و رویه‌های درمانی جدید به کار گرفته می‌شوند و قوانین بهداشتی کشورها و معیارهای رسمی دارویی-درمانی آن‌ها نیز تا حد زیادی از آن‌ها تأثیر می‌گیرند. فرض بنیادینی که صحتِ این روش را تضمین می‌کند این است که دو گروه باید به گونه‌ای انتخاب شوند که قابل مقایسه باشند یعنی نوع و پراکندگی خصوصیت‌های اعضای آن‌ها با یکدیگر قابل مقایسه باشد؛ دست کم تا جایی که به پیش‌زمینه‌ها و عواملی که می‌توانند روی نتیجهٔ کارآزمایی تأثیر بگذارند مربوط می‌شود. واضح است که در حوزه‌های مربوط به انسان و جامعه این کار دشوار و تقریباً ناممکنی است، چرا که سوابق و خصوصیت‌های افراد منحصر به فرد است و تعداد عواملی که می‌توانند روی نتیجهٔ کارآزمایی تأثیر بگذارند بسیار زیاد است. بنابراین محققان چاره‌ای جز ساده‌سازی و چشم‌پوشی از بخشی از این عوامل ندارند. اما آیا این ساده‌سازی‌ها و چشم‌پوشی‌ها منجر به تولید نتایج قابل اعتماد و تکرارپذیر می‌شوند؟

مقاله‌ای که اخیراً در یکی از ژورنال‌های معتبر پزشکی منتشر شده زنگ خطر را به صدا در آورده است[۶]Krauss, A., 2018. Why all randomised controlled trials produce biased results. Annals of Medicine 50, 312–۳۲۲٫ https://doi.org/10.1080/07853890.2018.1453233. نویسنده ده تا از پر ارجاع‌ترین مقاله‌ها در حوزهٔ پزشکی که جملگی از روش «آزمایش تصادفی کنترل‌شده» استفاده کرده‌اند را بررسی کرده است. بر اساس این تحقیق، در مقاله‌های یاد شده خصوصیت‌‌های زمینه‌ای داوطلبان که می‌توانند نتایج را تغییر دهند معمولاً به صورت نامطلوبی بین گروه‌های کارآزمایی تقسیم شده‌اند و کارآزمایی‌ها معمولاً عوامل دیگری را که می‌توانند روی نتایج گزارش ‌شده‌شان تأثیر بگذارند نادیده گرفته‌اند. اگر این یافته درست باشد، تحقیقاتِ گسترده‌ای که طی سال‌ها با استفاده از این روش انجام شده‌اند فاقد اعتبار گشته و باید مورد ارزیابیِ مجدد قرار بگیرند. این یعنی کارآیی و خطرات احتمالی بسیاری از داروها و شیوه‌های درمانی که بر اساس این نوع تحقیقات ارزیابی شده‌اند زیر سؤال خواهد رفت.

بحران تکرارپذیری به معنای افزایش تعداد تحقیقاتی است که هیچ‌کس قادر به تکرار نتایجِ آن‌ها نیست. این نتایج حتی وقتی در ژورنال‌های علمی منتشر می‌شوند محدود به شرایط منحصر به فردِ حاکم بر تحقیق انجام شده هستند، در نتیجه قابلِ تکرار و تعمیم نبوده و ارتباط چندانی با موضوعِ ادعایی ندارند. در شرایطی که روز به روز به پیچیدگی تجربه‌ها، اندازه‌گیری‌ها و تحلیل‌ها افزوده می‌شود، کار محققان علوم تجربی نیز برای تولید نتایج تکرارپذیر و قابل اعتماد دشوارتر و دشوارتر می‌شود.

🔲

  1. reproducibility ↩

  2. reproducibility crisis ↩

  3. Baker, M., 2016. 1,500 scientists lift the lid on reproducibility. Nature News 533, 452. https://doi.org/10.1038/533452a ↩

  4. randomized controlled trial ↩

  5. clinical trials ↩

  6. Krauss, A., 2018. Why all randomised controlled trials produce biased results. Annals of Medicine 50, 312–۳۲۲٫ https://doi.org/10.1080/07853890.2018.1453233 ↩