چرا داوران در ارزیابی طرح‌های پژوهشی اختلاف نظر دارند؟ شواهد از بیش از ۱۳۴٬۰۰۰ بررسی داوری

خلاصه سریع برای خواننده

• مطالعه‌ای ثبت‌شده روی ۱۳۴٬۹۹۱ بررسی داوری از چهار صندوق پژوهشی نروژ نشان می‌دهد اختلاف بین داوران در ارزیابی طرح‌ها معمولاً کم تا متوسط است (ICC حدود ۰.۵–۰.۶۵).
• بخش بزرگی از اختلاف (تقریباً ۵۵٪) در سطح باقی‌مانده قرار دارد و تنها حدود ۳.۱٪ ناشی از گرایش‌های پایدار داوران است؛ یعنی اختلاف بیشتر مرتبط با خود درخواست‌هاست تا خصیصهٔ داوران.
• شباهت جنسیتی داوران و فرایندهای بررسی عمیق‌تر با کاهش اندک اختلاف همراه بود؛ در مقابل، داوری‌های تخصصی و برخی زمینه‌های پژوهشی با اختلاف کمی بالاتر همراه شدند.
• اثرهای آماری معنادار بودند ولی در اندازه مطلق اغلب کوچک بودند؛ بنابراین مداخله‌هایی که فقط روی رفتار داوران تمرکز دارند احتمالاً پیشرفت‌های چشمگیر ایجاد نمی‌کنند.
• پیشنهاد محققان: کاهش ابهام در درخواست‌ها، معیارهای روشن‌تر و فرمت‌های ساختاریافته می‌تواند به‌صورت تدریجی قابل‌تحسین باشد؛ انتظار بهبود ناگهانی منطقی نیست.

مقدمه

سیستم‌های داوری طرح‌ها و درخواست‌های تأمین مالی نقش محوری در تخصیص منابع پژوهشی دارند. برای حوزه‌های پزشکی و بالینی، تصمیمات تأمین مالی می‌تواند مسیر توسعه آزمایش‌های بالینی، تولید شواهد جدید و در نهایت دسترسی بیماران به درمان‌های نو را تعیین کند. به همین دلیل، قابل‌اطمینان بودن ارزیابی‌ها و میزان توافق میان داوران اهمیت راهبردی دارد. با این حال، مطالعات پیشین نشان داده‌اند که همبستگی بین قضاوت‌های داوران اغلب محدود است و این موضوع باعث نگرانی‌هایی درباره عدالت و کارآمدی تخصیص بودجه شده است.

در این گزارش که به‌صورت registered report منتشر شده و داده‌های ۱۳۴٬۹۹۱ بررسی داوری را شامل می‌شود، نویسندگان با استفاده از مدل‌های رگرسیون خطی متقاطع (cross-classified) تلاش کردند عوامل مرتبط با اختلاف بین داوران را شناسایی کنند. در ادامه، نتایج، پیامدها و محدودیت‌های مطالعه را به زبان قابل‌فهم برای مخاطب عمومی پزشکی شرح می‌دهیم.

چه نوع مطالعه‌ای بود و داده‌ها از کجا آمده‌اند؟

این مطالعه یک تحقیق تحلیلی مشاهداتی و ثبت‌شده است که از داده‌های واقعی داوری برای چهار صندوق پژوهشی نروژی استفاده کرده است. مجموعاً ۱۳۴٬۹۹۱ بررسی داوری مربوط به مجموعه‌ای از درخواست‌ها در بازه‌های زمانی مشخص بررسی شد. تحلیل با استفاده از مدل‌های رگرسیون خطی با ساختار متقاطع انجام شد تا هم‌زمان تأثیر سطح داور، سطح درخواست و سایر عوامل را بر اختلاف بین نمره‌ها ارزیابی کند.

متغیرهای مورد بررسی شامل: شباهت جنسیتی بین داوران، تجربه و سن داوران، تخصص تخصصی در مقایسه با داوران عمومی پنل، حوزه پژوهشی، مبلغ درخواست، روش‌های بررسی (مثلاً بررسی «عمیق‌تر» و نقش‌های با مسئولیت بیشتر)، و روندهای زمانی بودند.

یافته‌های اصلی

نتایج کلیدی به‌صورت خلاصه عبارت بودند از:

• میانگین ضریب همبستگی درون‌کلاسی (ICC) بین داوران در بازهٔ ۰.۵ تا ۰.۶۵ قرار داشت که نشان‌دهنده‌ی توافق متوسط است.
• تقسیم واریانس نشان داد که فقط حدود ۳.۱٪ از اختلاف‌ها قابل نسبت دادن به گرایش‌های پایدار داوران است؛ در حالی که حدود ۲۴.۱٪ از واریانس مربوط به سطح درخواست (یعنی ویژگی‌های خاص هر درخواست) و حدود ۵۵.۲٪ در سطح باقیمانده قرار داشت که نشان‌دهندهٔ عامل‌های متنوع و احتمالاً غیرقابل‌مشاهده و تصادفی است.
• شباهت جنسیتی داوران با کمی کاهش اختلاف همراه بود (یعنی زمانی که داوران از همان جنس بودند اختلاف اندکی کمتر بود).
• فرآیندهای بررسی «عمیق‌تر» و نقش‌هایی که مسئولیت ارزیابی بیشتر داشتند نیز با کاهش جزئی اختلاف مرتبط بودند.
• برخلاف انتظار، داوران تخصصی (یعنی کسانی که به‌صورت موضوعی انتخاب شده‌اند) در برخی موارد اختلاف بیشتری نشان دادند.
• مبلغ درخواست، ترکیب سنی داوران و روندهای زمانی تأثیر محدودی داشتند.

تفسیر اثرها

نکتهٔ مهم این است که اگرچه بعضی ارتباط‌ها از نظر آماری معنادار بودند، اندازهٔ اثرها اغلب کوچک بود. این بدین معناست که تغییر یک عامل خاص (مثلاً انتخاب داوران هم‌جنس) ممکن است تنها تأثیر اندکی بر کاهش اختلاف داشته باشد و نمی‌توان انتظار اصلاح اساسی از چنین مداخلاتی داشت.

این یافته برای بیمار چه معنایی دارد؟

اگرچه این مطالعه مستقیم به سلامت بیمار نمی‌پردازد، پیامدهای غیرمستقیم و مهمی برای عرصهٔ پژوهش پزشکی و در نتیجه بیماران دارد:

• تخصیص بودجه پژوهشی بر پایهٔ داوری‌ها صورت می‌گیرد؛ بنابراین کاهش کیفیت و قابل‌اطمینان بودن این داوری‌ها می‌تواند روی این که کدام پروژه‌ها پیشرفت کنند و چه نوآوری‌هایی وارد مسیر طراحی آزمایش‌های بالینی می‌شوند اثر بگذارد.
• از آنجا که اختلاف داوران بیشتر مربوط به ابهام در خود درخواست‌هاست، بودجه‌دهندگان و متقاضیان باید به شفافیت، معیارهای روشن و ساختاردهی بهتر پروپوزال توجه کنند تا پروژه‌های با پتانسیل مشخص‌تر شناسایی شوند؛ این مسئله در نهایت می‌تواند سرعت تولید شواهد بالینی با کیفیت را تحت تأثیر قرار دهد.
• برای بیماران، این مطالعه نشانه‌ای است که نباید هر یافتهٔ پژوهشی جدید را به‌سرعت پذیرفت؛ کیفیت طراحی، تأمین مالی و شفافیت پژوهش‌ها بر اعتبار نتایج آن‌ها اثرگذار است، و اختلالاتی در فرآیند داوری می‌تواند باعث تأخیر یا جهت‌گیری در توسعهٔ درمان‌ها شود.

روش‌شناسی به اختصار — چرا نتایج قابل‌توجهند؟

نویسندگان از داده‌های واقعی و حجم بزرگی از بررسی‌ها استفاده کردند و تحلیل‌ها پیش‌ثبت شده بودند که خطر گزارش گزینشی را کاهش می‌دهد. مدل رگرسیون متقاطع این امکان را داد تا هم‌زمان اثر سطح داور و سطح درخواست را مدل کند؛ این نکته مهمی است چون بررسی‌ها معمولاً تحت تأثیر هر دو سطح هستند و ساده‌ترین مدل‌ها ممکن است این تمایز را از دست بدهند.

محدودیت‌ها و نکاتی که باید با احتیاط خواند

• قابلیت تعمیم محدود: داده‌ها از چهار صندوق پژوهشی نروژ است؛ ساختارها، فرهنگ داوری، و معیارهای انتخاب در دیگر کشورها یا در صندوق‌های بین‌المللی ممکن است تفاوت داشته باشد.
• طبیعت مشاهده‌ای: این مطالعه علیت را اثبات نمی‌کند. ارتباط‌ها می‌توانند ناشی از متغیرهای نهفته یا ساختار فرایندها باشند.
• اطلاعات ناقص دربارهٔ محتوا: تحلیل عمدتاً بر روی نمره‌ها و ویژگی‌های سطحی انجام شده و متن کامل نظرات داوری، جزئیات مذاکرات پنل یا اطلاعات کیفی ممکن است در دسترس نبوده باشد؛ بنابراین برخی منابع اختلاف که در متن بازخورد نهفته‌اند قابل‌شناسایی نبوده‌اند.
• نتایج آماری کوچک: معناداری آماری به معنای اهمیت عملی یا تغییر اساسی نیست. بسیاری از اثرها کوچک و در کاربرد واقعی محدود هستند.
• تنوع حوزه‌های پژوهشی: برخی حوزه‌ها اختلاف بیشتری نشان دادند؛ بدون بررسی دقیق‌تر هر حوزه نمی‌توان نتیجه‌گیری کلی دربارهٔ علت اختلاف‌ها کرد.
• قضاوت انسانی و عامل‌های نامشخص: بیش از نیمی از واریانس در سطح باقیمانده قرار می‌گیرد؛ این نشان می‌دهد که عوامل تصادفی یا پیچیدگی‌های فردی و موقعیتی (مثلاً برداشت متفاوت از نوآوری یا ریسک) نقش بزرگ و نامشخصی دارند.

پیامدهای عملی و پیشنهادها

با توجه به اینکه اختلاف‌ها عمدتاً ریشه در ابهام در درخواست‌ها و متغیرهای مرتبط با خودِ پروپوزال دارند، اقدامات زیر منطقی به‌نظر می‌رسند:

• استفاده از فرمت‌های ساختاریافته برای پروپوزال‌ها که اطلاعات کلیدی را به‌صورت استاندارد در اختیار داوران قرار می‌دهد.
• تعریف معیارهای ارزیابی روشن‌تر و آموزش متمرکز برای داوران دربارهٔ نحوهٔ اعمال آن معیارها.
• استفاده از روندهای ترکیبی مثل ارزیابی‌های کمی ساختاریافته همراه با بررسی‌های کیفی (مثلاً خلاصه‌های تخصصی) تا ابهام در برداشت‌ها کاهش یابد.
• بازنگری در نقش‌ها و روش‌های انتخاب داوران؛ در حالی که صرفاً انتخاب داوران تخصصی ممکن است اختلاف را کاهش ندهد یا حتی بالا ببرد، ترکیب مناسب داوران و شفافیت دربارهٔ انتظار از هر نقش می‌تواند مفید باشد.

نظر تحریریه پزشک سایت

این مطالعه یک گام ارزشمند در فهم منابع اختلاف داوران در تخصیص منابع پژوهشی است. نکتهٔ عملی اصلی برای حوزه‌های پزشکی این است که مشکلات بنیادین در فرآیندهای داوری اغلب ناشی از ابهام در درخواست‌ها و معیارهاست نه لزوماً از خلقیات داوران. بنابراین سرمایه‌گذاری بر طراحی بهتر پروپوزال‌ها، معیارهای روشن و قالب‌های ساختاریافته احتمالاً بازده بالاتری نسبت به تلاش صرف برای تغییر رفتار داوران دارد. با این حال انتظار داشته باشیم که هیچ یک از این مداخلات معجزه‌آسا باشد؛ پیشرفت‌ها تدریجی و محدود خواهند بود.

چه زمانی باید با پزشک مشورت کرد؟

اگرچه موضوع مطالعه تکنیکی و مرتبط با سیاست‌های پژوهشی است، ولی پیامدهای آن می‌تواند برای بیماران و مراجعان بهداشت و درمان مهم باشد. در موارد زیر با پزشک یا مسئولین تحقیقاتی مشورت کنید:

• وقتی تصمیم به شرکت در یک آزمایش بالینی دارید و نگرانی دربارهٔ کیفیت یا شفافیت پژوهش وجود دارد؛ دربارهٔ شواهد، منبع تأمین مالی و طراحی مطالعه پرس‌وجو کنید.
• اگر درمان یا روش جدیدی بر اساس یک مطالعهٔ واحد معرفی شده و جایگزین‌های موجود را کنار می‌زند؛ پیش از تغییر درمان با پزشک دربارهٔ تکرارپذیری و کیفیت شواهد مشورت کنید.
• در صورتی که می‌خواهید به‌عنوان داور یا متقاضی به فرایندهای تحقیقاتی وارد شوید و دربارهٔ نحوهٔ ارزیابی یا ریسک‌های مالی و اخلاقی مطمئن نیستید.
• هرگاه نگرانی دربارهٔ تضاد منافع یا شفافیت در یک مطالعه بالینی دارید؛ پزشک یا مدیر پژوهشی می‌تواند کمک کند تا ریسک‌ها و شواهد به‌صورت دقیق‌تری بررسی شوند.

پرسش‌های رایج

۱. آیا اختلاف بین داوران به معنای بی‌اعتباری تحقیقات است؟

خیر. اختلاف داوران به‌تنهایی نشان‌دهندهٔ بی‌اعتباری نیست؛ بخشی از اختلاف‌ها طبیعی است و می‌تواند ناشی از برداشت‌های متفاوت از نوآوری یا ریسک باشد. با این حال، اختلاف بالا ممکن است نشان‌دهندهٔ ابهام در پروپوزال یا معیارهای نامشخص باشد که باید اصلاح شود.

۲. آیا تغییر داوران می‌تواند اختلاف را کاهش دهد؟

بر اساس این مطالعه، گرایش‌های پایدار داوران تنها سهم کمی در اختلاف کلی دارند؛ بنابراین تغییر داوران به‌تنهایی به‌احتمال زیاد اثر بزرگی ایجاد نمی‌کند مگر همراه با تغییرات در فرمت ارزیابی و شفافیت معیارها.

۳. آیا تخصصی‌تر کردن داوران مفید است؟

نتایج پیچیده‌اند: در برخی موارد داوران تخصصی اختلاف بیشتری نشان دادند. این ممکن است به دلیل برداشت‌های متفاوت تخصصی یا حساسیت به جزئیات حوزه باشد. ترکیب متوازن داوران تخصصی و داوران با دید کلان ممکن است مفیدتر باشد.

۴. آیا این نتایج دربارهٔ داوری مقالات علمی نیز صادق است؟

گرچه برخی اصول کلی (مانند نقش ابهام و ساختار در کاهش اختلاف) احتمالاً مشترک‌اند، داده‌های این مطالعه مربوط به داوری درخواست‌های تأمین مالی است و نه داوری مقالات؛ بنابراین تعمیم مستقیم نیازمند احتیاط و مطالعات تکمیلی است.

۵. صندوق‌های پژوهشی چه کاری می‌توانند فوراً انجام دهند؟

صندوق‌ها می‌توانند فرمت پروپوزال‌ها را ساختاریافته‌تر کنند، معیارهای ارزیابی را واضح‌تر تعریف کنند و راهنمایی‌های آموزشی برای داوران فراهم سازند. این اقدامات احتمالاً به کاهش بخشی از اختلاف کمک می‌کند اما انتطار یک تحول کامل نادرست است.

جمع‌بندی کاربردی

این مطالعه نشان می‌دهد که اختلاف بین داوران بیشتر از آنکه ناشی از ویژگی‌های ثابت داوران باشد، به ویژگی‌های خاص درخواست‌ها و عوامل نامشخص بازمی‌گردد. در نتیجه، برای بهبود قابلیت اطمینان فرآیندهای ارزیابی پیشنهادات پژوهشی، تمرکز روی شفافیت پروپوزال‌ها، معیارهای روشن و قالب‌های ساختارمند منطقی‌تر و مؤثرتر از تلاش صرف برای تغییر رفتار داوران است. به‌هرحال، بهبودها تدریجی خواهند بود و انتظار تغییرات بزرگ یا آنی منطقی نیست. در زمینهٔ پزشکی، این پیام به معناست که کیفیت شواهد پژوهشی همچنان نیاز به پالایش ساختاری دارد و بیماران و پزشکان باید در مواجهه با شواهد جدید احتیاط و پرسشگری علمی را حفظ کنند.

منبع

Why do reviewers disagree? Evidence from four funders and 134,000 reviews — PLOS One (2026)

توجه: این مطلب تحلیل و تفسیر نتایج منتشرشده در منبع فوق است و مطالعات یا داده‌ها توسط «پزشک سایت» انجام نشده‌اند. متن جهت اطلاع‌رسانی و تفسیر علمی فراهم شده و جایگزین مشورت تخصصی در موارد درمانی یا تصمیمات بالینی نیست.

مطالب این مقاله فقط برای افزایش آگاهی عمومی است و جایگزین تشخیص یا درمان پزشکی نیست. برای اطلاعات بیشتر، صفحه سیاست پزشکی و سلب مسئولیت پزشک سایت را بخوانید.