مطالعه: تعداد کمی کارآزمایی بالینی تصادفی شده برای ابزارهای یادگیری ماشینی مراقبت های بهداشتی انجام شده است

مروری بر مطالعات منتشر شده در شبکه JAMA باز است تعداد کمی کارآزمایی بالینی تصادفی برای الگوریتم‌های یادگیری ماشین پزشکی پیدا کردند و محققان در بسیاری از کارآزمایی‌های منتشر شده که تجزیه و تحلیل کردند، به مشکلات کیفیت اشاره کردند.

این بررسی شامل 41 RCT از مداخلات یادگیری ماشینی بود. این نشان داد که 39٪ فقط در سال گذشته منتشر شده است و بیش از نیمی در سایت های منفرد انجام شده است. 15 آزمایش در ایالات متحده و 13 آزمایش در چین انجام شد. شش مطالعه در چندین کشور انجام شد.

فقط 11 کارآزمایی داده های نژاد و قومیت را جمع آوری کردند. از این میان، میانگین 21 درصد از شرکت‌کنندگان به گروه‌های اقلیت کم‌نمایش تعلق داشتند.

هیچ یک از کارآزمایی ها به طور کامل از استانداردهای تلفیقی گزارش کارآزمایی ها – هوش مصنوعی پیروی نکردند. (CONSORT-AI)، مجموعه‌ای از دستورالعمل‌های توسعه‌یافته برای آزمایش‌های بالینی که مداخلات پزشکی شامل هوش مصنوعی را ارزیابی می‌کنند. سیزده کارآزمایی حداقل هشت مورد از 11 معیار CONSORT-AI را برآورده کردند.

محققان به برخی از دلایل رایج عدم رعایت این استانداردها اشاره کردند، از جمله ارزیابی نکردن کیفیت پایین یا داده‌های ورودی غیرقابل دسترس، تجزیه و تحلیل نکردن خطاهای عملکرد و شامل نبودن اطلاعات در مورد کد یا الگوریتم در دسترس بودن.

با استفاده از ابزار Cochrane Risk of Bias برای ارزیابی سوگیری بالقوه در RCTها، این مطالعه همچنین نشان داد که خطر کلی سوگیری در هفت کارآزمایی بالینی بالا بود.

“این بررسی سیستماتیک نشان داد که با وجود تعداد زیادی از الگوریتم های مبتنی بر یادگیری ماشین پزشکی در حال توسعه، RCT های کمی برای این فناوری ها انجام شده است. در میان RCT های منتشر شده، تنوع بالایی در پایبندی به استانداردهای گزارش و خطر سوگیری و فقدان وجود دارد. نویسندگان این مطالعه نوشتند: شرکت کنندگان از گروه های اقلیت که کمتر از آنها نمایندگی می کنند.

چرا مهم است

محققان گفتند محدودیت هایی در بررسی آنها وجود دارد. آن‌ها به بررسی‌هایی پرداختند که ابزار یادگیری ماشینی را ارزیابی می‌کردند که مستقیماً بر تصمیم‌گیری بالینی تأثیر می‌گذاشت، بنابراین تحقیقات آینده می‌توانست به طیف وسیع‌تری از مداخلات، مانند موارد مربوط به کارایی گردش کار یا طبقه‌بندی بیمار نگاه کند. این بازبینی همچنین فقط مطالعات را تا اکتبر 2021 ارزیابی کرد، و با توسعه و مطالعه مداخلات یادگیری ماشینی جدید، بررسی‌های بیشتری لازم است.

با این حال، نویسندگان این مطالعه گفتند که بررسی آنها نشان می‌دهد که RCTهای باکیفیت بیشتری از الگوریتم‌های یادگیری ماشینی مراقبت‌های بهداشتی باید انجام شود. در حالی که صدها دستگاه با قابلیت یادگیری ماشینی توسط FDA تایید شده اند، این بررسی نشان می دهد که اکثریت قریب به اتفاق RCT را شامل نمی شوند.

محققان نوشتند: «ارزیابی رسمی هر تکرار بالقوه یک فناوری جدید از طریق یک RCT (به عنوان مثال، الگوریتم یادگیری ماشینی که در یک سیستم بیمارستانی استفاده می‌شود و سپس برای همان سناریوی بالینی در یک مکان جغرافیایی دیگر استفاده می‌شود) عملی نیست.

یک RCT پایه کارآمدی یک مداخله به تعیین اینکه آیا یک ابزار جدید سودمندی و ارزش بالینی ارائه می‌دهد یا خیر کمک می‌کند.