sejawat indonesia

Hasil Riset: Profesional Kesehatan Cenderung Mengikuti Saran dari AI dalam Diagnosis

Pengembangan sistem diagnostik kecerdasan buatan (AI) untuk perawatan kesehatan umum dan radiologi telah berkembang pesat dalam beberapa tahun terakhir, dengan sistem yang menawarkan potensi untuk meningkatkan perawatan pasien dengan membantu penyedia layanan yang kewalahan.

Hingga saat ini, terdapat 720 perangkat AI (termasuk yang berbasis Machine Learning) radiologi telah disetujui oleh Badan Pengawas Obat dan Makanan AS (FDA), jumlah yang pasti akan meningkat terus setiap tahunnya. 

Meskipun demikian, ada jarak antara bukti konsep dan integrasi nyata AI ke dalam praktik klinis. Untuk menjembatani kesenjangan tersebut, menumbuhkan kepercayaan yang tepat dan sesuai pada saran AI adalah yang terpenting. Sistem AI dengan akurasi tinggi telah menunjukkan kemampuannya untuk meningkatkan kinerja diagnostik dokter dan hasil pasien dalam pengaturan prospektif di dunia nyata. Namun, sebaliknya saran AI yang keliru dapat menurunkan kinerja diagnostik.

Terdapat dua kategori penjelasan yang dapat diberikan oleh perangkat AI untuk pencitraan medis, yaitu: penjelasan lokal, yang menjelaskan bagaimana prediksi dibuat berdasarkan input tertentu (misalnya, menyoroti fitur gambar informatif pada radiografi tertentu), dan penjelasan global yang menjelaskan bagaimana perangkat AI berfungsi secara umum (misalnya, menjelaskan bahwa kriteria keputusan alat AI didasarkan pada perbandingan dengan gambar prototipe dari setiap kelas diagnostik). Dalam penjelasan lokal, AI menyorot bagian gambar yang dianggap paling penting. Sedangkan, untuk penjelasan global, AI memberikan gambar serupa dari kasus sebelumnya untuk menunjukkan bagaimana AI sampai pada diagnosisnya.

Fakta lainnya, ahli radiologi dan dokter lainnya, saat membuat keputusan diagnostik,  cenderung terlalu mengandalkan kecerdasan buatan (AI) ketika menunjukkan area tertentu dalam pencitraan sinar-X, satu kesimpulan dari sebuah penelitian yang diterbitkan kemarin (19/11/2024) di Radiology.

Studi yang melibatkan 220 peserta yang terdiri dari ahli radiologi dan dokter spesialis penyakit dalam/darurat tersebut, menguji hipotesis bahwa akurasi saran AI (benar atau salah), jenis penjelasan AI (lokal atau global), dan tingkat kepercayaan terhadap AI memengaruhi kinerja diagnostik dokter (akurasi dan efisiensi diagnostik), kepercayaan dokter terhadap diagnosis mereka, dan persepsi dokter tentang kegunaan AI dalam diagnostik radiografi dada.

Setiap dokter ditugaskan untuk mengevaluasi delapan kasus rontgen dada bersamaan dengan saran dari asisten AI yang disimulasikan dengan kinerja diagnostik yang sebanding dengan para ahli di bidang tersebut.

Untuk setiap kasus, peserta diberikan riwayat klinis pasien, saran AI, dan gambar sinar-X. Para peserta yang meninjau hasil pencitraan dapat menerima, mengubah, atau menolak saran AI. Mereka juga diminta untuk melaporkan tingkat keyakinan mereka terhadap temuan, kesan, serta memberi peringkat manfaat dari saran perangkat AI.


BACA JUGA:


Dengan menggunakan metode model efek campuran(mixed-effects models), hasil penelitian menunjukkan bahwa peninjau lebih cenderung menyelaraskan keputusan diagnostik mereka dengan saran AI dan akan menjalani periode pertimbangan yang lebih singkat ketika AI memberikan penjelasan lokal.

Dibandingkan dengan penjelasan AI global, penjelasan lokal menghasilkan akurasi diagnostik dokter yang lebih baik jika saran AI benar. Penjelasan lokal juga meningkatkan efisiensi diagnostik secara keseluruhan dengan mengurangi waktu yang dihabiskan untuk mempertimbangkan saran AI. Ketika saran AI benar, akurasi diagnostik rata-rata di antara para peninjau adalah 92,8% dengan penjelasan lokal dan 85,3% dengan penjelasan global. Ketika saran AI keliru, akurasi dokter adalah 23,6% dengan penjelasan lokal dan 26,1% dengan penjelasan global.

Ketika diberikan penjelasan lokal, baik ahli radiologi maupun non-ahli radiologi dalam penelitian tersebut cenderung lebih cepat memercayai diagnosis AI, terlepas dari keakuratan saran AI tersebut.

Contoh radiografi dada (CXR) dari penjelasan kecerdasan buatan (AI) lokal (berbasis fitur) (A, C); dan penjelasan AI global (berbasis prototipe) (B, D) dari alat simulasi AI, ChestAId, dipresentasikan kepada dokter di penelitian. Dalam semua contoh, kesan diagnostik yang benar untuk kasus radiografi yang dimaksud adalah “pneumonia lobus kanan atas,” dan saran AI yang sesuai juga benar. Informasi klinis pasien yang terkait dengan rontgen dada ini adalah “seorang pria berusia 63 tahun datang ke Unit Gawat Darurat karena batuk.” Untuk mensimulasikan sistem AI yang realistis dengan lebih baik, spesifisitas penjelasan diubah menurut tingkat kepercayaan AI yang tinggi (yaitu 80%−94%) atau rendah (yaitu 65%–79%): kotak pembatas dalam penjelasan AI lokal dengan tingkat keyakinan tinggi (contoh di A) lebih tepat dibandingkan dengan yang berkeyakinan rendah (contoh di C); Penjelasan AI global berkeyakinan tinggi (contoh di B) memiliki lebih banyak gambar contoh kasus umum dibandingkan penjelasan dengan tingkat keyakinan rendah (contoh di D), sehingga gambar contohnya lebih halus.

Hasil tersebut menunjukkan bahwa kepercayaan pada AI ini bisa menjadi pedang bermata dua karena berisiko menimbulkan ketergantungan yang berlebihan atau bias yang timbul dari hadirnya otomatisasi dalam perawatan kesehatan, khususnya di bidang radiologi.

"Ketika kita terlalu bergantung pada apa pun yang dikatakan komputer, itu menjadi masalah, karena AI tidak selalu benar. Saya pikir sebagai ahli radiologi yang menggunakan AI, kita perlu menyadari jebakan ini dan tetap memperhatikan pola diagnostik dan pelatihan kita."

Para pengembang sistem AI harus mempertimbangkan dengan cermat bagaimana berbagai bentuk penjelasan AI dapat memengaruhi ketergantungan pada saran AI. Kolaborasi antara industri dan peneliti perawatan kesehatan adalah kunci untuk mendapatkan manfaat menyeluruh perawatan radiologi dengan teknologi AI di masa mendatang.


Referensi:

  • Artificial Intelligence and Machine Learning (AI/ML)-Enabled Medical Devices, FDA, August 7, 2024 update.
  • Care to Explain? AI Explanation Types Differentially Impact Chest Radiograph Diagnostic Performance and Physician Trust in AI. Drew Prinster, Amama Mahmood, Suchi Saria, Jean Jeudy, Cheng Ting Lin, Paul H. Yi, Chien-Ming Huang, Linda Moy, and Shannyn Wolfe Radiology 2024 313:2

 

Tags :
Artikel sebelumnya5 Vitamin Terbaik Penghilang Stres
Artikel selanjutnyaSebuah Paradoks pada Parkinson: Makin Tinggi Dopamin, Makin Tinggi Tingkat Tremor

Event Mendatang

Komentar (0)
Komentar

Log in untuk komentar