Di saat berbagai alat medis yang menggabungkan kecerdasan buatan (AI) dengan cepat masuk ke dalam praktik klinis, mekanisme untuk memastikan keamanan dan efektivitasnya masih belum berkembang. Misalnya, hanya ada sedikit panduan untuk organisasi perawatan kesehatan (Healthcare Organization) dan dokter saat mereka menavigasi kompleksitas penerapan AI ke dalam perawatan rutin. 

Untuk memastikan bahwa mengintegrasikan sistem yang didukung AI ke dalam perawatan kesehatan mengubah pengambilan keputusan klinis dan meningkatkan hasil pasien, risiko AI yang diketahui dan tidak diketahui harus dikurangi. Aplikasi AI berbasis pembelajaran mesin generasi awal telah menunjukkan penyimpangan model, kesalahan algoritmik, bias yang tidak diinginkan, dan overfitting, yang menyebabkan penurunan akurasi, kesalahan klasifikasi atau prediksi. Hal-hal tersebut dapat berujung AI mengalami "halusinasi" yang mengarah pada informasi palsu yang salah secara terang-terangan atau sulit dideteksi dan dapat membahayakan pasien.

Dari pertimbangan tersebut, satu panduan telah disusun dan direkomendasikan untuk memastikan keamanan integrasi AI ke Fasilitas Pelayanan Kesehatan. Panduan tersebut telah diterbitkan di Journal of the American Medical Association, disusun dengan mempertimbangkan pendapat ahli, review literatur, dan pengalaman penggunaan teknologi informasi di bidang kesehatan serta pengukuran keamanannya. 

Rekomendasi tersebut berisi berbagai poin yang dapat ditindaklanjuti dan bersifat pragmatis yang harus diikuti sebelum, selama, dan setelah implementasi AI.

Rekomendasi sebelum implementasi

Memastikan Kualitas Kinerja AI

Organisasi Pelayanan Kesehatan harus melakukan atau menunggu evaluasi klinis yang dipublikasikan di jurnal medis berkualitas tinggi (misalnya jurnal yang ada dalam daftar berikut: https://jmla.mlanet.org/ojs/jmla/article/view/1631) sebelum mengimplementasikan sistem yang mendukung AI ke dalam perawatan rutin. 

Meskipun publikasi yang peer-reviewed tidak menjamin keamanan atau efektivitas intervensi klinis atau administratif apa pun, publikasi tersebut tetap dapat memberikan penilaian eksternal, independen, dan tidak bias terhadap pengembangan, pengujian, implementasi, atau penggunaan sistem, alat, atau intervensi yang mendukung AI. 

Di sisi lain, meskipun sistem generasi baru AI ini kian matang, semua organisasi atau fasilitas pelayanan kesehatan direkomendasikan melakukan pengujian dan pemantauan secara nyata yang independen dengan data lokal untuk meminimalkan risiko terhadap keselamatan pasien. 

Penilaian berulang harus menyertai pengujian berbasis risiko untuk memastikan bahwa aplikasi yang mendukung AI bermanfaat bagi pasien dan dokter, berkelanjutan secara finansial selama siklus hidupnya, dan memenuhi prinsip-prinsip utama etika kedokteran.

Semua organisasi pelayanan kesehatan harus membuat komite tata kelola dan keamanan AI yang baru atau menambahkan pakar AI, seperti data scientist, informatika, pembelajaran mesin, tenaga operasional AI, Human factors expert, dan pakar klinis untuk komite pengawasan EHR multidisiplin atau dukungan keputusan klinis yang sudah ada. 

Orang-orang tersebut, sebagai suatu kelompok, harus mampu memahami dan mengevaluasi kinerja sistem AI dan membuat struktur tata kelola untuk menangani keamanannya. Anggota komite harus bertemu secara berkala untuk meninjau permintaan aplikasi AI baru, mempertimbangkan bukti keamanan dan efektivitas sebelum penerapan, dan membuat proses untuk secara proaktif memantau kinerja aplikasi yang mendukung AI yang akan mereka gunakan.

Melibatkan Dokter dan Pasien

Sebelum Organisasi Pelayanan Kesehatan menggunakan sistem dengan dukungan AI untuk perawatan pasien (misalnya, menanggapi pesan pasien atau membuat diagnosis banding, rencana perawatan, atau catatan yang menjelaskan temuan dari kunjungan pasien), mereka harus membuat kebijakan dan prosedur untuk memastikan bahwa pasien dan dokter menyadari, jika memungkinkan, bahwa sistem tersebut sedang digunakan untuk pengambilan keputusan klinis dan administratif.

BACA JUGA:

• Hasil Riset: Profesional Kesehatan Cenderung Mengikuti Saran dari AI dalam Diagnosis
• Benarkah AI Dapat Mengurangi Burnout Dokter?
• 3 Faktor yang Memengaruhi Cara Pasien Memilih Praktik Layanan Kesehatan

Rekomendasi selama dan setelah implementasi

Merekam dan Memantau Kinerja AI

Komite AI harus memelihara inventaris sistem yang dikerahkan secara klinis, yang didukung AI dengan pelacakan informasi yang komprehensif. Item yang dilacak harus mencakup tanggal pembuatan, versi terkini, personel yang bertanggung jawab, tanggal terakhir ditinjau, pengguna yang berwenang, tujuan yang berwenang, sumber data yang digunakan untuk membuat atau melatih sistem AI, dan sumber eksternal untuk validasi, verifikasi, dan perbandingan kinerja. 

Organisasi pelayanan kesehatan harus memelihara dan meninjau secara berkala log transaksi penggunaan sistem AI (mirip dengan log audit EHR) yang mencakup versi AI yang digunakan, tanggal/waktu penggunaan sistem AI, ID pasien, ID pengguna klinis yang bertanggung jawab, data masukan yang digunakan oleh sistem AI, dan rekomendasi atau keluaran AI. 

Organisasi pelayanan kesehatan harus mengembangkan proses internal untuk mengevaluasi kinerja sistem yang mendukung AI pada data lokal sebelum penggunaan klinis rutin dan menilai implementasi secara berkala untuk memeriksa penyimpangan, bias, atau penurunan. Komite harus mengawasi pengujian aplikasi AI yang sedang berlangsung untuk memastikan kinerja dan penggunaan yang aman dari program-program tersebut.

Melibatkan dokter dan pasien

Organisasi pelayanan kesehatan harus membuat program pelatihan berkualitas tinggi bagi dokter yang tertarik menggunakan sistem AI, yang mencakup membangun kesadaran akan risiko yang diketahui dan potensial yang berpotensi muncul akibat penggunaan AI. Pelatihan awal dan keterlibatan dokter selanjutnya harus mencakup proses persetujuan formal, lengkap dengan tanda tangan, untuk memastikan bahwa dokter memahami risiko dan manfaat penggunaan alat AI sebelum akses mereka diaktifkan. 

Lebih jauh, langkah-langkah tertentu harus diambil untuk memastikan bahwa pasien memahami kapan dan di mana sistem yang mendukung AI dikembangkan, bagaimana sistem tersebut dapat digunakan, dan peran dokter dalam meninjau keluaran sistem AI sebelum memberikan persetujuan mereka. Rekomendasi yang dihasilkan AI harus ditinjau dan disetujui oleh seseorang, yang dapat bertanggung jawab atas rekomendasi tersebut sebelum dikirimkan kepada pasien.

Organisasi pelayanan kesehatan harus mengembangkan proses yang jelas bagi pasien dan dokter untuk melaporkan masalah keselamatan terkait AI dan menerapkan proses multidisiplin yang ketat untuk menganalisis masalah ini dan mengurangi risiko. Organisasi juga harus berpartisipasi dalam sistem pengawasan pascapemasaran nasional yang menggabungkan data keselamatan yang telah dideidentifikasi (proses menghilangkan/menyembunyikan informasi pribadi) untuk analisis dan pelaporan. 

Hal tersebut mengharuskan organisasi untuk melaporkan sebagian informasi yang dideidentifikasi dan distandardisasi ke repositori nasional, seperti Jaringan Basis Data Keselamatan Pasien, yang menjelaskan sifat sosioteknis dari masalah keselamatan, termasuk detail teknis dan nonteknis tentang kejadian tersebut, sistem AI yang terlibat, faktor yang berkontribusi, dan dampak pada perawatan pasien atau organisasi pelayanan kesehatan.

Mengantisipasi dan memitigasi risiko setelah implementasi

Organisasi pelayanan kesehatan harus memberikan instruksi tertulis yang jelas dan wewenang untuk memungkinkan personel yang berwenang menonaktifkan, menghentikan, atau mematikan sistem yang mendukung AI 24 jam sehari, 7 hari seminggu, jika terjadi kerusakan yang mendesak. Mirip dengan persiapan organisasi untuk periode waktu henti EHR, organisasi harus menetapkan kebijakan dan prosedur untuk mengelola proses klinis dan administratif yang bergantung pada otomatisasi AI saat AI tidak tersedia. 

Terakhir, organisasi pelayanan kesehatan harus secara teratur menilai bagaimana sistem AI mereka memengaruhi hasil pasien, alur kerja dokter, dan kualitas seluruh sistem. Jika sistem AI tidak memenuhi tujuan pra-implementasi, model AI harus direvisi, atau seluruh sistem harus dinonaktifkan jika perbaikan tidak memungkinkan.

Kesimpulan

AI didefinisikan sebagai "sistem berbasis mesin yang dapat, untuk serangkaian tujuan yang ditentukan manusia, membuat prediksi, rekomendasi, atau keputusan yang memengaruhi lingkungan nyata atau virtual. Sistem AI menggunakan input berbasis mesin dan manusia untuk memahami lingkungan nyata dan virtual; mengabstraksikan persepsi tersebut ke dalam model melalui analisis secara otomatis; dan menggunakan inferensi model untuk merumuskan opsi untuk informasi atau tindakan." 

Dalam banyak kasus, sistem AI ini bergantung pada data dari atau dimasukkan ke dalam EHR yang ada. Pengembang aplikasi berkemampuan AI, vendor EHR, dan Organisasi yang menggunakan sistem berkemampuan AI atau EHR dengan fitur atau fungsi AI yang disempurnakan, berbagi tanggung jawab (berdasarkan kemampuan dan sumber daya yang tersedia) untuk memastikan keamanan AI. 

Tanggung jawab tersebut mencakup tata kelola klinis, teknis, dan administratif yang tepat, kebijakan, prosedur manajemen risiko, orang, dan teknologi untuk memastikan bahwa AI dipantau dan penggunaannya aman, terjamin, efektif, pribadi, etis, dan adil .

Referensi:

Sittig DF, Singh H. Recommendations to Ensure Safety of AI in Real-World Clinical Care. JAMA. Published online November 27, 2024. doi:10.1001/jama.2024.24598