โมเดลการคาดการณ์จะมีประโยชน์มากที่สุดเมื่อทีมคลินิกสามารถเข้าใจการคาดการณ์นั้น ท้าทายข้อมูล และตัดสินใจได้ว่าจะดำเนินการตามนั้นหรือไม่ เราได้ถาม อาวี (Avi) วิศวกรฝ่ายแมชชีนเลิร์นนิงของเราว่า จะต้องมีเงื่อนไขใดบ้างที่เป็นจริง ก่อนที่ผลลัพธ์ของโมเดลจะส่งไปถึงมือของแพทย์ผู้รักษา
เน็กซ์ เฮลท์ อินเทลลิเจนซ์
โมเดลที่จัดอันดับได้ดีก็ยังคงสามารถทำให้เข้าใจผิดได้
คะแนนการประเมินที่สูงไม่ได้ทำให้การคาดการณ์นั้นปลอดภัยเสมอไปที่จะนำไปปฏิบัติ
แบบจำลองในสาขานี้มักจะได้รับการประเมินจากความสามารถในการจัดอันดับผู้ป่วยตามความเสี่ยง แบบจำลองต่างๆ ได้รับการพิสูจน์แล้วว่าเป็นตัวพยากรณ์ที่แข็งแกร่งสำหรับความเสี่ยงของผู้ป่วยแต่ละรายในการติดเชื้อในโรงพยาบาล (Myall et al., 2022) ตัวชี้วัดการจัดอันดับ เช่น AUC-ROC บอกคุณว่าลำดับของรายการนั้นถูกต้อง อย่างไรก็ตาม ในทางปฏิบัติ ความแม่นยำสำหรับผู้ป่วยแต่ละรายอาจแตกต่างกันอย่างมีนัยสำคัญ
Avi อธิบายถึงความเสี่ยงนี้อย่างชัดเจนว่า:
"หากเราสร้างความน่าจะเป็นที่คาดการณ์ไว้ที่ 90% และเราแสดงสิ่งนั้นให้แพทย์ดู พวกเขาจะตีความตรงตัวเลยว่ามีโอกาส 90% ที่บุคคลนี้จะติดเชื้อ ซึ่งในความเป็นจริงแล้วไม่ได้เป็นเช่นนั้นเสมอไป"
ไม่มีแบบจำลองใดที่สามารถเข้าถึงทุกปัจจัยที่มีอิทธิพลต่อความเสี่ยงของผู้ป่วย ข้อมูลบางอย่างอาจไม่ถูกบันทึกไว้ในข้อมูลที่รวบรวมเป็นประจำ ในขณะที่ความแตกต่างเพียงเล็กน้อยในการสัมผัสเชื้อ ชีววิทยา หรือสถานการณ์ทางคลินิก อาจส่งผลกระทบอย่างมากซึ่งเป็นเรื่องยากโดยเนื้อแท้ที่จะสร้างแบบจำลองได้อย่างน่าเชื่อถือ
นี่คือเหตุผลที่การคาดการณ์ควรทำหน้าที่สนับสนุน แทนที่จะเข้ามาแทนที่การตัดสินใจทางคลินิก บทบาทของแบบจำลองไม่ใช่เพียงการให้คะแนนความเสี่ยง แต่เป็นการช่วยให้แพทย์เข้าใจว่าปัจจัยที่ทราบปัจจัยใดบ้างที่เป็นตัวผลักดันความเสี่ยงนั้น และสิ่งใดที่อาจมีส่วนทำให้เกิดความเสี่ยงดังกล่าว จากนั้นทีมแพทย์จะสามารถตีความข้อมูลนั้นร่วมกับข้อมูลอื่นๆ ทั้งหมดที่พวกเขารู้เกี่ยวกับผู้ป่วยเพื่อทำการตัดสินใจขั้นสุดท้าย
ทุกการคาดการณ์ควรมาพร้อมกับเหตุผลประกอบ
แพทย์มักจะถามอยู่เสมอว่าเหตุใดผู้ป่วยรายใดรายหนึ่งจึงถูกระบุ และคำถามนั้นควรได้รับคำตอบจากระบบ ไม่ใช่จากผู้ที่อ่านข้อมูลนั้น
ระบบประมวลผลข้อมูลของเราได้รับการสร้างขึ้นเพื่อส่งหลักฐานสนับสนุนไปพร้อมกับคะแนน ตัวอย่างเช่น การที่ผู้ป่วยได้สัมผัสใกล้ชิดเป็นเวลานานกับผู้ป่วยที่ทราบว่าติดเชื้อ จากนั้นแพทย์สามารถเห็นด้วย ไม่เห็นด้วย หรือค้นหาข้อมูลเพิ่มเติมได้
เรื่องนี้มีความสำคัญเนื่องจาก NEX สนับสนุนการทบทวนความถูกต้อง ไม่ได้ทำการวินิจฉัยการติดเชื้อ ยืนยันการแพร่เชื้อ หรือตัดสินใจใดๆ ด้วยตัวเอง การทำนายที่ปราศจากเหตุผลประกอบจะสร้างแรงกดดันให้กับทีม IPC โดยไม่มีแนวทางในการดำเนินการ ซึ่งเป็นสิ่งตรงกันข้ามกับจุดประสงค์ของเรา
เมื่อโมเดลทำให้เราประหลาดใจ เราจะหยุดและมองดู
ในบางครั้ง การคาดการณ์ก็อาจดูไม่สมเหตุสมผล ซึ่งเกิดขึ้นได้ยาก และเมื่อเกิดขึ้น ทีมงานจะทำการตรวจสอบจนกว่าจะสามารถอธิบายได้ว่าโมเดลได้ผลลัพธ์นั้นมาได้อย่างไร
ส่วนใหญ่แล้ว คำตอบมักจะเป็นกรณีขอบเขต (Edge Case) เช่น ผู้ป่วยที่ไม่มีสัญญาณบ่งชี้ที่มองเห็นได้แต่กลับติดเชื้อ สาเหตุมักเกิดจากบางสิ่งบางอย่างที่เกิดขึ้นในโรงพยาบาลซึ่งข้อมูลของเราไม่ได้บันทึกไว้ เช่น การเข้าเยี่ยมของสมาชิกในครอบครัว หรือการแพร่เชื้อที่เกี่ยวข้องกับการเคลื่อนย้ายของเจ้าหน้าที่ระหว่างผู้ป่วย
เราออกแบบระบบเพื่อป้องกันกรณีที่เราสามารถตรวจจับได้ และเราจะมีความชัดเจนเกี่ยวกับกรณีที่เราไม่สามารถควบคุมได้
"เราต้องมีคำเตือนเอาไว้ว่าในบางครั้งโมเดลอาจเกิดข้อผิดพลาดได้ ซึ่งมันเป็นข้อแลกเปลี่ยนที่เลี่ยงไม่ได้ที่มาพร้อมกัน"
การแจ้งให้ทราบเช่นนี้ถือเป็นมาตรการความปลอดภัยในตัวเอง ทีมงานที่ได้รับแจ้งว่าโมเดลมีโอกาสผิดพลาดได้จะอ่านผลลัพธ์ด้วยความระมัดระวังอย่างเหมาะสม และใช้การตัดสินใจทางคลินิกในจุดที่ควรจะเป็น
ความรู้ทางคลินิกควรเป็นส่วนหนึ่งของกระบวนการทำงาน
คำถามด้านความปลอดภัยบางข้อก็ไม่ใช่คำถามทางวิศวกรรม
การสัมผัสกับยาปฏิชีวนะส่งผลต่อความไวของผู้ป่วยต่อการติดเชื้อ และเอวีก็ชัดเจนว่าเขาไม่ใช่คนที่จะตัดสินว่ากลุ่มยาใดที่มีความเสี่ยงนั้น ชาง ซึ่งเป็นผู้อำนวยการฝ่ายการแพทย์ของเรา และพอล ซึ่งเป็นหัวหน้าฝ่าย IPC และพันธมิตรโรงพยาบาลของเราที่โรงพยาบาลพระมงกุฎเกล้าในประเทศไทย ได้ระบุกลุ่มยาที่เกี่ยวข้อง เมื่อนำกลุ่มยาเหล่านั้นมาจำลองในกระบวนการวิเคราะห์การระบาด ประสิทธิภาพการคาดการณ์ก็ดีขึ้น
นี่คือความเชื่อมโยงที่ดึงมาจากความเชี่ยวชาญทางคลินิก ไม่ใช่การค้นพบเชิงสาเหตุของเราเอง และมันมีความน่าเชื่อถือยิ่งขึ้นเมื่อมาจากผู้ที่มีคุณสมบัติเหมาะสมที่จะกล่าวถึงเรื่องนี้
งานด้านความปลอดภัยส่วนใหญ่คือการบำรุงรักษา
เมื่อ Avi เข้าร่วมงานกับ NEX ในช่วงแรก เขาใช้เวลาประมาณ 90% ไปกับการสร้างระบบ และ 10% ไปกับการดูแลรักษาระบบเดิมให้ทำงานได้ แต่ในปัจจุบัน สัดส่วนนั้นได้กลับกันแล้ว
งานของเขาประมาณ 80% คือการทำความสะอาดข้อมูล (data cleaning) ข้อมูลด้านการดูแลสุขภาพนั้นมีความยุ่งเหยิง ทั้งค่าที่ขาดหายไป บางค่าที่ผิดพลาด และบางค่าที่คาดไม่ถึงซึ่งต้องทำความเข้าใจก่อนที่จะจัดการได้ ส่วนการสร้างแบบจำลอง (modelling) ซึ่งเป็นส่วนที่เขาชอบที่สุด คิดเป็นสัดส่วนที่เหลืออีก 20%
การอภิปรายร่วมกันของทีมในแต่ละสัปดาห์ยังคงช่วยปรับปรุงกระบวนการทำงาน (pipelines) ให้ดีขึ้น และทุกคนจะถูกถามว่าเราสามารถทำอะไรให้ดีขึ้นได้บ้าง งานที่เงียบสงบและทำซ้ำๆ นั้นเป็นจุดเริ่มต้นของความน่าเชื่อถืออย่างแท้จริง และความน่าเชื่อถือคือสิ่งที่ทีม IPC ให้ความไว้วางใจเมื่อต้องดำเนินการตามข้อมูลคาดการณ์ในเวลาเจ็ดโมงเช้า
