ประสิทธิภาพในการคาดการณ์จะมีประโยชน์ก็ต่อเมื่อทีมป้องกันและควบคุมการติดเชื้อ (IPC) สามารถเข้าใจคำคาดการณ์ ท้าทาย และนำไปปฏิบัติได้จริงเท่านั้น เราได้ถาม อภิเชก อุปัธยา (Avishek Upadhya) วิศวกรแมชชีนเลิร์นนิงของเราว่า อะไรคือสิ่งที่จะต้องเป็นจริงก่อนที่ผลลัพธ์จากโมเดลจะส่งไปถึงมือของแพทย์ผู้เชี่ยวชาญ
เน็กซ์ เฮลท์ อินเทลลิเจนซ์
โมเดลที่จัดอันดับได้ดีก็ยังคงสามารถทำให้เข้าใจผิดได้
คะแนนการประเมินที่สูงไม่ได้หมายความว่าจะทำให้การทำนายนั้นปลอดภัยในการแสดงผล
แบบจำลองในสาขานี้มักจะได้รับการประเมินจากความสามารถในการจัดอันดับผู้ป่วยตามระดับความเสี่ยง เครือข่ายการสัมผัสของผู้ป่วยที่มีการเปลี่ยนแปลงตลอดเวลาได้รับการพิสูจน์แล้วว่าเป็นตัวทำนายที่แข็งแกร่งสำหรับความเสี่ยงของผู้ป่วยแต่ละรายในการติดเชื้อ COVID-19 ในโรงพยาบาล (Myall et al., 2022) ตัวชี้วัดการจัดอันดับ เช่น AUROC จะบอกคุณว่าลำดับของรายการนั้นถูกต้อง แต่ไม่ได้บอกอะไรเลยว่าตัวเลขที่แนบมากับผู้ป่วยแต่ละรายนั้นมีความหมายตามที่ปรากฏจริงหรือไม่
Avi ได้กล่าวถึงความเสี่ยงนี้ไว้อย่างชัดเจนว่า:
"หากเราสร้างความน่าจะเป็นที่คาดการณ์ไว้ที่ 90% และเราแสดงค่านั้นให้แพทย์ดู พวกเขาจะอ่านค่านั้นตรงตัวว่าเป็นโอกาส 90% ที่บุคคลนี้จะติดเชื้อ ซึ่งในความเป็นจริงแล้วไม่ได้เป็นเช่นนั้นเสมอไป"
ความชุกของการติดเชื้อในชุดข้อมูลของโรงพยาบาลนั้นต่ำ ซึ่งส่งผลให้ความน่าจะเป็นที่คาดการณ์ไว้หลุดออกจากการปรับเทียบ (calibration) อย่างหลีกเลี่ยงไม่ได้ ตัวเลขที่ไม่ได้รับการปรับเทียบไม่ใช่แค่ความไม่สะดวกในการสร้างแบบจำลอง แต่เป็นข้อกล่าวอ้างที่แพทย์จะนำไปใช้ในการตัดสินใจรักษา ดังนั้นเราจึงถือว่าการปรับเทียบเป็นเงื่อนไขสำคัญก่อนที่จะแสดงตัวเลขใดๆ
ทุกการคาดการณ์ควรมาพร้อมกับเหตุผลประกอบ
แพทย์มักจะถามอยู่เสมอว่าเหตุใดผู้ป่วยรายใดรายหนึ่งจึงถูกตั้งค่าสถานะเตือน และคำถามนั้นสมควรได้รับคำตอบจากระบบมากกว่าที่จะเป็นผู้ที่กำลังอ่านข้อความนั้น
กระบวนการทำงานถูกสร้างขึ้นเพื่อส่งผ่านหลักฐานสนับสนุนร่วมกับคะแนน ตัวอย่างเช่น การที่ผู้ป่วยมีการสัมผัสใกล้ชิดเป็นเวลานานกับผู้ป่วยที่ทราบว่าติดเชื้อ จากนั้นแพทย์สามารถเห็นด้วย ไม่เห็นด้วย หรือตรวจสอบเพิ่มเติมได้
เรื่องนี้มีความสำคัญเนื่องจาก NEX สนับสนุนการทบทวนความถูกต้อง ตัวระบบไม่ได้วินิจฉัยการติดเชื้อ ยืนยันการแพร่เชื้อ หรือตัดสินใจใดๆ ด้วยตัวเอง การคาดการณ์ที่ไม่มีเหตุผลประกอบจะสร้างแรงกดดันให้กับทีม IPC โดยไม่มีแนวทางในการปฏิบัติ ซึ่งเป็นสิ่งที่ตรงกันข้ามกับเป้าหมายการทำงานของเรา
เมื่อโมเดลทำให้เราประหลาดใจ เราจะหยุดและมองดู
ในบางครั้ง การคาดการณ์ก็อาจดูไม่สมเหตุสมผล ซึ่งเกิดขึ้นได้ยาก และเมื่อเกิดขึ้น ทีมงานจะทำการตรวจสอบจนกว่าจะสามารถอธิบายได้ว่าโมเดลได้ผลลัพธ์นั้นมาได้อย่างไร
ส่วนใหญ่แล้ว คำตอบมักจะเป็นกรณีขอบเขต (Edge Case) เช่น ผู้ป่วยที่ไม่มีสัญญาณบ่งชี้ที่มองเห็นได้แต่กลับติดเชื้อ สาเหตุมักเกิดจากบางสิ่งบางอย่างที่เกิดขึ้นในโรงพยาบาลซึ่งข้อมูลของเราไม่ได้บันทึกไว้ เช่น การเข้าเยี่ยมของสมาชิกในครอบครัว หรือการแพร่เชื้อที่เกี่ยวข้องกับการเคลื่อนย้ายของเจ้าหน้าที่ระหว่างผู้ป่วย
เราออกแบบระบบเพื่อป้องกันกรณีที่เราสามารถตรวจจับได้ และเราจะมีความชัดเจนเกี่ยวกับกรณีที่เราไม่สามารถควบคุมได้
"เราต้องมีคำเตือนเอาไว้ว่าในบางครั้งโมเดลอาจเกิดข้อผิดพลาดได้ ซึ่งมันเป็นข้อแลกเปลี่ยนที่เลี่ยงไม่ได้ที่มาพร้อมกัน"
การแจ้งให้ทราบเช่นนี้ถือเป็นมาตรการความปลอดภัยในตัวเอง ทีมงานที่ได้รับแจ้งว่าโมเดลมีโอกาสผิดพลาดได้จะอ่านผลลัพธ์ด้วยความระมัดระวังอย่างเหมาะสม และใช้การตัดสินใจทางคลินิกในจุดที่ควรจะเป็น
ความรู้ทางคลินิกควรเป็นส่วนหนึ่งของกระบวนการทำงาน
คำถามด้านความปลอดภัยบางข้อก็ไม่ใช่คำถามทางวิศวกรรม
การสัมผัสกับยาปฏิชีวนะส่งผลต่อความไวของผู้ป่วยต่อการติดเชื้อ และเอวีก็ชัดเจนว่าเขาไม่ใช่คนที่จะตัดสินว่ากลุ่มยาใดที่มีความเสี่ยงนั้น ชาง ซึ่งเป็นผู้อำนวยการฝ่ายการแพทย์ของเรา และพอล ซึ่งเป็นหัวหน้าฝ่าย IPC และพันธมิตรโรงพยาบาลของเราที่โรงพยาบาลพระมงกุฎเกล้าในประเทศไทย ได้ระบุกลุ่มยาที่เกี่ยวข้อง เมื่อนำกลุ่มยาเหล่านั้นมาจำลองในกระบวนการวิเคราะห์การระบาด ประสิทธิภาพการคาดการณ์ก็ดีขึ้น
นี่คือความเชื่อมโยงที่ดึงมาจากความเชี่ยวชาญทางคลินิก ไม่ใช่การค้นพบเชิงสาเหตุของเราเอง และมันมีความน่าเชื่อถือยิ่งขึ้นเมื่อมาจากผู้ที่มีคุณสมบัติเหมาะสมที่จะกล่าวถึงเรื่องนี้
งานด้านความปลอดภัยส่วนใหญ่คือการบำรุงรักษา
เมื่อ Avi เข้าร่วมงานกับ NEX ในช่วงแรก เขาใช้เวลาประมาณ 90% ไปกับการสร้างระบบ และ 10% ไปกับการดูแลรักษาระบบเดิมให้ทำงานได้ แต่ในปัจจุบัน สัดส่วนนั้นได้กลับกันแล้ว
งานของเขาประมาณ 80% คือการทำความสะอาดข้อมูล (data cleaning) ข้อมูลด้านการดูแลสุขภาพนั้นมีความยุ่งเหยิง ทั้งค่าที่ขาดหายไป บางค่าที่ผิดพลาด และบางค่าที่คาดไม่ถึงซึ่งต้องทำความเข้าใจก่อนที่จะจัดการได้ ส่วนการสร้างแบบจำลอง (modelling) ซึ่งเป็นส่วนที่เขาชอบที่สุด คิดเป็นสัดส่วนที่เหลืออีก 20%
การอภิปรายร่วมกันของทีมในแต่ละสัปดาห์ยังคงช่วยปรับปรุงกระบวนการทำงาน (pipelines) ให้ดีขึ้น และทุกคนจะถูกถามว่าเราสามารถทำอะไรให้ดีขึ้นได้บ้าง งานที่เงียบสงบและทำซ้ำๆ นั้นเป็นจุดเริ่มต้นของความน่าเชื่อถืออย่างแท้จริง และความน่าเชื่อถือคือสิ่งที่ทีม IPC ให้ความไว้วางใจเมื่อต้องดำเนินการตามข้อมูลคาดการณ์ในเวลาเจ็ดโมงเช้า
