计算机视觉技术在微创腹部外科手术中的应用

摘要/Abstract

摘要：

计算机视觉技术作为人工智能的一个重要分支，近年来在微创外科领域得到了广泛关注。在具体应用中，计算机视觉技术能够实时分析术中视频，自动识别各种手术器械，确保医生在手术过程中能够准确无误地使用工具，降低因操作失误引发的风险。同时，动作识别技术能够实时监控手术步骤，判断操作是否符合规范。这一过程不仅为外科医生提供了即时反馈，也为手术团队的协作提供了支持，提升了整体手术效率。此外，计算机视觉技术还可用于手术持续时间的预测，优化手术室安排和资源配置，而在手术过程中，具备纱布实时检测功能，能够有效识别是否有物品遗留在患者体内，及时发出预警，从而避免潜在的医疗错误。这种智能监控机制为手术的安全性提供了更为可靠的保障。当前计算机视觉技术在微创外科应用中仍面临一些挑战，例如在不同手术环境下的适应性和算法的准确性等方面仍需要进一步完善，仍存在一定的伦理和隐私问题，在政策和法规方面也尚在完善中，但该技术的引入无疑为微创腹部外科手术带来了新的机遇。本研究在梳理计算机视觉技术在微创腹部外科手术中的工具器械检测应用、解剖结构检测应用、手术操作动作识别与阶段识别、安全监控预警等方面应用实践的基础上，探讨该技术的发展现状，从不同角度展示计算机视觉技术的发展潜力，并提出问题和应用挑战，以期为计算机视觉技术在微创腹部外科手术中的应用研究提供参考。

关键词: 计算机视觉, 人工智能, 深度学习, 微创外科, 术中导航

Abstract:

Computer vision technology， as an important branch of artificial intelligence， has garnered widespread attention in the field of minimally invasive surgery in recent years. In practical applications， computer vision can analyze intraoperative videos in real time， automatically identifying various surgical instruments to ensure that surgeons use tools accurately， thereby reducing the risk of operational errors. Additionally， action recognition technology can monitor surgical steps in real time， assessing whether procedures adhere to established protocols. This process not only provides immediate feedback to surgeons but also supports collaboration among the surgical team， enhancing overall surgical efficiency. Moreover， computer vision can be utilized for predicting surgical duration， optimizing the scheduling of operating rooms and resource allocation. During surgery， real-time detection of gauze effectively identifies whether any items have been left in the patient’s body， issuing timely alerts to prevent potential medical errors. This intelligent monitoring mechanism provides a more reliable safeguard for surgical safety. Although computer vision technology still faces challenges in minimally invasive surgical applications， such as adaptability to different surgical environments and the accuracy of algorithms. Additionally， ethical and privacy concerns remain， and relevant policies and regulations are still being developed. Nevertheless， the introduction of this technology undoubtedly presents new opportunities for minimally invasive abdominal surgery. On the basis of reviewing the application practice of computer vision technology in minimally invasive abdominal surgery in tool and instrument detection， anatomical structure detection， surgical operation action recognition and stage recognition， safety monitoring and early warning， etc.， this study discusses the development status of this technology， presents the development potential of computer vision technology from different aspects， and points out the shortcomings and application challenges， in order to provide reference for the application of computer vision technology in minimally invasive abdominal surgery.

Key words: , Computer vision； , Artificial intelligence； , Deep learning； , Minimally invasive surgery； , Intraoperative navigation

中图分类号:

R656

王子政, 马玉丹.

计算机视觉技术在微创腹部外科手术中的应用 [J]. 中国医药导刊, 2024, 26(10): 1009-1013.

WANG Zizheng, MA Yudan. The Application of Computer Vision Technology in Minimally Invasive Abdominal Surgery[J]. CHINESE JOURNAL OF MEDICINAL GUIDE, 2024, 26(10): 1009-1013.

参考文献

［1］刘荣，刘渠，王斐，等.预后控制外科：从理论到实践［J］.科学通报，2019，64（11）：12.

［2］ Morris MX， Rajesh A， Asaad M， et al. Deep learning applications in surgery： current uses and future directions［J］.American Surgeon， 2023，89（1）：36-42.

［3］ Ward TM， Mascagni P， Ban Y， et al. Computer vision in surgery［J］.Surgery，2021，169（5）：1253-1256.

［4］ Gumbs AA， Grasso V， Bourdel N. et al. The advances in computer vision that are enabling more autonomous actions in surgery： a systematic review of the literature［J］. Sensors （Basel），2022，22：4918.

［5］ Choi B， Jo K， Choi S， et al. Surgical-tools detection based on Convolutional Neural Network in laparoscopic robot-assisted surgery［C］.39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society （EMBC）. South Korea： IEEE， 2017.

［6］ Hussain M. YOLOv1 to v8： unveiling each variant： a comprehensive review of YOLO［J］.IEEE Access，2024，12（12）：42816-42833.

［7］ Namazi B， Sankaranarayanan G， Devarajan V. A contextual detector of surgical tools in laparoscopic videos using deep learning［J］.Surg Endosc，2022，36（1）：679-688.

［8］ Tokuyasu T， Iwashita Y， Matsunobu Y， et al. Development of an artificial intelligence system using deep learning to indicate anatomical landmarks during laparoscopic cholecystectomy［J］.Surg Endosc，2021，35（4）：1651-1658.

［9］ Mascagni P， Vardazaryan A， Alapatt D. et al. Artificial intelligence for surgical safety： automatic assessment of the critical view of safety in laparoscopic cholecystectomy using deep learning［J］.Ann Surg，2022，275（5）：955-961.

［10］ Owen D， Grammatikopoulou M， Luengo I， et al. Automated identification of critical structures in laparoscopic cholecystectomy［J］.Int J Comput Assist Radiol Surg， 2022，17（12）：2173-2181.

［11］ Nakanuma H， Endo Y， Fujinaga A， et al. An intraoperative artificial intelligence system identifying anatomical landmarks for laparoscopic cholecystectomy： a prospective clinical feasibility trial （J-SUMMIT-C-01）［J］.Surg Endosc，2023，37（3）：1933-1942.

［12］ Tomioka K， Aoki T， Kobayashi N， et al. Development of a novel artificial intelligence system for laparoscopic hepatectomy［J］.Anticancer Res，2023，43（11）：5235-5243.

［13］张珂诚，乔治，杨力，等.计算机视觉人工智能技术在腹腔镜胃癌根治术中对器械和脏器的检测识别：一项多中心临床研究［J］.中华胃肠外科杂志，2024，27（5）：464-470.

［14］ Quero G， Mascagni P， Kolbinger FR， et al. Artificial intelligence in colorectal cancer surgery： present and future perspectives［J］.Cancers，2022，14（15）：3803.

［15］ Mascagni P， Alapatt D， Urade T， et al. A computer vision platform to automatically locate critical events in surgical videos： documenting safety in laparoscopic cholecystectomy［J］.Ann Surg，2021，274（1）：e93-e95.

［16］ Mascagni P， Alapatt D， Laracca GG， et al. Multicentric validation of EndoDigest： a computer vision platform for video documentation of the critical view of safety in laparoscopic cholecystectomy［J］.Surg Endosc，2022，36（11）：8379-8386.

［17］ Namazi B， Iyengar N， Hasan S， et al. AI for automated detection of the establishment of critical view of safety in laparoscopic cholecystectomy videos［J］.Journal of the American College of Surgeons，2020，231（4）：e48.

［18］ Madani A， Namazi B， Altieri MS， et al. Artificial intelligence for intraoperative guidance： using semantic segmentation to identify surgical anatomy during laparoscopic cholecystectomy［J］.Ann Surg，2022，276（2）：363-369.

［19］ Zhang B， Goel B， Sarhan MH， et al. Surgical workflow recognition with temporal convolution and transformer for action segmentation［J］.Int J Comput Assist Radiol Surg，2023，18（4）：785-794.

［20］ Shinozuka K， Turuda S， Fujinaga A， et al. Artificial intelligence software available for medical devices： surgical phase recognition in laparoscopic cholecystectomy［J］.Surg Endosc，2022，36（10）：7444-7452.

［21］ Eckhoff JA， Ban Y， Rosman G， et al. TEsoNet： knowledge transfer in surgical phase recognition from laparoscopic sleeve gastrectomy to the laparoscopic part of Ivor-Lewis esophagectomy［J］.Surg Endosc，2023，37（5）：4040-4053.

［22］ Kitaguchi D， Takeshita N， Matsuzaki H， et al. Real-time automatic surgical phase recognition in laparoscopic sigmoidectomy using the convolutional neural network-based deep learning approach［J］.Surg Endosc，2020，34（11）：4924-4931.

［23］ Bodenstedt S， Wagner M， Mündermann L， et al. Prediction of laparoscopic procedure duration using unlabeled， multimodal sensor data［J］.Int J Comput Assist Radiol Surg，2019，14（6）：1089-1095.

［24］ Twinanda AP， Yengera G， Mutter D， et al. RSDNet： learning to predict remaining surgery duration from laparoscopic videos without manual annotations［J］.IEEE Trans Med Imaging，2019，38（4）：1069-1078.

［25］花苏榕，王智弘，王晶，等.深度学习技术识别纱布在腹腔镜胰腺手术中的应用价值［J］. 中华消化外科杂志，2021，20（12）：1324-1330.

［26］ Lai SL， Chen CS， Lin BR， et al. Intraoperative detection of surgical gauze using deep convolutional neural network［J］. Ann Biomed Eng，2023，51（2）：352-362.

［27］中国政府网. 中共中央办公厅国务院办公厅印发《关于进一步完善医疗卫生服务体系的意见》［EB/OL］.（2023-03-23）［2024-08-01］.https：//www.gov.cn/gongbao/content/2023/content_5750620.htm.

［28］北京市发展和改革委员会.《北京市推动“人工智能+”行动计划（2024—2025年）》发布［EB/OL］.（2024-07-27）［2024-08-01］.https：//fgw.beijing.gov.cn/gzdt/fgzs/tpxw/202407/t20240731_3763374.htm.

[1]	刘涛, 张钰, 李钻, 种璟, 靳泽宇, 杨东, 肖楠, 孙玲. 人工智能在药品审评中的应用展望 [J]. 中国医药导刊, 2024, 26(5): 504-510.
[2]	陈杨, 陈轶伦, 曾文杰, 廖俊. 人工智能在药物再定位的应用[J]. 中国医药导刊, 2022, 24(4): 334-341.
[3]	章颖. 精准医疗领域的人工智能（AI）治理[J]. 中国医药导刊, 2022, 24(1): 46-49.
[4]	李建垒, 曹向阳, 宋永伟, 王志伟, 袁帅. 人工智能在骨伤科应用进展[J]. 中国医药导刊, 2020, 22(10): 677-680.
[5]	刘明, 高亚, 史纪元, 邢丽娜, 康迎英, 田金徽, . 人工智能干预临床试验研究方案报告规范指南：SPIRIT-AI扩展版(2020)解读[J]. 中国医药导刊, 2020, 22(10): 692-697.
[6]	高亚, 刘明, 李菲, 连蓉娜, 张瑞年, 谢岱蓉, 田金徽, . 人工智能干预性临床试验报告规范：CONSORT-AI解读[J]. 中国医药导刊, 2020, 22(10): 687-691.
[7]	施树珍,蔡润津,苟铃珠,杨克虎,王建成,张俊华,田金徽. 国内医学领域专家系统的研究主题与研究者合作能力分析[J]. , 2018, 20(8): 482-487.
[8]	施树珍,蔡润津,苟铃珠,杨克虎,王建成,张俊华,田金徽. 国外医学领域专家系统的研究主题与研究者合作能力分析[J]. , 2018, 20(8): 488-493.
[9]	陈吉,刘蕊,王盼杰,苟铃珠,杨克虎,张俊华,田金徽. 国内医学领域知识库研究主题分析[J]. , 2018, 20(7): 422-427.
[10]	陈吉,刘蕊,王盼杰,苟铃珠,杨克虎,张俊华,田金徽. 国外医学领域知识库研究主题分析[J]. , 2018, 20(7): 428-432.
[11]	孙月,庞佳昊,石晶晶,刘凡莹,陈苗,杨克虎,田金徽. 国内医学领域模糊逻辑研究主题分析[J]. , 2018, 20(6): 364-368.
[12]	孙月,石晶晶,刘凡莹,陈苗,庞佳昊,杨克虎,田金徽. 国外医学领域模糊逻辑研究主题分析[J]. , 2018, 20(6): 369-373.
[13]	布优祥,陈苗,庞佳昊,石晶晶,刘凡莹,田金徽. 国外自然语言处理研究主题可视化分析[J]. , 2018, 20(5): 302-307.
[14]	布优祥,陈苗,庞佳昊,石晶晶,刘凡莹,杨克虎,张俊华,田金徽. 国内自然语言处理的研究主题与合作能力分析[J]. , 2018, 20(5): 302-307.

快速检索引用检索图表检索高级检索