vtmedВиртуальные технологии в медицинеVirtual Technologies in Medicine2686-79582687-0037РОСОМЕД10.46594/2687-0037_2024_4_1979vtmed-1979Research ArticleОРИГИНАЛЬНЫЕ СТАТЬИORIGINAL ARTICLESРазработка и апробация учебного комплекса применения дополненной реальности в хирургииDevelopment and Testing of a Training Complex for the Use of Augmented Reality in Surgeryhttps://orcid.org/0000-0001-5296-3456БромбергБ. Б.BrombergB.

Бромберг Борис Борисович

г. Санкт-Петербург

Bromberg Boris

trebleb82@mail.ruhttps://orcid.org/0009-0004-3556-5439ГавриловаА. Л.GavrilovaA.

Гаврилова Анна Леонидовна

г. Санкт-Петербург

Gavrilova Anna

gavrilovann2016@gmail.comhttps://orcid.org/0009-0002-3685-7092ЕсаянИ. Л.EsayanI.

Есаян Игорь Лаврентьевич

г. Санкт-Петербург

Esayan Igor

igor-esayan@yandex.ruhttps://orcid.org/0000-0001-6455-0894СизоненкоН. АSizonenkoN.

Сизоненко Николай Александрович

г. Санкт-Петербург

Sizonenko Nikolay

n_sizonenko@mail.ruЛевченкоЯ. И.LevchenkoYa.

Левченко Ярослав Иванович

г. Санкт-Петербург

Levchenko Yaroslav

lewons@yandex.ruhttps://orcid.org/0009-0001-2440-2499СмирновА. Ю.SmirnovA.

Смирнов Антон Юрьевич

г. Санкт-Петербург

Smirnov Anton

ishunpo0@gmail.comВоенно-медицинская академия им. С. М. КироваRussian FederationСанкт-Петербургский политехнический университет Петра ВеликогоRussian Federation20242511202414Виртуальные технологии в медицине334342Copyright © Бромберг Б.Б., Гаврилова А.Л., Есаян И.Л., Сизоненко Н.А., Левченко Я.И., Смирнов А.Ю., 20252025Бромберг Б.Б., Гаврилова А.Л., Есаян И.Л., Сизоненко Н.А., Левченко Я.И., Смирнов А.Ю.Bromberg B., Gavrilova A., Esayan I., Sizonenko N., Levchenko Y., Smirnov A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.medsim.ru/jour/article/view/1979

В статье рассматривается опыт адаптации технологии дополненной и смешанной реальности к учебной деятельности на кафедре военно-морской хирургии Военно-медицинской академии им. С. М. Кирова (ВМедА им. С. М. Кирова). Проведена ретроспективная оценка зрелищности, доходчивости, полноты иллюстративного материала. Результаты послужили основанием для включения технологии дополненной реальности в учебный процесс. Создан учебный комплекс применения дополненной реальности в хирургии на основе навигационной системы «Меджитал Вижн», дополнен методическим и кадровым обеспечением. В результате повышены зрелищность, доходчивость, полнота иллюстративного материала. Запланирован ряд мероприятий по расширению использования учебного комплекса при подготовке иллюстративного материала.

The article discusses the experience of adapting augmented and mixed reality technology to teaching at the Naval Surgery Department of  S. M. Kirov Medical Military Academy. A retrospective analysis of the visibility, understandability, and completeness of the illustrative material was carried out. The results laid as the basis for the inclusion of augmented reality technology in the educational process. A training complex for the use of augmented reality in surgery based on the “Medgital Vision” surgery navigation has been created, with methodologic and personnel supply . As a result, the visibility, understandability, and completeness of the illustrative material are increased. Some measures are planned to expand the use of the educational complex in the creating of illustrative material.

дополненная реальностьиллюстрациикомпьютерная томографияучебный комплексзрелищностьдоходчивостьполнотаaugmented and mixed realityillustrative materialcomputed tomographytraining complexvisibilityunderstandabilitycompletenessReferencesАгафонова М. В., Гайворонский И. В., Дорожкин Р. В., Литвиненко С. В., Ничипорук Г. И., Сальников А. И. Программа визуализации процессов функциональной анатомии центральной нервной системы в режимах AR/VR / Свидетельство о регистрации программы для ЭВМ 2021668401, 15.11.2021. // Заявка № 2021667400 от 29.10.2021.Агафонова М. В., Гайворонский И. В., Дорожкин Р. В., Литвиненко С. В., Ничипорук Г. И., Сальников А. И. Программа визуализации процессов функциональной анатомии центральной нервной системы в режимах AR/VR / Свидетельство о регистрации программы для ЭВМ 2021668401, 15.11.2021. // Заявка № 2021667400 от 29.10.2021.Агаханова М. Д., Гребеньков В. Г., Румянцев В. Н., Коржук М. С., Дымников Д. А., Иванов В. М., Смирнов А. Ю., Балюра О. В., Еселевич Р. В., Гаврилова А. Л. Опыт применения технологии дополненной реальности в хирургическом лечении больного с металлическими инородными телами нижних конечностей // Вестник Российской Военно-медицинской академии. 2023. Т. 25. № 2. С. 261—268.Агаханова М. Д., Гребеньков В. Г., Румянцев В. Н., Коржук М. С., Дымников Д. А., Иванов В. М., Смирнов А. Ю., Балюра О. В., Еселевич Р. В., Гаврилова А. Л. Опыт применения технологии дополненной реальности в хирургическом лечении больного с металлическими инородными телами нижних конечностей // Вестник Российской Военно-медицинской академии. 2023. Т. 25. № 2. С. 261—268.Ивануса С. Я., Лазуткин М. В., Чеботарь А. В. Диагностика и профилактика послеоперационных осложнений / Вестник Российской Военно-медицинской академии. 2019. № 4. С. 34.Ивануса С. Я., Лазуткин М. В., Чеботарь А. В. Диагностика и профилактика послеоперационных осложнений / Вестник Российской Военно-медицинской академии. 2019. № 4. С. 34.Котив Б. Н., Будько И. А., Иванов И. А., Тросько И. У. Использование искусственного интеллекта для медицинской диагностики с помощью реализации экспертной сиcтемы // Вестник Российской Военно-медицинской академии. 2021. № 1 (73). С. 215–224.Котив Б. Н., Будько И. А., Иванов И. А., Тросько И. У. Использование искусственного интеллекта для медицинской диагностики с помощью реализации экспертной сиcтемы // Вестник Российской Военно-медицинской академии. 2021. № 1 (73). С. 215–224.Кудрявцева А. В., Багненко С. С., Дзидзава И. И., Железняк И. С., Труфанов Г. Е., Рязанов В. В., Красовская В. А., Котив А. Б., Казаков А. Д. / КТ и МРТ в оценке резектабельных и условно-резектабельных опухолей поджелудочной железы // Анналы хирургической гепатологии. 2021. Т. 26. № 1. С. 34–47.Кудрявцева А. В., Багненко С. С., Дзидзава И. И., Железняк И. С., Труфанов Г. Е., Рязанов В. В., Красовская В. А., Котив А. Б., Казаков А. Д. / КТ и МРТ в оценке резектабельных и условно-резектабельных опухолей поджелудочной железы // Анналы хирургической гепатологии. 2021. Т. 26. № 1. С. 34–47.Лысенко А. В., Разумова А. Я., Яременко А. И., Иванов В. М., Стрелков С. В. Первичные результаты применения дополненной реальности при различных патологиях в челюстно-лицевой области // Медицинский вестник МВД. 2022. Т. 117. № 2 (117). С. 7–10.Лысенко А. В., Разумова А. Я., Яременко А. И., Иванов В. М., Стрелков С. В. Первичные результаты применения дополненной реальности при различных патологиях в челюстно-лицевой области // Медицинский вестник МВД. 2022. Т. 117. № 2 (117). С. 7–10.Alrishan Alzouebi I, Saad S, Farmer T, Green S. Is the use of augmented reality-assisted surgery beneficial in urological education? A systematic review. Curr Urol. 2021;15(3):148-152. doi:10.1097/CU9.0000000000000036Alrishan Alzouebi I, Saad S, Farmer T, Green S. Is the use of augmented reality-assisted surgery beneficial in urological education? A systematic review. Curr Urol. 2021;15(3):148-152. doi:10.1097/CU9.0000000000000036Atallah, S., Nassif, G.J., & Larach, S.W. (2014). Stereotactic navigation for TAMIS-TME: opening the gateway to frameless, image-guided abdominal and pelvic surgery. Surgical Endoscopy, 29, 207–211.Atallah, S., Nassif, G.J., & Larach, S.W. (2014). Stereotactic navigation for TAMIS-TME: opening the gateway to frameless, image-guided abdominal and pelvic surgery. Surgical Endoscopy, 29, 207–211.Bartella AK, Kamal M, Scholl I, et al. Virtual reality in preoperative imaging in maxillofacial surgery: implementation of «the next level»?. Br J Oral Maxillofac Surg. 2019;57(7):644-648. doi:10.1016/j.bjoms.2019.02.014Bartella AK, Kamal M, Scholl I, et al. Virtual reality in preoperative imaging in maxillofacial surgery: implementation of «the next level»?. Br J Oral Maxillofac Surg. 2019;57(7):644-648. doi:10.1016/j.bjoms.2019.02.014Cartucho J, Shapira D, Ashrafian H, Giannarou S. Multimodal mixed reality visualisation for intraoperative surgical guidance. Int J Comput Assist Radiol Surg. 2020;15(5):819-826. doi:10.1007/s11548-020-02165-4Cartucho J, Shapira D, Ashrafian H, Giannarou S. Multimodal mixed reality visualisation for intraoperative surgical guidance. Int J Comput Assist Radiol Surg. 2020;15(5):819-826. doi:10.1007/s11548-020-02165-4Casas-Yrurzum S, Gimeno J, Casanova-Salas P, GarcíaPereira I, García Del Olmo E, Salvador A, Guijarro R, Zaragoza C, Fernández M. A new mixed reality tool for training in minimally invasive robotic-assisted surgery. Health Inf Sci Syst. 2023 Aug 2;11(1):34. doi: 10.1007/s13755-023-00238-7. PMID: 37545486; PMCID: PMC10397172.Casas-Yrurzum S, Gimeno J, Casanova-Salas P, GarcíaPereira I, García Del Olmo E, Salvador A, Guijarro R, Zaragoza C, Fernández M. A new mixed reality tool for training in minimally invasive robotic-assisted surgery. Health Inf Sci Syst. 2023 Aug 2;11(1):34. doi: 10.1007/s13755-023-00238-7. PMID: 37545486; PMCID: PMC10397172.Chu MW, Moore J, Peters T, et al. Augmented reality image guidance improves naviga on for bea ng heart mitral valve repair. Innova ons (Phila). 2012;7(4):274-281. doi:10.1097/IMI.0b013e31827439eaChu MW, Moore J, Peters T, et al. Augmented reality image guidance improves naviga on for bea ng heart mitral valve repair. Innova ons (Phila). 2012;7(4):274-281. doi:10.1097/IMI.0b013e31827439eaCoelho G, Rabelo NN, Vieira E, et al. Augmented reality and physical hybrid model simula on for preopera ve planning of metopic craniosynostosis surgery. Neurosurg Focus. 2020;48(3):E19. doi:10.3171/2019.12.FOCUS19854Coelho G, Rabelo NN, Vieira E, et al. Augmented reality and physical hybrid model simula on for preopera ve planning of metopic craniosynostosis surgery. Neurosurg Focus. 2020;48(3):E19. doi:10.3171/2019.12.FOCUS19854Dickey RM, Srikishen N, Lipshultz LI, Spiess PE, Carrion RE, Hakky TS. Augmented reality assisted surgery: a urologic training tool. Asian J Androl. 2016;18(5):732-734. doi:10.4103/1008-682X.166436Dickey RM, Srikishen N, Lipshultz LI, Spiess PE, Carrion RE, Hakky TS. Augmented reality assisted surgery: a urologic training tool. Asian J Androl. 2016;18(5):732-734. doi:10.4103/1008-682X.166436Eckert M, Volmerg JS, Friedrich CM. Augmented Reality in Medicine: Systema c and Bibliographic Review. JMIR Mhealth Uhealth. 2019;7(4):e10967. Published 2019 Apr 26. doi:10.2196/10967Eckert M, Volmerg JS, Friedrich CM. Augmented Reality in Medicine: Systema c and Bibliographic Review. JMIR Mhealth Uhealth. 2019;7(4):e10967. Published 2019 Apr 26. doi:10.2196/10967Guerriero, L., Quero, G., Diana, M., Soler, L., Agnus, V., Marescaux, J., & Corcione, F. (2018). Virtual Reality Explora on and Planning for Precision Colorectal Surgery. Diseases of the Colon & Rectum, 61, 719–723.Guerriero, L., Quero, G., Diana, M., Soler, L., Agnus, V., Marescaux, J., & Corcione, F. (2018). Virtual Reality Explora on and Planning for Precision Colorectal Surgery. Diseases of the Colon & Rectum, 61, 719–723.Guha, P., Lawson, J., Minty, I. et al. Can mixed reality technologies teach surgical skills be er than tradi onal methods? A prospec ve randomised feasibility study. BMC Med Educ 23, 144 (2023). h ps://doi.org/10.1186/s12909-023-04122-6Guha, P., Lawson, J., Minty, I. et al. Can mixed reality technologies teach surgical skills be er than tradi onal methods? A prospec ve randomised feasibility study. BMC Med Educ 23, 144 (2023). h ps://doi.org/10.1186/s12909-023-04122-6Huber, T., Hadzijusufoviç, E., Hansen, C., Paschold, M., Lang, H., & Kneist, W. (2019). Head-Mounted MixedReality Technology During Robo c-Assisted Transanal Total Mesorectal Excision // Diseases of the Colon & Rectum, 62, 258-261.Huber, T., Hadzijusufoviç, E., Hansen, C., Paschold, M., Lang, H., & Kneist, W. (2019). Head-Mounted MixedReality Technology During Robo c-Assisted Transanal Total Mesorectal Excision // Diseases of the Colon & Rectum, 62, 258-261.Ivanov V.M., Krivtsov A.M., Smirnov A.Yu., Grebenkov V.G., Surov D.A., Korzhuk M.S., Strelkov S.V., Ivanova E.G. Experience in the applica on of augmented reality technology in the surgical treatment of pa ents suff ering primary and recurrent pelvic // Journal of Personalized Medicine. 2024. Т. 14. № 1. С. 19.Ivanov V.M., Krivtsov A.M., Smirnov A.Yu., Grebenkov V.G., Surov D.A., Korzhuk M.S., Strelkov S.V., Ivanova E.G. Experience in the applica on of augmented reality technology in the surgical treatment of pa ents suff ering primary and recurrent pelvic // Journal of Personalized Medicine. 2024. Т. 14. № 1. С. 19.Ivanov, V.M.; Krivtsov, A.M.; Strelkov, S.V.; Kalakutskiy, N.V.; Yaremenko, A.I.; Petropavlovskaya, M.Y.; Portnova, M.N.; Lukina, O.V.; Litvinov, A.P. Intraopera ve Use of Mixed Reality Technology in Median Neck and Branchial Cyst Excision. Future Internet 2021, 13, 214. h ps://doi.org/10.3390/fi13080214Ivanov, V.M.; Krivtsov, A.M.; Strelkov, S.V.; Kalakutskiy, N.V.; Yaremenko, A.I.; Petropavlovskaya, M.Y.; Portnova, M.N.; Lukina, O.V.; Litvinov, A.P. Intraopera ve Use of Mixed Reality Technology in Median Neck and Branchial Cyst Excision. Future Internet 2021, 13, 214. h ps://doi.org/10.3390/fi13080214Ivanov V.M., Krivtsov A.M., Strelkov S.V., Smirnov A Yu., Shipov R.Yu., Grebenkov V.G., Rumyantsev V.N., Surov D.A., Korzhuk M.S., Gheleznyak I.S., Koskin V.S. Prac cal applica on of augmented|mixed reality technologies in surgerybof abdominal cancer pa ents // Journal of Imaging. 2022. Т. 8. № 7.Ivanov V.M., Krivtsov A.M., Strelkov S.V., Smirnov A Yu., Shipov R.Yu., Grebenkov V.G., Rumyantsev V.N., Surov D.A., Korzhuk M.S., Gheleznyak I.S., Koskin V.S. Prac cal applica on of augmented|mixed reality technologies in surgerybof abdominal cancer pa ents // Journal of Imaging. 2022. Т. 8. № 7.Kawada, K., Hasegawa, S., Okada, T., Hida, K., Okamoto, T., & Sakai, Y. (2017). Stereotac c naviga on during laparoscopic surgery for locally recurrent rectal cancer. Techniques in Coloproctology, 21, 977-978.Kawada, K., Hasegawa, S., Okada, T., Hida, K., Okamoto, T., & Sakai, Y. (2017). Stereotac c naviga on during laparoscopic surgery for locally recurrent rectal cancer. Techniques in Coloproctology, 21, 977-978.Kontovounisios, C., Tekkis, P.P., & Bello, F. (2018). 3D imaging and prin ng in pelvic colorectal cancer: ‘The New Kid on the Block’. Techniques in Coloproctology, 23, 171-173.Kontovounisios, C., Tekkis, P.P., & Bello, F. (2018). 3D imaging and prin ng in pelvic colorectal cancer: ‘The New Kid on the Block’. Techniques in Coloproctology, 23, 171-173.Kwak, J., Romagnolo, L.G., Wijsmuller, A.R., Gonzalez, C., Agnus, V., Lucchesi, F.R., Melani, A.G., Marescaux, J., & Dallemagne, B. (2019). Stereotac c Pelvic Naviga on With Augmented Reality for Transanal Total Mesorectal Excision. Diseases of the Colon & Rectum, 62, 123–129.Kwak, J., Romagnolo, L.G., Wijsmuller, A.R., Gonzalez, C., Agnus, V., Lucchesi, F.R., Melani, A.G., Marescaux, J., & Dallemagne, B. (2019). Stereotac c Pelvic Naviga on With Augmented Reality for Transanal Total Mesorectal Excision. Diseases of the Colon & Rectum, 62, 123–129.Leuze C, Zoellner A, Schmidt AR, et al. Augmented reality visualiza on tool for the future of tac cal combat casualty care. J Trauma Acute Care Surg. 2021;91(2S Suppl 2):S40-S45. doi:10.1097/TA.0000000000003263Leuze C, Zoellner A, Schmidt AR, et al. Augmented reality visualiza on tool for the future of tac cal combat casualty care. J Trauma Acute Care Surg. 2021;91(2S Suppl 2):S40-S45. doi:10.1097/TA.0000000000003263Mikhail M, Mithani K, Ibrahim GM. Presurgical and Intraopera ve Augmented Reality in Neuro-Oncologic Surgery: Clinical Experiences and Limita ons. World Neurosurg. 2019;128:268-276. doi:10.1016/j.wneu.2019.04.256Mikhail M, Mithani K, Ibrahim GM. Presurgical and Intraopera ve Augmented Reality in Neuro-Oncologic Surgery: Clinical Experiences and Limita ons. World Neurosurg. 2019;128:268-276. doi:10.1016/j.wneu.2019.04.256Pérez-Serrano, N., Fernando Trebolle, J., Sánchez Margallo, F.M., Blanco Ramos, J.R., García Tejero, A., & Aguas Blasco, S. (2019). Digital 3-Dimensional Virtual Models in Colorectal Cancer and Its Application in Surgical Practice. Surgical Innovation, 27, 246-247.Pérez-Serrano, N., Fernando Trebolle, J., Sánchez Margallo, F.M., Blanco Ramos, J.R., García Tejero, A., & Aguas Blasco, S. (2019). Digital 3-Dimensional Virtual Models in Colorectal Cancer and Its Application in Surgical Practice. Surgical Innovation, 27, 246-247.Sadeghi AH, Mathari SE, Abjigitova D, et al. Current and Future Applications of Virtual, Augmented, and Mixed Reality in Cardiothoracic Surgery. Ann Thorac Surg. 2022;113(2):681-691. doi:10.1016/j.athoracsur.2020.11.030Sadeghi AH, Mathari SE, Abjigitova D, et al. Current and Future Applications of Virtual, Augmented, and Mixed Reality in Cardiothoracic Surgery. Ann Thorac Surg. 2022;113(2):681-691. doi:10.1016/j.athoracsur.2020.11.030Sánchez-Margallo JA, Plaza de Miguel C, Fernández Anzules RA and Sánchez-Margallo FM (2021) Application of Mixed Reality in Medical Training and Surgical Planning Focused on Minimally Invasive Surgery. Front. Virtual Real. 2:692641. doi: 10.3389/frvir.2021.69264Sánchez-Margallo JA, Plaza de Miguel C, Fernández Anzules RA and Sánchez-Margallo FM (2021) Application of Mixed Reality in Medical Training and Surgical Planning Focused on Minimally Invasive Surgery. Front. Virtual Real. 2:692641. doi: 10.3389/frvir.2021.69264Sparwasser PM, Schoeb D, Miernik A, Borgmann H. Augmented Reality und Virtual Reality im Operationssaal — Status Quo und Quo vadis [Augmented reality and virtual reality in the operating theatre status quo und quo vadis]. Aktuelle Urol. 2018;49(6):500-508. doi:10.1055/a-0759-0029Sparwasser PM, Schoeb D, Miernik A, Borgmann H. Augmented Reality und Virtual Reality im Operationssaal — Status Quo und Quo vadis [Augmented reality and virtual reality in the operating theatre status quo und quo vadis]. Aktuelle Urol. 2018;49(6):500-508. doi:10.1055/a-0759-0029Tang KS, Cheng DL, Mi E, Greenberg PB. Augmented reality in medical education: a systematic review. Can Med Educ J. 2020; 11(1):e81-e96. Published 2020 Mar 16. doi:10.36834/cmej.61705Tang KS, Cheng DL, Mi E, Greenberg PB. Augmented reality in medical education: a systematic review. Can Med Educ J. 2020; 11(1):e81-e96. Published 2020 Mar 16. doi:10.36834/cmej.61705Thomas DJ. Augmented reality in surgery: The Computer-Aided Medicine revolution. Int J Surg. 2016;36(Pt A):25. doi:10.1016/j.ijsu.2016.10.003Thomas DJ. Augmented reality in surgery: The Computer-Aided Medicine revolution. Int J Surg. 2016;36(Pt A):25. doi:10.1016/j.ijsu.2016.10.003Wake N, Rosenkrantz AB, Huang WC, et al. A workflow to generate patient-specific three-dimensional augmented reality models from medical imaging data and example applications in urologic oncology. 3D Print Med. 2021;7(1):34. Published 2021 Oct 28. doi:10.1186/s41205-021-00125-5Wake N, Rosenkrantz AB, Huang WC, et al. A workflow to generate patient-specific three-dimensional augmented reality models from medical imaging data and example applications in urologic oncology. 3D Print Med. 2021;7(1):34. Published 2021 Oct 28. doi:10.1186/s41205-021-00125-5Zawy Alsofy S, Nakamura M, Suleiman A, et al. Cerebral Anatomy Detection and Surgical Planning in Patients with Anterior Skull Base Meningiomas Using a Virtual Reality Technique. J Clin Med. 2021;10(4):681. Published 2021 Feb 10. doi:10.3390/jcm10040681Zawy Alsofy S, Nakamura M, Suleiman A, et al. Cerebral Anatomy Detection and Surgical Planning in Patients with Anterior Skull Base Meningiomas Using a Virtual Reality Technique. J Clin Med. 2021;10(4):681. Published 2021 Feb 10. doi:10.3390/jcm10040681

The authors declare that there are no conflicts of interest present.