vtmedВиртуальные технологии в медицинеVirtual Technologies in Medicine2686-79582687-0037РОСОМЕД10.46594/2687-0037_2025_4_2151vtmed-2151Research ArticleОРИГИНАЛЬНЫЕ СТАТЬИORIGINAL ARTICLESМожет ли искусственный интеллект создавать симуляционные сценарии наравне с человеком? Сравнительный анализ сценариев, написанных человеком и ИИ, на примере кейса «Пожар в операционной»Can artificial intelligence create simulation scenarios on par with humans? A comparative analysis of scenarios written by humans and AI, using the case of «Fire in the operating room»https://orcid.org/0000-0003-0446-0787ГоршковМ. Д.GorshkovM. D.

Горшков Максим Дмитриевич

г. Москва;

г. Штуттгарт

Gorshkov Maxim

Moscow;

Stuttgart

gorshkov@rosomed.ruhttps://orcid.org/0000-0002-5542-9280АндреенкоА. А.AndreenkoA. А.

Андреенко Александр Александрович

г. Санкт-Петербург

Andreenko Alexander

St. Petersburg

https://orcid.org/0000-0003-4514-9717БулановР. Л.BulanovR. L.

Буланов Роман Леонидович

г. Архангельск

Bulanov Roman

Arkhangelsk

ДолгинаИ. И.DolginaI. I.

Долгина Ирина Ивановна

г. Курск

Dolgina Irina

Kursk

ГолубеваО. В.GolubevaO. V.

Голубева Олеся Валентиновна

г. Москва

Golubeva Olesya

Moscow

ГрибковД. М.GribkovD. M.

Грибков Денис Михайлович

г. Москва

Gribkov Denis

Moscow

https://orcid.org/0000-0002-2224-7536ЗариповаЗ. А.ZaripovaZ. A.

Зарипова Зульфия Абдулловна

г. Санкт-Петербург

Zaripova Zulfiia

St. Petersburg

https://orcid.org/0000-0001-9708-9643КосцоваН. Г.KostsovaN. G.

Косцова Надежда Григорьевна

г. Москва

Kostsova Nadezhda

Moscow

НепершинаВ. Р.NepershinaV. R.

Непершина Валия Рефатьевна

г. Москва

Nepershina Valia

Moscow

https://orcid.org/0000-0001-5138-3791ХодусС. В.KhodusS. V.

Ходус Сергей Васильевич

г. Благовещенск

Khodus Sergey

Blagoveshchensk

https://orcid.org/0000-0002-4589-5712ШубинаЛ. Б.ShubinaL. B.

Шубина Любовь Борисовна

г. Москва

Shubina Lyubov

Moscow

Общероссийская общественная организация «Российское общество симуляционного обучения в медицине» / РОСОМЕД; ЕвроМедСим, Европейский институт симуляции в медицине г. ШтуттгартРоссияAll-Russian Public Organization «Russian Society for Simulation Education in Medicine» / ROSOMED; EuroMedSim, European Institute of Simulation in MedicineRussian FederationГородская Мариинская больницаРоссияMariinsky City HospitalRussian FederationСеверный государственный медицинский университетРоссияNorthern State Medical UniversityRussian FederationКурский государственный медицинский университетРоссияKursk State Medical UniversityRussian FederationНациональный медицинский исследовательский центр «Межотраслевой научно-технический комплекс „Микрохирургия глаза“ им. академика С. Н. Фёдорова»РоссияS. Fyodorov Eye Microsurgery Federal State InstitutionRussian FederationФакультет фундаментальной медицины Московского государственного университета им. М. В. ЛомоносоваРоссияFaculty of Fundamental Medicine, Lomonosov Moscow State UniversityRussian FederationПервый Санкт-Петербургский государственный медицинский университет им. академика И. П. ПавловаРоссияFirst Pavlov State Medical University of St. PetersburgRussian FederationРоссийский университет дружбы народовРоссияRUDNRussian FederationМедицинский колледжРоссияMedical CollegeRussian FederationАмурская государственная медицинская академияРоссияAmur State Medical AcademyRussian Federation20252701202604362369Copyright © Горшков М.Д., Андреенко А.А., Буланов Р.Л., Долгина И.И., Голубева О.В., Грибков Д.М., Зарипова З.А., Косцова Н.Г., Непершина В.Р., Ходус С.В., Шубина Л.Б., 20262026Горшков М.Д., Андреенко А.А., Буланов Р.Л., Долгина И.И., Голубева О.В., Грибков Д.М., Зарипова З.А., Косцова Н.Г., Непершина В.Р., Ходус С.В., Шубина Л.Б.Gorshkov M.D., Andreenko A.А., Bulanov R.L., Dolgina I.I., Golubeva O.V., Gribkov D.M., Zaripova Z.A., Kostsova N.G., Nepershina V.R., Khodus S.V., Shubina L.B.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.medsim.ru/jour/article/view/2151

Слепое сравнительное пилотное исследование посвящено оценке качества симуляционных сценариев, созданных генеративными моделями искусственного интеллекта (ИИ) и человеком. Глобальной целью исследования была комплексная оценка возможности создания сценариев моделями ИИ. Отсюда следовали задачи сопоставления качества ИИ-сценариев с человеческими и оценка способности экспертов определять авторство. Три модели (Grok, ChatGPT, DeepSeek) генерировали сценарии по единому стандартизированному промпту; референтным эталоном служил конкурсный кейс РОСОМЕД. Пять независимых экспертов оценивали четыре сценария по оригинальной шкале ШОСС (8 критериев, 4-балльная система). Лучшим оказался сценарий ChatGPT (средний балл 3, 4), превосходящий человеческий сценарий (2,9). ИИ-оценщик в целом ранжировал сценарии сходно с людьми-экспертами, но при самооценке проявилась его предвзятость по отношению к собственной работе.

A blind comparative pilot study was conducted to evaluate the quality of simulation scenarios generated by generative artificial intelligence (AI) models compared to human-generated scenarios. The objectives of the study were to test the feasibility of generating scenarios by AI models, compare their quality with human-generated scenarios, and assess the ability of experts to determine authorship. Three models (Grok, ChatGPT and DeepSeek) were used to generate scenarios based on a standardized prompt, and the ROSOMED competition case served as the reference standard. Five independent experts evaluated four scenarios using the original scale of assessment of a simulation scenario (SASS). The ChatGPT scenario (average score of 3.4) outperformed the human scenario (2.9). The AI evaluator generally ranked the scenarios similarly to the human experts, but it showed bias towards its own work when self-evaluating.

искусственный интеллектгенеративный ИИLLMсимуляционное обучениеклинические сценарииоценка качествамедицинское образованиепожар в операционнойartificial intelligencegenerative AILLMsimulation educationclinical scenariosReferencesAl-Elq A. H. Simulation-based medical teaching and learning. J Family Community Med. 2010 Jan; Vol. 17 (1). P. 35–40. DOI: 10.4103/1319-1683.68787. PMID: 22022669; PMCID: PMC3195067Al-Elq A. H. Simulation-based medical teaching and learning. J Family Community Med. 2010 Jan; Vol. 17 (1). P. 35–40. DOI: 10.4103/1319-1683.68787. PMID: 22022669; PMCID: PMC3195067Issenberg S. B., McGaghie W. C., Petrusa E. R., Lee Gordon D., Scalese R. J. Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review // Med Teach. 2005 Jan. Vol. 27 (1). P. 10–28. DOI: 10.1080/01421590500046924. PMID: 16147767.Issenberg S. B., McGaghie W. C., Petrusa E. R., Lee Gordon D., Scalese R. J. Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review // Med Teach. 2005 Jan. Vol. 27 (1). P. 10–28. DOI: 10.1080/01421590500046924. PMID: 16147767.Kasneci E., Sessler K., Küchemann S., Bannert M., Dementieva D., Fischer F., Gasser U., Groh G., Günnemann S., Hüllermeier E., Krusche S., Kutyniok G., Michaeli T., Nerdel C., Pfeffer J., Poquet O., Michael Sailer M., Schmidt A., Seidel T., Stadler M., Kasneci G. ChatGPT for good? On opportunities and challenges of large language models for education // Learning and Individual Differences. 2023. Vol. 103. № 102274. DOI: 10.1016/j.lindif.2023.102274Kasneci E., Sessler K., Küchemann S., Bannert M., Dementieva D., Fischer F., Gasser U., Groh G., Günnemann S., Hüllermeier E., Krusche S., Kutyniok G., Michaeli T., Nerdel C., Pfeffer J., Poquet O., Michael Sailer M., Schmidt A., Seidel T., Stadler M., Kasneci G. ChatGPT for good? On opportunities and challenges of large language models for education // Learning and Individual Differences. 2023. Vol. 103. № 102274. DOI: 10.1016/j.lindif.2023.102274

The authors declare that there are no conflicts of interest present.