Научная статья
8 апреля 2026
Открытый доступ

Практика английского языка в виртуальной реальности: анализ результатов и ошибок студентов инженерных специальностей

Корзин А. С.
Алексеева Н. А.
Шалеева Е. Ф.
Дмитриченкова С. В.
Круглова Л. В.

Аннотация

Цель настоящего исследования состоит в выявлении факторов, затрудняющих прохождение студентами инженерных специальностей с уровнем владения английским языком A2-B1 учебного диалога на иностранном языке в виртуальной реальности (VR), на основе анализа структуры ошибок, выявленной по статистике выполнения сценария. В статье рассмотрены результаты прохождения сценария “Basic information about the company” в двух режимах (демонстрация и экзамен) и проведено сопоставление распределений пользователей с использованием описательной статистики и графического анализа (гистограммы, оценка плотности распределения (KDE-оценка), диаграмма размаха (box-plot)). В ходе анализа ошибок были выделены и рассмотрены два основных типа: ошибки, связанные с выбором обучающимися неправильного варианта ответа, и ошибки распознавания речи (система не принимает или не распознает корректно произнесенный ответ). Эти ошибки анализировались на каждом этапе диалога. Научная новизна исследования состоит в том, что в нем впервые на материале реальных результатов прохождения VR-диалога студентами инженерных специальностей Российского университета дружбы народов имени Патриса Лумумбы в рамках обучения английскому языку предложен и применен индекс доминирования ошибок распознавания (RDI), позволяющий оценить вклад технического фактора (системы автоматического распознавания речи, ASR) в общую структуру ошибок и отделить его от ошибок, связанных с выбором обучающимися неправильного варианта ответа. В результате установлено, что общая сложность заданий VR-диалогов в режимах «демонстрация» и «экзамен» является сопоставимой (медианные значения около 65-67%), однако результаты по прохождению режима «экзамен» сосредоточены в диапазоне 60-70%, тогда как в «демонстрации» наблюдаются более высокая вариативность результатов и наличие низких показателей успеваемости. Было продемонстрировано, что главной проблемой при прохождении обучения являются ошибки распознавания речи. Они встречаются чаще, чем ошибки, связанные с выбором обучающимися неправильного варианта ответа, – в среднем 41,8% по сравнению с 30,2%. Использование показателя RDI позволяет заключить, что ошибки в основном связаны с распознаванием речи и составляют около 76%. На уровне отдельных реплик максимальные ошибки в распознавании речи встречаются в формулах благодарности, завершающих диалог, и вопросах о специализации компании. Наибольшая доля неверных выборов связана с этапами диалога, где необходимо строго соблюдать речевой этикет и точные формулировки. Результаты показывают, что пользователи испытывают больше трудностей с VR-диалогами не из-за недостатка знаний, а из-за проблем с распознаванием речи и особенностей оформления ответов. Это указывает на необходимость улучшения модуля распознавания речи и дизайна сценариев для оценки коммуникативных навыков.

Источники

Baker R. S., Inventado P. S. Educational Data Mining and Learning Analytics // Learning Analytics: From Research to Practice / ed. by J. A. Larusson, B. White. Springer, 2014. https://doi.org/10.1007/978-1-4614-3305-7_4
Bohus D. Error awareness and recovery in conversational spoken language interfaces: Doctoral dissertation. Pittsburgh: Carnegie Mellon University, 2007.
Bohus D., Rudnicky A. Sorry and I didn’t catch that! – an investigation of non-understanding errors and recovery strategies // Proceedings of the 6th SIGdial Workshop on Discourse and Dialogue. Lisbon, 2005.
Broussard K. M. Errors in Language Learning and Use: Exploring Error Analysis by Carl James // TESOL Quarterly. 1999. Vol. 33. No. 1. https://doi.org/10.2307/3588202
Chen C., Yuan Y. Effectiveness of Virtual Reality on Chinese as a second language vocabulary learning: perceptions from international students // Computer Assisted Language Learning. 2023. Vol. 38 (3). https://doi.org/10.1080/09588221.2023.2192770
De Araujo A., Papadopoulos P. M., Mckenney S., De Jong T. A learning analytics‐based collaborative conversational agent to foster productive dialogue in inquiry learning // Journal of Computer Assisted Learning. 2024. Vol. 40 (6). https://doi.org/10.1111/jcal.13007
De Vries B. P., Cucchiarini C., Bodnar S., Strik H., Van Hout R. Spoken grammar practice and feedback in an ASR-based CALL system // Computer Assisted Language Learning. 2014. Vol. 28 (6). https://doi.org/10.1080/09588221.2014.889713
Field A. Discovering Statistics Using IBM SPSS Statistics. 5th ed. Sage Publications, 2018.
Frigge M., Hoaglin D. C., Iglewicz B. Some implementations of the Boxplot // The American Statistician. 1989. Vol. 43 (1).
Graesser A., Jordan P., Vanlehn K., Rosé C., Harter D.Intelligent tutoring systems with conversational dialogue // AI Magazine. 2001. Vol. 22 (4). https://doi.org/10.1609/aimag.v22i4.1591
Heift T., Schulze M. Errors and Intelligence in Computer-Assisted Language Learning: Parsers and Pedagogues. Routledge, 2007.
James C. Errors in language learning and use: Exploring error analysis. Routledge, 2013.
Jurafsky D., Martin J. H. Speech and Language Processing. 3rd ed. Pearson, 2020.
Kang B. O., Jeon H., Lee Y. K. AI‐based language tutoring systems with end‐to‐end automatic speech recognition and proficiency evaluation // ETRI Journal. 2024. Vol. 46 (1). https://doi.org/10.4218/etrij.2023-0322
Knill K., Gales M., Kyriakopoulos K., Malinin A., Ragni A., Wang Y., Caines A. Impact of ASR Performance on Free Speaking Language Assessment // Interspeech 2018 (Hyderabad, India, 2-6 September 2018). 2018. https://doi.org/10.21437/interspeech.2018-1312
Lee A. Assessing Speaking Skills in Virtual Reality: Impacts and Implications // English Teaching. 2025. Vol. 80 (2).
Lev-Ari S.Comprehending non-native speakers: theory and evidence for adjustment in manner of processing // Frontiers in Psychology. 2015. Vol. 5. https://doi.org/10.3389/fpsyg.2014.01546
Lev-Ari S., Keysar B. Less-Detailed Representation of Non-Native Language: Why Non-Native Speakers’ Stories Seem More Vague // Discourse Processes. 2012. Vol. 49 (7). https://doi.org/10.1080/0163853x.2012.698493
Li K.-C., Chang M., Wu K.-H. Developing a Task-Based Dialogue System for English Language Learning // Education Sciences. 2020. Vol. 10 (11). https://doi.org/10.3390/educsci10110306
Palmas F., Cichor J., Plecher D. A., Klinker G. Acceptance and Effectiveness of a Virtual Reality Public Speaking Training // IEEE International Symposium on Mixed and Augmented Reality (ISMAR) (Beijing, China). 2019. https://doi.org/10.1109/ismar.2019.00034
Radzikowski K., Wang L., Yoshie O., Nowak R. Accent modification for speech recognition of non-native speakers using neural style transfer // EURASIP Journal on Audio, Speech, and Music Processing. 2021. Vol. 2021 (1). https://doi.org/10.1186/s13636-021-00199-3
Sadigzade Z. Immersive and Gamified Approaches: VR/AR in Language Learning // Porta Universorum. 2025. Vol. 1 (6). https://doi.org/10.69760/portuni.0106002
Scott D. W. Multivariate density estimation: Theory, practice, and visualization. Wiley, 2015.
Silverman B. W. Density estimation for statistics and data analysis. Chapman and Hall, 1986.
Thi-Nhu Ngo T., Hao-Jan Chen H., Kuo-Wei Lai K. The effectiveness of automatic speech recognition in ESL/EFL pronunciation: A meta-analysis // ReCALL. 2023. Vol. 36 (1). https://doi.org/10.1017/s0958344023000113
Tobin J., Nelson P., Macdonald B., Heywood R., Cave R., Seaver K., Desjardins A., Jiang P.-P., Green J. R. Automatic Speech Recognition of Conversational Speech in Individuals with Disordered Speech // Journal of Speech, Language, and Hearing Research: JSLHR. 2024. Vol. 67 (11). https://doi.org/10.1044/2024_jslhr-24-00045
Tukey J. W. Exploratory data analysis. Addison-Wesley, 1977.
VanLehn K. The relative effectiveness of human tutoring, intelligent tutoring systems, and other tutoring systems // Educational Psychologist. 2011. Vol. 46 (4).
Wang Z., Schultz T., Waibel A.Comparison of acoustic model adaptation techniques on non-native speech // 2003 IEEE International Conference on Acoustics, Speech, and Signal Processing (Hong Kong, China): Proceedings. 2003. https://doi.org/10.1109/icassp.2003.1198837
Yang X., Chen Y.-N., Hakkani-Tur D., Crook P., Li X., Gao J., Deng L. End-to-end joint learning of natural language understanding and dialogue manager // 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (New Orleans, LA, USA): Proceedings. 2017. https://doi.org/10.1109/icassp.2017.7953246