Signs of machine generation in student works on higher mathematics

Abstract

The purpose of the study is to identify and systematize markers of machine generation and to develop tools for verifying the authorship of student works (as exemplified by higher mathematics). The article examines the limitations of traditional detectors when analyzing mathematical problems and identifies specific features of content generation by large language models. The scientific novelty of the study lies in the development of a classification system of machine generation markers as applied to the context of problem-solving in the exact sciences, which takes into account the limitations of large language models. The result of the study is a system comprising 14 markers grouped into five categories: subject-specific, stylistic, conceptual, formal, and factual. Through ROC analysis on a control sample, the optimal threshold value for initiating pedagogical monitoring was determined (5 points), showing a sensitivity of 0.92 and a specificity of 0.84. Testing of the system on a dataset of more than 1,000 student works confirmed its diagnostic effectiveness.

References

1. Агамалиев Р. Т. Проблемы цифровизации в образовании как объект гуманитарных научных исследований начала 21 века // Управление образованием: теория и практика. 2025. № 9-1. https://doi.org/10.25726/o9513-8295-9647-g
2. Айдагулова А. Р. Особенности текстов, сгенерированных искусственным интеллектом // Вестник Башкирского государственного педагогического университета им. М. Акмуллы. 2023. № 4 (72).
3. Безуглый Т. А., Ершова М. Е. Использование текстовых нейросетей и искусственного интеллекта в учебных работах студентов // Проблемы современного образования. 2023. № 5.
4. Воронина Д. К., Шамов А. Н. Генеративный искусственный интеллект в языковом образовании: пути решения проблемы плагиата // Вестник Мининского университета. 2025. Т. 13. № 3. https://doi.org/10.26795/2307-1281-2025-133-5
5. Григорьев С. Г., Гриншкун В. В. Информатизация образования. Фундаментальные основы и практические приложения. Воронеж: Научная книга, 2014.
6. Гриншкун В. В., Суворова Т. Н. Особенности подготовки педагогов в условиях цифровой трансформации системы образования // Вестник Московского университета. Серия 20. Педагогическое образование. 2024. Т. 22. № 1. https://doi.org/10.55959/LPEJ-24-05
7. Зайцев Д. В. Почему большие языковые модели не (всегда) рассуждают как люди? // Вестник Московского университета. Серия 7. Философия. 2024. Т. 48.
8. Иванченко Д. А. Нейросетевые технологии в образовании: возможности и применение: методическое пособие. М.: Директ-Медиа, 2025. https://doi.org/10.23681/718842
9. Константинова Л. В., Ворожихин В. В., Петров А. М., Титова Е. С., Штыхно Д. А. Генеративный искусственный интеллект в образовании: дискуссии и прогнозы // Открытое образование. 2023. Т. 27. № 2. https://doi.org/10.21686/1818-4243-2023-2-36-48
10. Минапова Р. Я. Академическая нечестность студентов в период получения профессионального образования в условиях развития цифровой трансформации // Современные проблемы науки и образования. 2024. № 4. https://doi.org/10.17513/spno.33547
11. Панюкова С. В. Цифровые инструменты и сервисы в работе педагог: учебно-методическое пособие. М.: Про-Пресс, 2020.
12. Роберт И. В. Теория и методика информатизации образования (психолого-педагогический и технологический аспекты). М.: БИНОМ. Лаборатория знаний, 2014.
13. Сысоев П. В. Этика и ИИ-плагиат в академической среде: понимание студентами вопросов соблюдения авторской этики и проблемы плагиата в процессе взаимодействия с генеративным искусственным интеллектом // Высшее образование в России. 2024. Т. 33. № 2. https://doi.org/10.31992/0869-3617-2024-33-2-31-53
14. Тедорадзе Т. Г., Ольховская Е. П. Методы противодействия академической нечестности студентов при организации самостоятельной и проектной работы с помощью искусственного интеллекта // KANT. 2025. № 3 (56). https://doi.org/10.24923/2222-243X.2025-56.58
15. Тельпов Р. Е., Ларцина С. В. Типовые различия естественных и сгенерированных нейронной сетью текстов в квантитативном аспекте // Научный диалог. 2023. Т. 12. № 7. https://doi.org/10.24224/2227-1295-2023-12-7-47-65
16. Хузяхметов Р. Р., Ромашкина Г. Ф., Лукьяненко А. Е., Костомаров В. М., Кичикова Д. В. Применение искусственного интеллекта в высшем образовании: возможности и проблемы // МИР (Модернизация. Инновации. Развитие). 2025. № 16 (4). https://doi.org/10.18184/2079-4665.2025.16.4.642-659
17. Черкасова М. Н., Тактарова А. В. Признаки сгенерированного текста в академическом дискурсе: проблема идентификации // Филологические науки. Вопросы теории и практики. 2024. Т. 17. № 7. https://doi.org/10.30853/phil20240307
18. Шапошникова Т. Л., Тедорадзе Т. Г., Бус Т. В. Педагогический мониторинг как механизм противодействия академической нечестности студентов в условиях цифровой образовательной среды // Ученые записки университета имени П. Ф. Лесгафта. 2022. № 11 (213).
19. Anderson N., Belavy D. L., Perle S. M., Hendricks S., Hespanhol L., Verhagen E., Memon A. R. AI did not write this manuscript, or did it? Can we trick the AI text detector into generated texts? The potential future of ChatGPT and AI in sports & exercise medicine manuscript generation // BMJ Open Sport & Exercise Medicine. 2023. Vol. 9. No. 1. https://doi.org/10.1136/bmjsem-2023-001568
20. Cotton D. R. E, Cotton P. A, Shipway J. R. Chatting and cheating: Ensuring academic integrity in the era of ChatGPT // Innovations in Education and Teaching International. 2023. https://doi.org/10.1080/14703297.2023.2190148
21. Habibzadeh F. GPTZero Performance in Identifying Artificial Intelligence-Generated Medical Texts: A Preliminary Study // Journal of Korean medical science. 2023. Vol. 38. No. 38. https://doi.org/10.3346/jkms.2023.38.e319
22. Hua H., Yao C. J. Investigating generative AI models and detection techniques: impacts of tokenization and dataset size on identification of AI-generated text // Frontiers in Artificial Intelligence. 2024. No. 7. https://doi.org/10.3389/frai.2024.1469197
23. Liu H., Ning R., Teng Z., Liu J., Zhou Q., Zhang Y. Evaluating the logical reasoning ability of ChatGPT and GPT-4. 2023. https://doi.org/10.48550/arXiv.2304.03439
24. Malik M. A., Amjad A. I. AI vs AI: How effective are Turnitin, ZeroGPT, GPTZero, and Writer AI in detecting text generated by ChatGPT, Perplexity, and Gemini? // Journal of Applied Learning & Teaching. 2025. Vol. 8. No. 1 https://doi.org/10.37074/jalt.2025.8.1.9
25. Oc Y., Gonsalves C., Quamina L. T. Generative AI in higher education assessments: Examining risk and tech-savviness on student’s adoption // Journal of Marketing Education. 2025. Vol. 47. No. 2. https://doi.org/10.1177/02734753241302459
26. Trott S., Jones C., Chang T., Michaelov J., Bergen B. Do large language models know what humans know? // Cognitive Science. 2023. Vol. 47. Issue 7. https://doi.org/10.48550/arXiv.2209.01515
27. Uzun L. ChatGPT and Academic Integrity Concerns: Detecting Artificial Intelligence Generated Content // Language Education and Technology. 2023. Vol. 3. No. 1.
28. Vellaichamy K. Artificial Intelligence and its Significance in Education: A Theoretical Perspectives // Shanlax International Journal of English. 2023. Vol. 12. No. S1-Dec. https://doi.org/10.34293/rtdh.v12iS1-Dec.118
29. Walters W. H., Wilder E. I. Fabrication and errors in the bibliographic citations generated by ChatGPT // Scientific Reports. 2023. No. 13. https://doi.org/10.1038/s41598-023-41032-5

Author information

About this article

Publication history

• Received: June 17, 2026.
• Published: July 23, 2026.

Keywords

• маркеры машинной генерации
• большие языковые модели
• верификация авторства
• академическая нечестность
• педагогический инструментарий
• высшая математика
• machine generation markers
• large language models
• authorship verification
• academic dishonesty
• pedagogical toolkit
• higher mathematics

Copyright

© 2026 The Author(s)
© 2026 Gramota Publishing, LLC

User license

Creative Commons Attribution 4.0 International (CC BY 4.0)