Developing a methodology for verifying frame structures based on expert evaluations by large language models

Abstract

The purpose of the study is to develop a methodology for verifying frame structures based on data from large language models. The article proposes a methodology for using generative artificial intelligence to verify a candidate frame structure constructed through frame modeling based on the analysis of dictionary definitions. The authors focus on the procedure and criteria for comparing the candidate frame structure with the structure obtained through interaction with generative artificial intelligence, as well as on the principles of frame modeling based on large language model data. The scientific novelty lies in proposing, for the first time, a procedure for verifying a frame model constructed using the classical method of dictionary-definition analysis. The procedure involves generating alternative frame models by several multilingual models using a single detailed prompt, followed by mandatory corpus-based verification of the proposed components. The study establishes that, when the candidate frame model “scientific and technological achievement” is compared with structures generated by five language models (Alice AI, GigaChat, ChatGPT, Perplexity AI, and DeepSeek), semantically obligatory and lexicographically explicit components are consistently reproduced regardless of the language of the model’s training corpus, whereas discourse-pragmatic components remain beyond the reach of generative inference. Of the five new components proposed by the models, only one passed empirical verification: the “Visual and Narrative Elements” slot, which was incorporated into the verified frame model.

Research materials

1. Алиса AI. https://alice.yandex.ru/
2. GigaChat. https://giga.chat/
3. ChatGPT. https://chatgpt.com/ru-RU/
4. Perplexity AI. https://www.perplexity.ai
5. DeepSeek. https://chat.deepseek.com

References

1. Минский М. Фреймы для представления знаний. М.: Энергия, 1979.
2. Овсянникова М. А. Анализ тональности текста посредством инструмента искусственного интеллекта // Три «л» в парадигме современного гуманитарного знания: лингвистика, литературоведение, лингводидактика: сборник научных статей. М.: Языки Народов Мира, 2025.
3. Овсянникова М. А., Николаева М. Н. Нейросети как инструмент анализа текста: сравнительный аспект // Язык в эпоху цифровых трансформаций и развития искусственного интеллекта: сборник научных статей по итогам международной научной конференции (Минск, 23-24 октября 2024 г.). Мн.: Минский государственный лингвистический университет, 2024.
4. Светикова А. Д. Использование систем искусственного интеллекта при конструировании фрейма «отношение смены собственника» (на основе программы YandexGPT2) // Наука в Мегаполисе. 2024. № 6 (62).
5. Селиверстова О. Н. Труды по семантике. М.: Языки славянской культуры, 2004.
6. Сулейманова О. А. Пути верификации лингвистических гипотез: pro et contra // Вестник МГПУ. Серия: Филология. Теория языка. Языковое образование. 2013. № 2 (12).
7. Сулейманова О. А., Фомина М. А. Верификационный потенциал семантического эксперимента // Современные лингвистические и методико-дидактические исследования. 2017. № 2 (34).
8. Сулейманова О. А., Фомина М. А. Триангуляционный подход в экспериментальной лингвистике // Русистика и компаративистика: научные труды по филологии. М.: Книгодел, 2018.
9. Тивьяева И. В. Интеграция искусственного интеллекта в лингвистические исследования: новые методологические возможности // Слово, фраза, текст в антропоцентрической парадигме: материалы международной научно‑практической конференции (Владимир, 13 марта 2026 г.). Владимир: Владимирский государственный университет им. А. Г. и Н. Г. Столетовых, 2026a.
10. Тивьяева И. В. Методологический статус ИИ-текстов в лингвистических исследованиях // Вестник МГПУ. Серия: Филология. Теория языка. Языковое образование. 2026b. № 3 (63).
11. Филлмор Ч. Фреймы и семантика понимания // Новое в зарубежной лингвистике. М.: Прогресс, 1988. Вып. 23. Когнитивные аспекты языка.
12. Чухарев Е. М., Худяков А. А. Когнитивная лингвистика и искусственный интеллект: результаты и тенденции взаимодействия // Вопросы когнитивной лингвистики. 2004. № 2-3.
13. Baker C. F., Fillmore Ch. J., Lowe J. B. The Berkeley FrameNet Project // 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics. Montreal: Association for Computational Linguistics, 1998. Vol. 1.
14. Fillmore C. J. Frame Semantics and the Nature of Language // Annals of the New York Academy of Sciences. 1976. Vol. 280 (1). https://doi.org/10.1111/j.1749-6632.1976.tb25467.x
15. Firsanova V. I. Verification of linguistic hypotheses applying large language models // Cherepovets State University Bulletin. 2025. Vol. 1 (124).
16. Hu J., Levy R. Language models align with human judgments on key grammatical constructions. 2024. https://doi.org/10.48550/arXiv.2402.01676
17. Koeva S. Large Language Models in Linguistic Research: the Pilot and the Copilot // Proceedings of the Sixth International Conference on Computational Linguistics in Bulgaria (CLIB 2024). Sofia: Bulgarian Academy of Sciences, 2024. https://doi.org/10.47810/CLIB.24.35
18. McEnery T., Hardie A. Corpus Linguistics. Cambridge: Cambridge University Press, 2011. https://doi.org/10.1017/CBO9780511981395
19. Petroni F., Rocktäschel T., Riedel S., Lewis P., Bakhtin A., Wu Y., Miller A. Language Models as Knowledge Bases? // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Hong Kong: Association for Computational Linguistics, 2019. https://doi.org/10.18653/v1/D19-1250
20. Qiu Z., Duan X., Cai Z. G. Grammaticality representation in ChatGPT as compared to linguists and laypeople // Humanities and Social Sciences Communications. 2025. Vol. 12. Art. 617. https://doi.org/10.1057/s41599-025-04907-8
21. Suleimanova O. A., Petrova I. M. Using Big Data Experiments in Cognitive and Linguo-Cultural Research in English and Russian // Journal of Siberian Federal University. Humanities and Social Sciences. 2020. Vol. 13. No. 3. https://doi.org/10.17516/1997-1370-0561
22. Suresh S., Mukherjee K., Giallanza T., Yu X., Patil M., Cohen J. D., Rogers T. T. AI‑Enhanced Semantic Feature Norms for 786 Concepts // Topics in Cognitive Science. 2026. Vol. 18 (2). Art. e70037. https://doi.org/10.1111/tops.70037
23. Suresh S., Mukherjee K., Rogers T. Semantic feature verification in FLAN‑T5. 2023. https://arxiv.org/pdf/2304.05591
24. Uchida S. Using early LLMs for corpus linguistics: Examining ChatGPT’s potential and limitations // Applied Corpus Linguistics. 2024. Vol. 4 (1). Art. 100089. https://doi.org/10.1016/j.acorp.2024.100089

Author information

About this article

Publication history

• Received: August 14, 2026.
• Published: November 5, 2026.

Keywords

• фреймовое моделирование
• кандидатная структура фрейма
• верификация фрейма
• большие языковые модели
• генеративный искусственный интеллект
• frame modeling
• candidate frame structure
• frame verification
• large language models
• generative artificial intelligence

Copyright

© 2026 The Author(s)
© 2026 Gramota Publishing, LLC

User license

Creative Commons Attribution 4.0 International (CC BY 4.0)