chebЧебышевский сборникChebyshevskii Sbornik2226-8383Tula State Lev Tolstoy Pedagogical University10.22405/2226-8383-2022-23-2-151-160cheb-1275Research ArticleСтатьиArticleПостроение и анализ моделей русского языка в связи с исследованиями криптографических алгоритмовThe construction and analysis of the Russian language models for a cryptographic algorithm researchМалашинаАнастасия ГеннадьевнаMalashinaAnastasia Gennad’evnaamalashina@hse.ruЛосьАлексей БорисовичLosAlexey Borisovich

кандидат технических наук, доцент 

candidate of technical sciences, assosiate professor

alos@hse.ruНациональный исследовательский университет «Высшая школа экономики»РоссияNational Research University «Higher School of Economics»Russian FederationНациональный исследовательский университет «Высшая школа экономики»РоссияNational Research University «Higher School of Economics»Russian Federation202207072022232151160Copyright © Малашина А.Г., Лось А.Б., 20222022Малашина А.Г., Лось А.Б.Malashina A.G., Los A.B.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.chebsbornik.ru/jour/article/view/1275

При исследовании криптографических качеств алгоритмов защиты информации важным моментом является построение теоретических и экспериментальных моделей источников сообщений. В данной статье проводится статистический анализ свойств лексических и n-граммных моделей русского языка на основе новостного текстового корпуса. Созданспециализированный корпус из новостных статей последних лет политической направленности, отражающий узкую область употребления языка. Составлены словари токенов иn-грамм, найдены величины покрытия этих словарей, а также значения энтропии. Проведена лемматизация исходного текстового корпуса и экстраполяция роста объёма словарейв зависимости от увеличения размера корпуса.

The article provides a statistical analysis of the properties of lexical and n-gram models of the Russian language based on the news text corpus. A specialized corpus of political news articles of recent years has been created, reflecting a narrow area of language use. The token and n-gram dictionaries are compiled, the coverage values are found, as well as the values ofentropy. Lemmatization of the original text corpus and extrapolation of the dictionary volumes are performed.

словари n-граммэнтропия n-граммосмысленные тексты.n-gram dictionariesn-gram entropymeaningful texts.ReferencesАлферов А. П., Зубов А. Ю., Кузьмин А. С., Черемушкин А. В., Основы криптографии: учебное пособие. 3-е изд., испр. и доп. // М.: Гелиос АРВ, 2005. – 408 с.Alferov A.P., Zubov A. Ju., Kuz’min A. S. & Cheremushkin A. V. 2005, “Fundamentals of cryptography: textbook: 3rd ed., ISPR. and add.”[“Osnovy kriptografii: uchebnoe posobie: 3-eБабаш А. В., Шанкин Г. П., Криптография, Москва: СОЛОН-ПРЕСС, 2007.izd., ispr. i dop.”], Gelios ARV, p. 408.Викторов А. Б., Грамницкий С. Г., Гордеев С. С., Ескевич М. В. и Климина Е. М. Универсальная методика подготовки компонентов обучения систем распознавания речи //Babash A. V. & Shankin G.P. 2007, “Cryptography” [“Kriptografija”], SOLON-PRESS.Речевые технологии, pp. 39-56, Февраль 2009.Viktorov A. B., Gramnickij S. G., Gordeev S. S., Eskevich M. V. & Klimina E. M. 2009, “The universal method for preparing speech recognition system training components” [“Universal’-Волосатова Т. М., Информатика и лингвистика: учеб. пособие, Волосатова Т. М. и Чичварин Н. В. // ИНФРА-М, 2018, 196 с.naja metodika podgotovki komponentov obuchenija sistem raspoznavanija rechi”], Rechevye tehnologii, pp. 39-56.Кипяткова И. С. Исследование статистических n-граммных моделей языка для распознавания слитной русской речи со сверхбольшим словарем // Анализ разговорной русскойVolosatova T. M. & Chichvarin N. V. 2018, “Computer science and linguistics: textbook” [“Informatika i lingvistika: ucheb. posobie”], INFRA-M, p.196.речи , Санкт-Петербург, 2010.Kipjatkova I. S. 2010, “Research of statistical N-gram language models for recognition of merged Russian speech with a super-large dictionary” [“Issledovanie statisticheskih n-grammnyh modelej jazyka dlja raspoznavanija slitnoj russkoj rechi so sverhbol’shim slovarem”], Analiz razgovornoj russkoj rechi, Sankt-Peterburg.Малашина А. Г. Алгоритм восстановления отдельных частей сообщения по информации о возможных значениях его знаков, Материалы конференции // Межвузовская научно-техническая конференция студентов, аспирантов и молодых специалистов имени Е.В. Арменского. – Москва, 2019. C. 215-217.Malashina A. G. 2019, “The algorithm for recovering discrete message parts based on information about possible values of its characters. Proc.” [“Algoritm vosstanovlenija otdel’nyhШеннон К., Работы по теории информации и кибернетике // М: Издательство иностранной литературы, 1963.chastej soobshhenija po informacii o vozmozhnyh znachenijah ego znakov. Materialy konferencii”], Mezhvuzovskaja nauchno-tehnicheskaja konferencija studentov, aspirantov i molodyhЯглом А. М., Яглом И. М., Вероятность и информация: 3-е изд., испр. и доп. // М: издательство «Наука», 1973, 236-290 с.specialistov imeni E.V. Armenskogo, Moscow, pp. 215-217.Bellegarda J. R. Robustness in Statistical Language Modeling // Robustness in Language and Speech Technology , Springer Science+Business Media Dordrecht, 2001, pp. 104-106.Shennon C. E. 1963, “Works on information theory and Cybernetics” [“Raboty po teorii informacii i kibernetike”], Izdatel’stvo inostrannoj literatury.Chase L., Rosenfeld R., Ward W. Error-responsive modifications to speech recognizers: negative n-grams // Third International Conference on Spoken Language Processing, Yokohama, 1994.Jaglom A. M. & Jaglom I. M. 1973, “Probability and information: 3rd ed., cor. and exp.” [“Verojatnost’ i informacija: 3-e izd., ispr. i dop.”], Nauka, pp. 236-290.Florencio D., Herley C. A Large-Scale Study of Web Password Habits // Proceeds of the International World Wide Web Conference Committee, 2015.Bellegarda J. R. 2001, “Robustness in Statistical Language Modeling”, Robustness in Language and Speech Technology , Springer Science+Business Media Dordrecht, pp. 104-106.Gelbukh A., Sidorov G. Zipf and Heaps Laws’ Coefficients Depend on Language // Conference on Intelligent Text Processing and Computational Linguistics, Mexico City, 2001.Chase L., Rosenfeld R. & Ward W. 1994, “Error-responsive modifications to speech recognizers: negative n-grams”, Third International Conference on Spoken Language Processing.Kechedzhy K. E. Rank distributions of words in additive many-step Markov chaons and the Zipf law // Phys. Rev. E. – 2005 – Vol. 72.Florencio, D. & Herley, C. 2007, “A Large-Scale Study of Web Password Habits”, Proceeds of the International World Wide Web Conference Committee.Massey J. Guessing and entropy // Proceedings of 1994 IEEE International Symposium on Information Theory. IEEE. p. 204.Gelbukh A. & Sidorov G. 2001, “Zipf and Heaps Laws’ Coefficients Depend on Language”, Conference on Intelligent Text Processing and Computational Linguistics.Rosenfeld R. Optimizing lexical and n-gram coverage via judicious use of linguistic data // Proceedings of the Fourth European Conference on Speech Communication and Technology – Madrid, 1995.Kechedzhy K. E., Usatenko K. E. & V. A. Yampol’skii 2005, “Rank distributions of words in additive many-step Markov chaons and the Zipf law”, Phys. Rev. E., vol. 72.Massey J. 1994, “Guessing and entropy”, Proceedings of 1994 IEEE International Symposium on Information Theory, p. 204.Massey J. 1994, “Guessing and entropy”, Proceedings of 1994 IEEE International Symposium on Information Theory, p. 204.Rosenfeld R. 1995, “Optimizing lexical and n-gram coverage via judicious use of linguistic data”, Proceedings of the Fourth European Conference on Speech Communication and Technology.Rosenfeld R. 1995, “Optimizing lexical and n-gram coverage via judicious use of linguistic data”, Proceedings of the Fourth European Conference on Speech Communication and Technology.

The authors declare that there are no conflicts of interest present.