Распознавание аномалий неизвестного заранее типа
https://doi.org/10.22405/2226-8383-2022-23-5-227-240
Аннотация
В работе предложена модификация метода PaDiM детекции аномалий, сопоставляющему изображению вектор и вычисляющему расстояние Махаланобиса от такого вектора
до распределения векторов обучающего множенства. Выделяется подмножество тех координатных осей векторов, распределение вдоль которых наименее близко к нормальному в сравнении с остальными по выбранному статистическому критерию. Применение к этим координатам векторов процедуры выпрямления (униформизации) перед вычислением расстояния Махаланобиса повышает значение ROCAUC метода PaDiM.
Об авторах
Александр Олегович Иванов
Московский государственный университет им. М. В. Ломоносова
Россия
Россия
доктор физико-математических наук, профессор
Глеб Владимирович Носовский
Московский государственный университет им. М. В. Ломоносова
Россия
Россия
кандидат физико-математических наук, доцент
Владислав Александрович Кибкало
Московский государственный университет им. М. В. Ломоносова; Московский центр фундаментальной и прикладной математики
Россия
Россия
кандидат физико-математических наук
Михаил Александрович Никулин
Московский государственный университет им. М. В. Ломоносова
Россия
Россия
аспирант
Федор Юрьевич Попеленский
Московский государственный университет им. М. В. Ломоносова
Россия
Россия
кандидат физико-математических наук
Денис Александрович Федосеев
Московский государственный университет им. М. В. Ломоносова
Россия
Россия
кандидат физико-математических наук
Иван Владимирович Грибушин
ООО «Техкомпания Хуавей»
Россия
Россия
ведущий инженер
Валерий Валерьевич Злобин
ООО «Техкомпания Хуавей»
Россия
Россия
ведущий инженер ключевых проектов
Сергей Сергеевич Кузин
ООО «Техкомпания Хуавей»
Россия
Россия
ведущий инженер
Иван Леонидович Мазуренко
Московский государственный университет им. М. В. Ломоносова; , ООО «Техкомпания Хуавей»
Россия
Россия
кандидат физико-математических наук, заведующий лабораторией интеллектуальных систем и науки о данных HUAWEI
Список литературы
1. Falkoner K. Fractal geometry: mathematical foundations and applications // Chichester etc.:
2. John Wiley & Sons 1990, ISBN 0-471-92287-0, xxii + 288.
3. Defard T., Setkov A., Loesch A., Audigier R. PaDiM: a Patch Distribution Modeling Framework
4. for Anomaly Detection and Localization // arXiv e-print: https://arxiv.org//pdf/
5. /2011.08785v1.pdf 2020.
6. Realization of PaDiM approach // https://github.com/xiahaifeng1995/PaDiM-Anomaly-
7. Detection-Localization-master.
8. Bergmann P., Batzner K., Fauser M., Sattlegger D., Steger C. The MVTec Anomaly Detection
9. Dataset: A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection //
10. International Journal of Computer Vision 2021, Vol. 129, P. 1038–1059.
11. Venturini G. M. Statistical Distances and Probability Metrics for Multivariate Data, Ensembles
12. and Probability Distributions // Ph.D. THESIS (advisor: Alberto Munoz Garcia), Dep. of
13. Statistics, Univ. Carlos III, Leganes, Madrid, Spain, June, 2015.
14. Grudic G. Z., Mulligan J. Outdoor Path Labeling Using Polynomial Mahalanobis Distance //
15. Robotics: Science and Systems II, August 16-19, 2006. University of Pennsylvania, Philadelphia,
16. Pennsylvania, USA.
17. Shapiro S. S., Wilk M. B. An analysis of variance test for normality (complete samples) //
18. Biometrica 1965. Vol. 52, P. 591-611.
19. Ivanov A., Nosovskiy G., Chekunov A., Fedoseev D., Kibkalo V., Nikulin M., Popelenskiy F.,
20. Komkov S., Mazurenko I., Petiushko A. Manifold Hypothesis in Data Analysis: Double
21. Geometrically-Probabilistic Approach to Manifold Dimension Estimation // arXiv e-print:
22. arXiv:2107.03903 [cs.LG] 2021.
23. Stolz B., Tanner J., Harrington H., Nanda V. Geometric anomaly detection in data // Proceedings
24. of the National Academy of Sciences 2020, Vol. 117, P. 202001741, DOI: 10.1073/
25. /pnas.2001741117.
26. Erba V., Gherardi M., Rotondo P. Intrinsic dimension estimation for locally undersampled data
27. // Sci. Rep. 2019, Vol. 9, doi:10.1038/s41598-019-53549-9.
28. Fefferman C., Mitter S., Narayanan H. Testing the manifold hypothesis // J. Amer. Math. Soc.
29. , Vol. 29, doi:10.1090/jams/852.
30. Bernstein A., Burnaev E., Erofeev P. Manifold Reconstruction in Dimension Reduction Problem
31. // International conference “Intelligent Information Processing” IIP-9 2012.
32. Grassberger P., Procaccia I. Measuring the strangeness of strange attractors // Physica D:
33. Nonlinear Phenomena 1983, Vol. 9, P. 189-208.
34. Eckmann J.-P., Ruelle D. Fundamental limitations for estimating dimensions and Lyapunov
35. exponents in dynamical systems // Physica D: Nonlinear Phenomena 1992, Vol. 56, P. 185-187.
36. Mordohai P., Medioni G. Dimensionality Estimation, Manifold Learning and Function Approximation
37. using Tensor Voting // Journal of Machine Learning Research 2010, Vol. 11, P.
38. -450.
39. He J., Jiang L., Ding L., Ii Z. Intrinsic Dimensionality Estimation based on Manifold
40. Assumption // Journal of Visual Communication and Image Representation 2014, Vol. 25,
41. Issue 5, P. 740-747.
42. Granata D., Carnevale V. Accurate Estimation of the Intrinsic Dimension Using Graph
43. Distances: Unraveling the Geometric Complexity of Datasets // Sci. Rep. 2016, Vol. 6,
44. doi:10.1038/srep31377.
45. Levina E., Bickel P. J. Maximum likelihood estimation of intrinsic dimension // Advances in
46. neural information processing systems 2005, P. 777-784.
Рецензия
Для цитирования:
Иванов А.О., Носовский Г.В., Кибкало В.А., Никулин М.А., Попеленский Ф.Ю., Федосеев Д.А., Грибушин И.В., Злобин В.В., Кузин С.С., Мазуренко И.Л. Распознавание аномалий неизвестного заранее типа. Чебышевский сборник. 2022;23(5):227-240. https://doi.org/10.22405/2226-8383-2022-23-5-227-240
For citation:
Ivanov A.O., Nosovsky G.V., Kibkalo V.A., Nikulin M.A., Popelensky F.Yu., Fedoseev D.A., Gribushin I.V., Zlobin V.V., Kuzin S.S., Mazurenko I.L. Recognition of anomalies of an a priori unknown type. Chebyshevskii Sbornik. 2022;23(5):227-240. (In Russ.) https://doi.org/10.22405/2226-8383-2022-23-5-227-240
Просмотров:
467
Послать статью по эл. почте 