ПРО ОДИН ПIДХIД ПОБУДОВИ САМОАДАПТИВНИХ АЛГОРИТМIВ НА ОСНОВI СУМIШЕЙ РОЗПОДIЛУ

I. V. Malyk; Y. A. Litvinchuk

doi:10.31861/bmj2023.02.18

I. V. Malyk Чернівецький національний університет імені Юрія Федьковича, Чернівці, Україна
Y. A. Litvinchuk Чернівецький національний університет імені Юрія Федьковича, Чернівці, Україна

DOI: https://doi.org/10.31861/bmj2023.02.18

Ключові слова: сумiш розподiлiв, нормальний розподiл, алгоритми кластеризацiї, оптимiзацiйна задача, генетичний алгоритм, CMA-ES алгоритм

Анотація

Самоадаптивнi алгоритми на даний момент є найбiльш дослiджуваними алгоритмами, як в теорiї алгоритмiв в цiлому, так i в машинному навчаннi, глибинному навчаннi та штучному iнтелектi. Активнiсть щодо вивчення даних алгоритмiв поряд iз вивченням самоадаптивних нейронних мереж диктується широким спектром використання автоматичних або автоматизованих систем, якi розв’язують рiзнi задачi машинного навчання, зокрема класифiкацiї та вiдновлення регресiї. З точки зору класичної теорiї вибору топологiї нейронної мережi, задача зводиться до знаходження алгоритму iз автоматичного пiдбору гiперпараметрiв нейронної мережi, а саме, кiлькостi прихованих шарiв, розмiрностi шарiв, функцiй активацiї, тощо.
У данiй роботi вказано один iз пiдходiв, що дозволить будувати самоадаптивнi алгоритми оцiнки параметрiв (гiперпараметрiв) складних систем та узагальнювати класичнi генетичнi та еволюцiйнi алгоритми. Основна iдея, яку буде висвiтлено в данiй роботi, базується на припущеннi про мультимодальнiсть цiльової функцiї та ефективнiсть використання сумiшей розподiлiв замiсть одномодальних розподiлiв у класичному випадку. Однiєю iз головних проблем у данiй роботi є оцiнка розмiрностi сумiшi та алгоритми збiльшення чи зменшення сумiшi. Методи збiльшення чи зменшення розмiрностi сумiшi базуються на методах кластерного аналiзу, якi використовуються в алгоритмах кластеризацiї великих даних CURE та BIRCH. Аналiз самоадаптивного алгоритму на основi сумiшi розподiлiв розглянемо на прикладi CMA-ES алгоритму, який є одним iз основних представникiв алгоритмiв з одномодальними розподiлами нових хромосом у генетичному алгоритмi. Вказаний у роботi пiдхiд може бути використаний i для iнших оптимiзацiйних алгоритмiв класифiкацiї чи вiдновлення регресiї.

Завантаження

Дані завантаження ще не доступні.

Посилання

References
[1] Sakamoto, N., & Akimoto, Y. (2017). Modified box constraint handling for the covariance matrix adaptation evolution strategy. Proceedings of the Genetic and Evolutionary Computation Conference Companion on - GECCO ’17. https://doi.org/10.1145/3067695.3075986
[2] Dang, V.-H., Vien, N. A., & Chung, T. (2019). A covariance matrix adaptation evolution strategy in reproducing kernel Hilbert space. Genetic Programming and Evolvable Machines. https://doi.org/10.1007/s10710-019-09357-1
[3] Roeva, O.; Zoteva, D.;Roeva, G.; Lyubenova, V. (2023). An Efficient Hybrid of an Ant Lion Optimizer an dGenetic Algorithm for a Model Parameter Identification Problem.Mathematics, 11, 1292. https://doi.org/10.3390/math11061292
[4] Albadr, M. A., Tiun, S., Ayob, M., & AL-Dhief, F. (2020). Genetic Algorithm Based on Natural Selection Theory for Optimization Problems. Symmetry, 12(11), 1758. https://doi.org/10.3390/sym12111758
[5] Xuefeng, W., & Chen, M. (2021). Application of Mathematical Model Based on Optimization Theory and Particle Swarm Algorithm in Radar Station Layout Optimization. Journal of Physics: Conference Series, 1848(1), 012087. https://doi.org/10.1088/1742-6596/1848/1/012087
[6] Dorsey, Robert & Mayer, Walter. (1995). Genetic Algorithms for Estimation Problems With Multiple Optima, Nondifferentiability, and Other Irregular Features. Journal of Business & Economic Statistics. 13. 53-66. https://doi.org/10.1080/07350015.1995.10524579.
[7] Alhijawi, Bushra & Awajan, Arafat. (2023). Genetic algorithms: theory, genetic operators, solutions, and applications. Evolutionary Intelligence. 1-12. 10.1007/s12065-023-00822-6.
[8] Hansen, Nikolaus & M¨uller, Sibylle & Koumoutsakos, Petros. (2003). Reducing the Time Complexity of the Derandomized Evolution Strategy with Covariance Matrix Adaptation (CMA-ES). Evolutionary computation. 11. 1-18. https://doi.org/10.1162/106365603321828970.
[9] Ilya Loshchilov, Frank Hutter. CMA-ES for Hyperparameter Optimization of Deep NeuralNetworks. (2016). arXiv:1604.07269v1 [cs.NE] 25. – 9p. https://doi.org/10.48550/arXiv.1604.07269
[10] Hansen, Nikolaus & Ros, Raymond & Mauny, Nikolas & Schoenauer, Marc & Auger, Anne. (2011). Impacts of Invariance in Search: When CMA-ES and PSO Face Ill-Conditioned and Non-Separable Problems. Applied Soft Computing. 11. https://doi.org/10.1016/j.asoc.2011.03.001.
[11] Malyk I.V., Litvinchuk Yu.A. (2023). The extended CMA-ES algorithm. Bukovinian Math Journal. 10, 2, 137-143. https://doi.org/10.31861/bmj2022.02.09.
[12] Sundberg, Rolf (2019). Statistical Modelling by Exponential Families. Cambridge University Press.
[13] Lorbeer, Boris & Kosareva, Ana & Deva, Bersant & Softić, Dženan & Ruppel, Peter & Küpper, Axel. (2017). Variations on the Clustering Algorithm BIRCH. Big Data Research. 11. 10.1016/j.bdr.2017.09.002.
[14] Lang, Andreas & Schubert, Erich. (2020). BETULA: Numerically Stable CF-Trees for BIRCH Clustering.
[15] Kogan, Jacob; Nicholas, Charles K.; Teboulle, M. (2006). Grouping multidimensional data: recent advances in clustering. Springer.
[16] Guha, Sudipto & Rastogi, Rajeev & Shim, Kyuseok. (1998). CURE: An efficient clustering algorithm for large databases. Information Systems. 26. 35-58. 10.1016/S0306-4379(1)00008-4.
[17] Qian, Yun-Tao & Shi, Qing-Song & Wang, Qi. (2002). CURE-NS: a hierarchical clustering algorithm with new shrinking scheme. 2. 895 - 899 vol.2. 10.1109/ICMLC.2002.1174512.