РОЗШИРЕНИЙ АЛГОРИТМ СТРАТЕГIЇ ЕВОЛЮЦIЇ АДАПТАЦIЇ КОВАРIАЦIЙНОЇ МАТРИЦЇ
Анотація
В роботі розглянуто розширення алгоритму CMA-ES з використанням сумішей розподілів для знаходження оптимальних гіперпараметрів нейронних мереж. Розроблений алгоритм побудовано згідно припущення багатопіковості щільності розподілу параметрів складних систем. На основі методу Монте Карло було встановлено, що новий алгоритм покращує пошук оптимальних гіперпараметрів в середньому на 12%.
Завантаження
Посилання
[1] Bergstra J., Bengio Y. Random search for hyper-parameter optimization. JMLR, 13:281–305, 2012.
[2] Snoek J., Rippel O., Swersky K., Kiros R., Satish N., Sundaram N., Patwary M., Ali M., Adams R., et al. Scalable bayesian optimization using deep neural networks. arXiv preprint arXiv:1502.05700, 2015
[3] Eggensperger K., Feurer M., Hutter F., Bergstra J., Snoek J., Hoos H., and Leyton-Brown K. Towards an empirical foundation for assessing Bayesian optimization of hyperparameters. In
NIPS workshop on Bayesian Optimization in Theory and Practice. - 2013.- 5p.
[4] Venkatesan D., Kannan K., Saravanan R. A genetic algorithm-based artificial neural network model for the optimization of machining processes. Neural Computing and Applications. -
February 2009.- 7p.
[5] Beyer H.-G. The Theory of Evolution Strategies. - Springer; 2001st edition (March 27, 2001).- 401p.
[6] Loshchilov I. , Hutter F. CMA-ES for Hyperparameter Optimization of Deep Neural Networks. arXiv:1604.07269v1 [cs.NE] 25 Apr 2016. – 9p.
[7] Hansen N. and Ostermeier A., Ostermeier A. Completely derandomized self-adaptation in evolution strategies.Evolutionary computation, 9(2):159–195, 2001.
[8] Loshchilov I., Schoenauer M., and Sebag M. Bi-population CMA-ES agorithms with surrogate‘models and line searches. In Proc. of GECCO’13, pp. 1177–1184. ACM, 2013.
[9] Loshchilov I., Schoenauer M., and Sebag M. Self-adaptive Surrogate-Assisted Covariance Matrix Adaptation Evolution Strategy. In Proceedings of the 14th annual conference on
Genetic and evolutionary computation, pp. 321–328. ACM, 2012.
[10] Watanabe Sh. and Le Roux J. Black box optimization for automatic speech recognition. In Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on,
pp. 3256– 3260. IEEE, 2014.
[11] McLachlan G. and Peel J. Finite Mixture Models. Wiley, New-York, NY, USA. 42p., 2000.
[12] Lee G. and Scott C. Em algorithms for multivariate gaussian mixture models with truncated and censored data. Computational Statistics Data Analysis, 56(9):2816–2829, 2012. – 13p.
[13] Peter W., Buchen and Michael K. The Maximum Entropy Distribution of an Asset Inferred from Option Prices. The Journal of Financial and Quantitative Analysis Vol. 31, No. 1 (Mar.,
1996), pp. 143-159
[14] Dempster, A. P., Laird, N., and Rubin D. Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society. Series B (Methodological), 39(1):1–38.
Pages: 12, 44, 89. 1977.
[15] Karlis D. EM Algorithm for Mixed Poisson and Other Discrete Distributions. https://doi.org/10.1017/S0515036100014033 Published online by Cambridge University Press.May 2005 , pp. 3 - 24
[16] KARLIS, D. Estimation and hypothesis testing problems in Poisson mixtures. Phd Thesis, Department of Statistics, Athens University of Economics. 1998.
[17] Anaya-Izquierdo K., Marriott P. Local mixture models of exponential families (Submitted). 2006.
[18] Carta J., Ramirez P. Analysis of two-component mixture Weibull statistics for estimation of wind speed distributions. Renew Energy 32:518:531. 2007.
[19] Elmahdy E., Aboutahoun A. A new approach for parameter estimation of of finite Weibull mixture distributions for reliability modeling. Appl Math Model 37:1800:1810. 2013.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
3. Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
