CMA-ES (original) (raw)

About DBpedia

CMA-ES (共分散行列適応進化戦略、Covariance Matrix Adaptation Evolution Strategy の略) は、連続最適化問題のアルゴリズム。目的関数 の最小値を探す。目的関数の導関数は不要。100次元程度以下のノイズも乗っている目的関数を想定している。1996年に Nikolaus Hansen と Andreas Ostermeier が発表し、その後も改良が続けられている。

thumbnail

Property Value
dbo:abstract Covariance Matrix Adaptation Evolution Strategy (kurz CMA-ES) ist ein Monte-Carlo-Algorithmus zum Lösen von Black Box Optimierungsproblemen. Der Schritt der Covariance Matrix Adaptation (CMA) in der Evolutionsstrategie (ES) ist ein derandomisiertes Verfahren zur Adaptation der Kovarianzmatrix der normalverteilten Mutationsverteilung. Die Kovarianzmatrix der multivariaten Normalverteilung beschreibt die paarweise Abhängigkeiten zwischen den Variablen. Die Adaptation der Kovarianzmatrix in der Evolutionsstrategie ist vergleichbar mit der Approximation der inversen Hesse-Matrix in der klassischen Optimierung, wie z. B. im Quasi-Newton-Verfahren. Anwendung hat CMA-ES zum Beispiel in der Hyperparameteroptimierung gefunden. (de) Covariance matrix adaptation evolution strategy (CMA-ES) is a particular kind of strategy for numerical optimization. Evolution strategies (ES) are stochastic, derivative-free methods for numerical optimization of non-linear or non-convex continuous optimization problems. They belong to the class of evolutionary algorithms and evolutionary computation. An evolutionary algorithm is broadly based on the principle of biological evolution, namely the repeated interplay of variation (via recombination and mutation) and selection: in each generation (iteration) new individuals (candidate solutions, denoted as ) are generated by variation, usually in a stochastic way, of the current parental individuals. Then, some individuals are selected to become the parents in the next generation based on their fitness or objective function value . Like this, over the generation sequence, individuals with better and better -values are generated. In an evolution strategy, new candidate solutions are sampled according to a multivariate normal distribution in . Recombination amounts to selecting a new mean value for the distribution. Mutation amounts to adding a random vector, a perturbation with zero mean. Pairwise dependencies between the variables in the distribution are represented by a covariance matrix. The covariance matrix adaptation (CMA) is a method to update the covariance matrix of this distribution. This is particularly useful if the function is ill-conditioned. Adaptation of the covariance matrix amounts to learning a second order model of the underlying objective function similar to the approximation of the inverse Hessian matrix in the quasi-Newton method in classical optimization. In contrast to most classical methods, fewer assumptions on the underlying objective function are made. Because only a ranking (or, equivalently, sorting) of candidate solutions is exploited, neither derivatives nor even an (explicit) objective function is required by the method. For example, the ranking could come about from pairwise competitions between the candidate solutions in a Swiss-system tournament. (en) CMA-ES (共分散行列適応進化戦略、Covariance Matrix Adaptation Evolution Strategy の略) は、連続最適化問題のアルゴリズム。目的関数 の最小値を探す。目的関数の導関数は不要。100次元程度以下のノイズも乗っている目的関数を想定している。1996年に Nikolaus Hansen と Andreas Ostermeier が発表し、その後も改良が続けられている。 (ja) CMA-ES означає Коваріаційна матриця стратегії еволюції адаптації. Еволюційна стратегія (ЕС) є , похідною від методів чисельної оптимізації нелінійних або неопуклих проблем безперервної оптимізації. Вони належать до класу еволюційних алгоритмів і . Еволюційний алгоритм в цілому засновано на принципі біологічної еволюції, а саме повторній взаємодії варіації (через мутації і рекомбінації) і : в кожному поколінні (ітерації) нові особи (розв'язки) породжують зміни, а потім деякі генерації вибирають для наступного покоління на основі їх придатності або на основі цільової функції значення. Подібно до цього, в послідовності поколінь створюються все кращі генерації. В еволюційній стратегії, нові рішення відбирають відповідно до багатовимірного нормального розподілу. Парні залежності між змінними в цьому розподілі представлені у коваріаційній матриці. Адаптація коваріаційної матриці (CMA) є методом для поновлення коваріаційної матриці цього розподілу. Це особливо корисно, якщо функція є погано обумовленою.Адаптація коваріаційної матриці становить вивчення другого порядку моделі базової цільової функції, схоже на обчислення зворотної матриці Гессе в класичній оптимізації. На відміну від більшості класичних методів, виконується менше припущень про природу основної цільової функції. Тільки рейтинг між кандидатами на найкраще рішення використані для вивчення розподілу вибірки, і ні похідних, ні навіть самі значення функції не використовують. (uk)
dbo:thumbnail wiki-commons:Special:FilePath/Concept_of_directiona...ion_in_CMA-ES_algorithm.png?width=300
dbo:wikiPageExternalLink http://cma.gforge.inria.fr/cmaes_sourcecode_page.html http://cma.gforge.inria.fr/cmaesintro.html http://www.mitpressjournals.org/doi/pdfplus/10.1162/evco.2007.15.1.1 http://www.mitpressjournals.org/toc/evco/11/1 http://www.mitpressjournals.org/toc/evco/15/1 http://www.mitpressjournals.org/toc/evco/9/2 https://arxiv.org/abs/1604.00772 https://web.archive.org/web/20041108033358/http:/mitpress.mit.edu/journals/pdf/evco_11_1_1_0.pdf https://web.archive.org/web/20100415182401/http:/www.lri.fr/~hansen/cmaartic.pdf https://web.archive.org/web/20100415183201/http:/www.lri.fr/~hansen/ppsn2004hansenkern.pdf
dbo:wikiPageID 8143131 (xsd:integer)
dbo:wikiPageInterLanguageLink dbpedia-fr:Stratégie_d'évolution
dbo:wikiPageLength 46358 (xsd:nonNegativeInteger)
dbo:wikiPageRevisionID 1124777445 (xsd:integer)
dbo:wikiPageWikiLink dbr:Relative_entropy dbr:Derivative-free_optimization dbr:Information_geometry dbr:Invariant_(mathematics) dbr:Maximum_entropy_probability_distribution dbr:Estimation_of_covariance_matrices dbr:Estimation_of_distribution_algorithm dbr:Gaussian_adaptation dbr:Nelder–Mead_method dbr:NEWUOA dbr:Quasi-Newton_method dbr:Optimization_(mathematics) dbr:Multivariate_normal_distribution dbr:Condition_number dbr:Continuous_optimization dbr:Convex_function dbr:Objective_function dbr:Likelihood dbr:Likelihood_function dbr:Cholesky_decomposition dbr:Bijective dbr:Stochastic dbr:Kriging dbr:Swiss-system_tournament dbc:Optimization_algorithms_and_methods dbr:Cross-Entropy_Method dbr:Linear_map dbr:Rate_of_convergence dbr:Cumulative_distribution_function dbr:Expected_value dbr:Exponential_decay dbr:Differential_evolution dbr:Global_optimization dbr:Invertible_matrix dbc:Stochastic_optimization dbr:Covariance_matrix dbr:Hessian_matrix dbc:Evolutionary_algorithms dbr:Positive-definite_matrix dbr:Square_root_of_a_matrix dbr:Evolutionary_algorithms dbr:Maximum-likelihood dbr:If_and_only_if dbr:Indicator_function dbr:Orthogonal_matrix dbr:MCS_algorithm dbr:Score_(statistics) dbr:Up_to dbr:Multiobjective_optimization dbr:Evolution_strategy dbr:Evolutionary_algorithm dbr:Evolutionary_computation dbr:Fisher_information dbr:Fisher_information_metric dbr:Pseudocode dbr:Nelder-Mead_method dbr:Stochastic_optimization dbr:Premature_convergence dbr:BFGS_method dbr:Principal_components_analysis dbr:Scale-invariance dbr:Variable-metric dbr:Natural_Evolution_Strategies dbr:Conjugate_gradient dbr:Ill-conditioned dbr:Estimation_of_Distribution_Algorithms dbr:Numerical_optimization dbr:Biological_evolution dbr:Evolution_strategies dbr:Expectation_maximization dbr:File:Concept_of_directional_optimization_in_CMA-ES_algorithm.png
dbp:wikiPageUsesTemplate dbt:Math dbt:Reflist dbt:Major_subfields_of_optimization dbt:Evolutionary_computation
dct:subject dbc:Optimization_algorithms_and_methods dbc:Stochastic_optimization dbc:Evolutionary_algorithms
rdf:type yago:WikicatOptimizationAlgorithmsAndMethods yago:Abbreviation107091587 yago:Abstraction100002137 yago:Act100030358 yago:Activity100407535 yago:Algorithm105847438 yago:Event100029378 yago:Form106290637 yago:LanguageUnit106284225 yago:Part113809207 yago:Procedure101023820 yago:PsychologicalFeature100023100 yago:Relation100031921 yago:Word106286395 yago:YagoPermanentlyLocatedEntity yago:Rule105846932 yago:WikicatAbbreviations yago:WikicatEvolutionaryAlgorithms
rdfs:comment CMA-ES (共分散行列適応進化戦略、Covariance Matrix Adaptation Evolution Strategy の略) は、連続最適化問題のアルゴリズム。目的関数 の最小値を探す。目的関数の導関数は不要。100次元程度以下のノイズも乗っている目的関数を想定している。1996年に Nikolaus Hansen と Andreas Ostermeier が発表し、その後も改良が続けられている。 (ja) Covariance matrix adaptation evolution strategy (CMA-ES) is a particular kind of strategy for numerical optimization. Evolution strategies (ES) are stochastic, derivative-free methods for numerical optimization of non-linear or non-convex continuous optimization problems. They belong to the class of evolutionary algorithms and evolutionary computation. An evolutionary algorithm is broadly based on the principle of biological evolution, namely the repeated interplay of variation (via recombination and mutation) and selection: in each generation (iteration) new individuals (candidate solutions, denoted as ) are generated by variation, usually in a stochastic way, of the current parental individuals. Then, some individuals are selected to become the parents in the next generation based on the (en) Covariance Matrix Adaptation Evolution Strategy (kurz CMA-ES) ist ein Monte-Carlo-Algorithmus zum Lösen von Black Box Optimierungsproblemen. Der Schritt der Covariance Matrix Adaptation (CMA) in der Evolutionsstrategie (ES) ist ein derandomisiertes Verfahren zur Adaptation der Kovarianzmatrix der normalverteilten Mutationsverteilung. Die Kovarianzmatrix der multivariaten Normalverteilung beschreibt die paarweise Abhängigkeiten zwischen den Variablen. Die Adaptation der Kovarianzmatrix in der Evolutionsstrategie ist vergleichbar mit der Approximation der inversen Hesse-Matrix in der klassischen Optimierung, wie z. B. im Quasi-Newton-Verfahren. (de) CMA-ES означає Коваріаційна матриця стратегії еволюції адаптації. Еволюційна стратегія (ЕС) є , похідною від методів чисельної оптимізації нелінійних або неопуклих проблем безперервної оптимізації. Вони належать до класу еволюційних алгоритмів і . Еволюційний алгоритм в цілому засновано на принципі біологічної еволюції, а саме повторній взаємодії варіації (через мутації і рекомбінації) і : в кожному поколінні (ітерації) нові особи (розв'язки) породжують зміни, а потім деякі генерації вибирають для наступного покоління на основі їх придатності або на основі цільової функції значення. Подібно до цього, в послідовності поколінь створюються все кращі генерації. (uk)
rdfs:label CMA-ES (de) CMA-ES (en) CMA-ES (ja) CMA-ES (uk)
owl:sameAs freebase:CMA-ES yago-res:CMA-ES wikidata:CMA-ES dbpedia-de:CMA-ES dbpedia-ja:CMA-ES dbpedia-uk:CMA-ES https://global.dbpedia.org/id/4gbWk
prov:wasDerivedFrom wikipedia-en:CMA-ES?oldid=1124777445&ns=0
foaf:depiction wiki-commons:Special:FilePath/Concept_of_directional_optimization_in_CMA-ES_algorithm.png
foaf:isPrimaryTopicOf wikipedia-en:CMA-ES
is dbo:wikiPageDisambiguates of dbr:CMA
is dbo:wikiPageRedirects of dbr:Covariance_Matrix_Adaptation_Evolution_Strategy dbr:Covariance_matrix_adaptation
is dbo:wikiPageWikiLink of dbr:Energy_modeling dbr:VOTCA dbr:Derivative-free_optimization dbr:Estimation_of_distribution_algorithm dbr:Gaussian_adaptation dbr:Genetic_programming dbr:Nelder–Mead_method dbr:Genetic_algorithm dbr:Surrogate_model dbr:Adaptive_coordinate_descent dbr:Differential_evolution dbr:HeuristicLab dbr:Hyperparameter_optimization dbr:Open_energy_system_models dbr:CMA dbr:List_of_statistics_articles dbr:Evolution_strategy dbr:Evolutionary_acquisition_of_neural_topologies dbr:Evolutionary_multimodal_optimization dbr:Natural_evolution_strategy dbr:Outline_of_machine_learning dbr:Covariance_Matrix_Adaptation_Evolution_Strategy dbr:Covariance_matrix_adaptation
is foaf:primaryTopic of wikipedia-en:CMA-ES