Random search (original) (raw)
Random search (RS) is a family of numerical optimization methods that do not require the gradient of the problem to be optimized, and RS can hence be used on functions that are not continuous or differentiable. Such optimization methods are also known as direct-search, derivative-free, or black-box methods. The name "random search" is attributed to Rastrigin who made an early presentation of RS along with basic mathematical analysis. RS works by iteratively moving to better positions in the search space, which are sampled from a hypersphere surrounding the current position.
| Property | Value |
|---|---|
| dbo:abstract | Random search (RS) is a family of numerical optimization methods that do not require the gradient of the problem to be optimized, and RS can hence be used on functions that are not continuous or differentiable. Such optimization methods are also known as direct-search, derivative-free, or black-box methods. Anderson in 1953 reviewed the progress of methods in finding maximum or minimum of problems using a series of guesses distributed with a certain order or pattern in the parameter searching space, e.g. a confounded design with exponentially distributed spacings/steps. This search goes on sequentially on each parameter and refines iteratively on the best guesses from the last sequence. The pattern can be a grid (factorial) search of all parameters, a sequential search on each parameter, or a combination of both. The method was developed to screen the experimental conditions in chemical reactions by a number of scientists listed in Anderson's paper. A MATLAB code reproducing the sequential procedure for the general non-linear regression of an example mathematical model can be found here (FitNGuess @ GitHub). The name "random search" is attributed to Rastrigin who made an early presentation of RS along with basic mathematical analysis. RS works by iteratively moving to better positions in the search space, which are sampled from a hypersphere surrounding the current position. The algorithm described herein is a type of local random search, where every iteration is dependent on the prior iteration's candidate solution. There are alternative random search methods that sample from the entirety of the search space (for example pure random search or uniform global random search), but these are not described in this article. Random search has been used in artificial neural network for hyper-parameter optimization. If good parts of the search space occupy 5% of the volume the chances of hitting a good configuration in search space is 5%. The probability of finding at least one good configuration is above 95% after trying out 60 configurations . (en) Випадковий пошук — група методів числової оптимізації, які не вимагають обчислення градієнту для розв'язання задач оптимізації; отже, випадковий пошук можна використовувати для функцій, що не є неперервними або диференційованими. Подібні методи оптимізації також називаються методами прямого пошуку, методами «чорної скриньки» або методами без використання похідної. Авторство назви методу — випадковий пошук — приписують Растригіну, який зробив перші кроки в розвитку цих методів з прив'язкою до базового математичного аналізу. Випадковий пошук працює шляхом ітеративного просування між кращими позиціями у просторі пошуку. Кращі позиції обираються з гіперсфери з центром у поточній позиції. Описаний тут алгоритм є типом локального випадкового пошуку, коли кожна ітерація залежить від кандидата на рішення, знайденого на попередній ітерації. Існують інші методи випадкового пошуку, які беруть вибірку з усього простору пошуку (наприклад, повністю випадковий пошук або рівномірний глобальний випадковий пошук), але вони не описані в цій статті. (uk) |
| dbo:thumbnail | wiki-commons:Special:FilePath/RandomSearchExample2.png?width=300 |
| dbo:wikiPageID | 27340816 (xsd:integer) |
| dbo:wikiPageLength | 8897 (xsd:nonNegativeInteger) |
| dbo:wikiPageRevisionID | 1114307835 (xsd:integer) |
| dbo:wikiPageWikiLink | dbr:Non-linear_regression dbr:Pattern_search_(optimization) dbr:Uniform_distribution_(continuous) dbr:Derivative-free_optimization dbc:Metaheuristics dbr:Levenberg–Marquardt_algorithm dbr:Continuous_function dbr:Optimization_(mathematics) dbr:N-sphere dbc:Optimization_algorithms_and_methods dbr:Normal_distribution dbc:Stochastic_optimization dbr:Artificial_neural_network dbr:Differentiable_function dbr:Hypersphere dbr:Luus–Jaakola dbr:Random_optimization dbr:File:RandomSearchExample2.png |
| dbp:wikiPageUsesTemplate | dbt:Math dbt:Reflist dbt:Major_subfields_of_optimization |
| dct:subject | dbc:Metaheuristics dbc:Optimization_algorithms_and_methods dbc:Stochastic_optimization |
| gold:hypernym | dbr:Family |
| rdf:type | yago:WikicatOptimizationAlgorithmsAndMethods yago:Abstraction100002137 yago:Act100030358 yago:Activity100407535 yago:Algorithm105847438 yago:Event100029378 yago:Procedure101023820 yago:PsychologicalFeature100023100 yago:YagoPermanentlyLocatedEntity yago:Rule105846932 |
| rdfs:comment | Random search (RS) is a family of numerical optimization methods that do not require the gradient of the problem to be optimized, and RS can hence be used on functions that are not continuous or differentiable. Such optimization methods are also known as direct-search, derivative-free, or black-box methods. The name "random search" is attributed to Rastrigin who made an early presentation of RS along with basic mathematical analysis. RS works by iteratively moving to better positions in the search space, which are sampled from a hypersphere surrounding the current position. (en) Випадковий пошук — група методів числової оптимізації, які не вимагають обчислення градієнту для розв'язання задач оптимізації; отже, випадковий пошук можна використовувати для функцій, що не є неперервними або диференційованими. Подібні методи оптимізації також називаються методами прямого пошуку, методами «чорної скриньки» або методами без використання похідної. (uk) |
| rdfs:label | Random search (en) Випадковий пошук (uk) |
| owl:sameAs | freebase:Random search yago-res:Random search wikidata:Random search dbpedia-bg:Random search dbpedia-th:Random search dbpedia-uk:Random search https://global.dbpedia.org/id/4ZibP |
| prov:wasDerivedFrom | wikipedia-en:Random_search?oldid=1114307835&ns=0 |
| foaf:depiction | wiki-commons:Special:FilePath/RandomSearchExample2.png |
| foaf:isPrimaryTopicOf | wikipedia-en:Random_search |
| is dbo:wikiPageRedirects of | dbr:Random_Search |
| is dbo:wikiPageWikiLink of | dbr:Metaheuristic dbr:Pattern_search_(optimization) dbr:Derivative-free_optimization dbr:List_of_numerical_analysis_topics dbr:Gaussian_adaptation dbr:Neural_architecture_search dbr:Local_search_(optimization) dbr:Adversarial_machine_learning dbr:Luus–Jaakola dbr:Random_Search dbr:Stochastic_optimization dbr:Random_optimization |
| is foaf:primaryTopic of | wikipedia-en:Random_search |
