Дифференциальная эволюция | это... Что такое Дифференциальная эволюция? (original) (raw)

Дифференциа́льная эволю́ция (англ. differential evolution) — метод многомерной математической оптимизации, относящийся к классу стохастических алгоритмов оптимизации (то есть работает с использованием случайных чисел) и использующий некоторые идеи генетических алгоритмов.

Это прямой метод оптимизации, то есть он требует только возможности вычислять значения целевой функций, но не её производных. Метод дифференциальной эволюции предназначен для нахождения глобального минимума (или максимума) недифференцируемых, нелинейных, мультимодальных (имеющих, возможно, большое число локальных экстремумов) функций от многих переменных. Метод прост в реализации и использовании (содержит мало управляющих параметров, требующих подбора), легко распараллеливается.

Метод дифференциальной эволюции был разработан Рэйнером Сторном и Кеннетом Прайсом, впервые опубликован ими в 1995 году[1] и развит в дальнейшем в их более поздних работах.[2][3]

Алгоритм

В его базовом виде алгоритм можно описать следующим образом. Изначально генерируется некоторое множество векторов, называемых поколением. Под векторами понимаются точки n-мерного пространства, в котором определена целевая функция f(x), которую требуется минимизировать. На каждой итерации алгоритм генерирует новое поколение векторов, случайным образом комбинируя векторы из предыдущего поколения. Число векторов в каждом поколении одно и то же и является одним из параметров метода.

Новое поколение векторов генерируется следующим образом. Для каждого вектора x_i из старого поколения выбираются три различных случайных вектора v_1, v_2, v_3 среди векторов старого поколения, за исключением самого вектора x_i, и генерируется так называемый мутантный вектор (mutant vector) по формуле:

v = v_1 + F \cdot (v_2 - v_3),

где F — один из параметров метода, некоторая положительная действительная константа в интервале [0, 2].

Над мутантным вектором v выполняется операция «скрещивания» (crossover), состоящая в том, что некоторые его координаты замещаются соответствующими координатами из исходного вектора x_i (каждая координата замещается с некоторой вероятностью, которая также является еще одним из параметров этого метода). Полученный после скрещивания вектор называется пробным вектором (trial vector). Если он оказывается лучше вектора x_i (то есть значение целевой функции стало меньше), то в новом поколении вектор x_i заменяется на пробный вектор, а в противном случае — остаётся x_i.

Примеры практических приложений

Поисковая система Яндекс использует метод дифференциальной эволюции для улучшения своих алгоритмов ранжирования. [4][5]

Примечания

  1. ↑ Storn, Rainer and Price, Kenneth. Differential Evolution — A Simple and Efficient Adaptive Scheme for Global Optimization over Continuous Spaces, Technical Report TR-95-012, ICSI, March 1995.
  2. ↑ Storn, Rainer and Price, Kenneth. Differential Evolution — A Simple and Efficient Heuristic for Global Optimization over Continuous Spaces. (1997)
  3. ↑ K. Price, R. Storn, J. Lampinen. Differential Evolution: A Practical Approach to Global Optimization. Springer, 2005.
  4. ↑ Интервью А. Садовского журналу «IT СПЕЦ», Июль 2007.
  5. ↑ А. Гулин и др. Яндекс на РОМИП’2009. Оптимизация алгоритмов ранжирования методами машинного обучения.

Внешние ссылки:

Просмотр этого шаблона Методы оптимизации
Одномерные Метод золотого сечения • Дихотомия • Метод парабол • Перебор по сетке • Метод Фибоначчи • Троичный поиск
Прямые методы Метод Гаусса • Метод Нелдера — Мида • Метод Хука — Дживса • Метод конфигураций • Метод Розенброка
Первого порядка Градиентный спуск • Метод Зойтендейка • Покоординатный спуск • Метод сопряжённых градиентов • Квазиньютоновские методы • Алгоритм Левенберга — Марквардта
Второго порядка Метод Ньютона • Метод Ньютона — Рафсона
Стохастические Метод Монте-Карло • Имитация отжига • Эволюционные алгоритмы • Дифференциальная эволюция • Муравьиный алгоритм • Метод роя частиц
Методы линейного программирования Симплекс-метод • Алгоритм Гомори • Метод эллипсоидов • Метод потенциалов
Методы нелинейногопрограммирования Последовательное квадратичное программирование