Метод неопределенных множителей лагранжа. Условная оптимизация

Рассмотрим задачу условной оптимизации, содержащую только ограничения в виде равенств

min

при наличии ограничений

,
.

Эта задача в принципе может быть решена как задача безусловной оптимизации, полученная путем исключения из целевой функции m независимых переменных с помощью заданных равенств. Наличие ограничений в виде равенств фактически позволяет уменьшить размерность исходной задачи. Новая задача может быть решена с помощью подходящего метода безусловной оптимизации.

Пример . Требуется минимизировать функцию

при ограничении

Исключив переменную с помощью уравнения, получим оптимизационную задачу с двумя переменными без ограничений:

минимизировать ,

которую можно решить одним из методов безусловной оптимизации.

Однако метод исключения переменных применим лишь в тех случаях, когда уравнения, представляющие ограничения, можно разрешить относительно некоторого набора переменных. При наличии большого числа ограничений в виде равенств процесс исключения переменных становится весьма трудоемкой процедурой. Кроме того, возможны ситуации, когда уравнение не удается разрешить относительно переменной. В этом случае целесообразно использовать метод множителей Лагранжа.

С помощью метода множителей Лагранжа по существу устанавливаются необходимые условия, позволяющие идентифицировать точки оптимума в задачах оптимизации с ограничениями в виде равенств.

Рассмотрим задачу

min

при наличии ограничений

,
.

Из курса математического анализа хорошо известно, что точка условного минимума функции совпадает с седловой точкой функции Лагранжа:

,

при этом седловая точка должна обеспечивать минимум по переменным и максимум по параметрам. Эти параметры называются множителями Лагранжа. Приравнивая частные производные функциипои пок нулю, получим необходимые условия стационарной точки:

,
,

,
.

Решение системы
уравнений определяет стационарную точку функции Лагранжа. Достаточные условия существования минимума исходной задачи содержат, кроме выше упомянутых, положительную определенность матрицы Гессе целевой функции.

4.2. Условия куна - таккера

Рассмотрим задачу нелинейного программирования с ограничениями в виде неравенств

min

при ограничениях

,
.

Сведем ограничения в виде неравенств к ограничениям-равенствам добавлением к каждому из них ослабляющих переменных ,
:

.

Сформируем функцию Лагранжа:

Тогда необходимые условия минимума принимают вид

,
;

,
;

,
.

Можно умножить последнее уравнение на и заменить ослабляющие переменные, выразив их из второго уравнения. Второе уравнение можно преобразовать, отбросив ослабляющие переменные и переходя к ограничениям-неравенствам. Следует добавить еще одно условие
, которое должно выполняться в точке условного минимума.

Окончательно получаем необходимые условия существования минимума задачи нелинейного программирования с ограничениями неравенствами, которые называются условиями Куна- Таккера:

,
; (1)

,
; (2)

,
; (3)

,
. (4)

Ограничение в виде неравенства
называется активным в точке, если оно превращается в равенство
, и называется неактивным, если
. Если существует возможность обнаружить до непосредственного решения задачи ограничения, которые неактивны в точке оптимума, то эти ограничения можно исключить из модели и тем самым уменьшить ее размеры.

Уравнение (3) означает, что либо
, либо
. Если
, то
и ограничение является активным и представляет собой ограничение равенство. С другой стороны, если ограничение является строгим неравенством
, то множитель Лагранжа будет иметь вид
т.е. ограничение
является неактивным и им можно пренебречь. Конечно, предварительно не известно какими ограничениями можно пренебречь.

Метод Множителей Лагранжа является классическим методом решения задач математического программирования (в частности выпуклого). К сожалению, при практическом применении метода могут встретиться значительные вычислительные трудности, сужающие область его использования. Мы рассматриваем здесь метод Лагранжа главным образом потому, что он является аппаратом, активно используемым для обоснования различных современных численных методов, широко применяемых на практике. Что же касается функции Лагранжа и множителей Лагранжа, то они играют самостоятельную и исключительно важную роль в теории и приложениях не только математического программирования.

Рассмотрим классическую задачу оптимизации

max (min) z=f(x) (7.20)

Эта задача выделяется из задачи (7.18), (7.19) тем, что среди ограничений (7.21) нет неравенств, нет условий неотрицательности переменных, их дискретности, и функции f(x) и непрерывны и имеют частные производные по крайней мере второго порядка.

Классический подход к решению задачи (7.20), (7.21) дает систему уравнений (необходимые условия), которым должна удовлетворять точка х*,доставляющая функции f(x)локальный экстремум на множестве точек, удовлетворяющих ограничениям (7.21) (для задачи выпуклого программирования найденная точка х*в соответствии с теоремой 7.6 будет одновременно и точкой глобального экстремума).

Предположим, что в точке х* функция (7.20) имеет локальный условный экстремум и ранг матрицы равен . Тогда необходимые условия запишутся в виде:

(7.22)

есть функция Лагранжа; - множители Лагранжа.

Существуют также и достаточные условия, при выполнении которых решение системы уравнений (7.22) определяет точку экстремума функции f(x). Этот вопрос решается на основании исследования знака второго дифференциала функции Лагранжа. Однако достаточные условия представляют главным образом теоретический интерес.

Можно указать следующий порядок решения задачи (7.20), (7.21) методом множителей Лагранжа:

1) составить функцию Лагранжа (7.23);

2) найти частные производные функции Лагранжа по всем переменным и приравнять их нулю. Тем самым будет получена система (7.22), состоящая из уравнений. Решить полученную систему (если это окажется возможным!) и найти таким образом все стационарные точки функции Лагранжа;

3) из стационарных точек, взятых без координат , выбрать точки, в которых функция f(x) имеет условные локальные экстремумы при наличии ограничений (7.21). Этот выбор осуществляется, например, с применением достаточных условий локального экстремума. Часто исследование упрощается, если использовать конкретные условия задачи.

Пример 7.3 . Найти оптимальное распределение ограниченного ресурса в a ед. между n потребителями, если прибыль, получаемая при выделении j-му потребителю x j единиц ресурса, вычисляется по формуле .

Решение. Математическая модель задачи имеет следующий вид:

Составляем функцию Лагранжа:

.

Находим частные производные функции Лагранжа и приравниваем их нулю:

Решая эту систему уравнений, получаем:

Таким образом, если j-му потребителю будет выделено ед. ресурса, то суммарная прибыль достигнет максимальной величины и составит ден. ед.

Мы рассмотрелиметод Лагранжа применительно к классической задаче оптимизации. Можно обобщить этот метод на случай, когда переменные неотрицательны и некоторые ограничения заданы в форме неравенств. Однако это обобщение имеет преимущественно теоретическое значение и не приводит к конкретным вычислительным алгоритмам.

В заключение дадим множителям Лагранжа экономическую интерпретацию. Для этого обратимся к простейшей классической задаче оптимизации

max (min) z =f (x 1 , х 2); (7.24)

𝜑(x 1 , х 2)=b. (7.25)

Предположим, что условный экстремум достигается в точке . Соответствующее экстремальное значение функции f (x )

Допустим, что в ограничениях (7.25) величина b может меняться, тогда координаты точки экстремума, а следовательно, и экстремальное значение f* функции f (x ) станут величинами, зависящими от b , т. е. ,, а поэтому производная функции (7.24)

Жозеф Луи Лагранж родился в Турине (Италия) в итало-французской семье. Он учился, а затем преподавал в Артиллерийском училище. В 1759 г. по рекомендации Эйлера 23-летнего Лагранжа избирают в члены Берлинской академии наук. В 1766 г. он уже стал ее президентом. Фридрих II пригласил Лагранжа в Берлин. После смерти Фридриха II в 1786 г. Лагранж переехал в Париж. С 1722 г. он был членом Парижской академии наук, в 1795 г. его назначили членом Бюро долгот, и он принял активное участие в создании метрической системы мер. Круг научных исследований Лагранжа был необычайно широк. Они посвящены механике, геометрии, математическому анализу, алгебре, теории чисел, а также теоретической астрономии. Основным направлением исследований Лагранжа было представление самых различных явлений в механике с единой точки зрения. Он вывел уравнение, описывающее поведение любых систем под действием сил. В области астрономии Лагранж много сделал для решения проблемы устойчивости Солнечной системы; доказал некоторые частные случаи устойчивого движения, в частности для малых тел находящихся в так называемых треугольных точках либрации.

Метод Лагранжа ─ это метод решения задачи условной оптимизации, при котором ограничения, записываемые как неявные функции, объединяются с целевой функцией в форме нового уравнения, называемого лагранжианом .

Рассмотрим частный случай общей задачи нелинейного программирования:

Дана система нелинейных уравнений (1):

(1) gi(x1,x2,…,xn)=bi (i=1..m),

Найти наименьшее (или наибольшее) значение функции (2)

(2) f (х1,х2,…,хn),

если отсутствуют условия неотрицательности переменных и f(х1,х2,…,хn) и gi(x1,x2,…,xn) ─ функции, непрерывные вместе со своими частными производными.

Чтобы найти решение этой задачи, можно применить следующий метод: 1. Вводят набор переменных λ1, λ2,…, λm, называемых множителями Лагранжа, составляют функцию Лагранжа (3)

(3) F(х1,х2,…,хn , λ1,λ2,…,λm) = f(х1,х2,…,хn)+ λi .

2. Находят частные производные от функции Лагранжа по переменным xi и λi и приравнивают их нулю.

3. Решая систему уравнений, находят точки, в которых целевая функция задачи может иметь экстремум.

4.Среди точек, подозрительных не экстремум, находят такие, в которыхдостигается экстремум, и вычисляют значения функции в этих точках.

4. Сравнить полученные значения функции f и выбрать наилучшее.

По плану производства продукции предприятию необходимо изготовить 180 изделий. Эти изделия могут быть изготовлены двумя технологическими способами. При производстве х1 изделия I способом затраты равны 4*х1+х1^2 руб., а при изготовлении х2 изделий II способом они составляют 8*х2+х2^2 руб. Определить, сколько изделий каждым из способов следует изготовить, так чтобы общие затраты на производство продукции были минимальными.

Решение: Математическая постановка задачи состоит в определении наименьшего значения функции двух переменных:

f = 4*x1+x1^2 +8*x2 +x2^2, при условии x1 +x2 = 180.

Составим функцию Лагранжа:

F(x1,x2,λ) = 4*x1+x1^2+8*x2+x2^2+λ*(180-x1-x2).

Вычислим ее частные производные по х1,х2, λ и приравняем их к 0:

Перенесем в правые части первых двух уравнений λ и приравняем их левые части, получим 4 + 2*x1 = 8 + 2*x2, или x1 − x2 = 2.

Решая последнее уравнение совместно с уравнением x1 + x2 = 180, находим x1 = 91, x2 = 89, то есть получили решение, удовлетворяющее условиям:

Найдем значение целевой функции f при этих значениях переменных:

F(x1, x2) = 17278

Эта точка является подозрительной на экстремум. Используя вторые частные производные, можно показать, что в точке (91,89) функция f имеет минимум.

Метод множителей Лагранжа (в англ. литературе «LaGrange"s method of undetermined multipliers») ˗ это численный метод решения оптимизационных задач, который позволяет определить «условный» экстремум целевой функции (минимальное или максимальное значение)

при наличии заданных ограничений на ее переменные в виде равенств (т.е. определена область допустимых значений)

˗ это значения аргумента функции (управляемые параметры) на вещественной области при котором значение функции стремится к экстремуму. Применение названия «условный» экстремум связано с тем, что на переменные наложено дополнительное условие, которое ограничивает область допустимых значений при поиске экстремума функции.

Метод множителей Лагранжа позволяет задачу поиска условного экстремума целевой функции на множестве допустимых значений преобразовать к задаче безусловной оптимизации функции.

В случае если функции и непрерывны вместе со своими частными производными, то существуют такие переменные λ не равные одновременно нулю, при которых выполняется следующее условие:

Таким образом, в соответствии с методом множителей Лагранжа для поиска экстремума целевой функции на множестве допустимых значений составляю функцию Лагранжа L(х, λ), которую в дальнейшем оптимизируют:

где λ ˗ вектор дополнительных переменных, называемых неопределенными множителями Лагранжа.

Таким образом, задача нахождения условного экстремума функции f(x) свелась к задаче поиска безусловного экстремума функции L(x, λ).

и

Необходимое условие экстремума функции Лагранжа задается системой уравнений (система состоит из «n + m» уравнений):

Решение данной системы уравнений позволяет определить аргументы функции (Х), при которых значение функции L(x, λ), а также значение целевой функции f(x) соответствуют экстремуму.

Величина множителей Лагранжа (λ) имеет практический интерес в случае, если ограничения представлены в форме со свободным членом уравнения (константой). В этом случае можно рассматривать дальнейшее (увеличение/уменьшение) значения целевой функции за счет изменения значения константы в системе уравнения . Таким образом, множитель Лагранжа характеризует скорость изменения максимума целевой функции при изменении ограничивающей константы.

Существует несколько способов определения характера экстремума полученной функции:

Первый способ: Пусть – координаты точки экстремума, а - соответствующее значение целевой функции. Берется точка , близкая к точке , и вычисляется значение целевой функции :

Если , то в точке имеет место максимум.

Если , то в точке имеет место минимум.

Второй способ: Достаточным условием, из которого можно выяснить характер экстремума, является знак второго дифференциала функции Лагранжа. Второй дифференциал функции Лагранжа определяется следующим образом:

Если в заданной точке минимум , если же , то целевая функция f(x) имеет в данной точке условный максимум.

Третий способ: Также характер экстремума функции можно выяснить рассмотрев гессиан функции Лагранжа. Матрица Гессе представляет собой симметричную квадратную матрицу вторых частных производных функции в точке , в которой элементы матрицы симметричны относительно главной диагонали.

Для определения типа экстремума (максимум или минимум функции) можно воспользоваться правилом Сильвестра:

1. Для того, чтобы второй дифференциал функции Лагранжа был знакоположителен необходимо, чтобы угловые миноры функции были положительными . При таких условиях функция в этой точке имеет минимум.

2. Для того, чтобы второй дифференциал функции Лагранжа был знакоотрицателен , необходимо, чтобы угловые миноры функции чередовались, причем первый элемент матрицы должен быть отрицательнsv . При таких условиях функция в этой точке имеет максимум.

Под угловым минором понимаем минор, расположенный в первых k строках и k столбцах исходной матрицы.

Основное практическое значение метода Лагранжа заключается в том, что он позволяет перейти от условной оптимизации к безусловной и, соответственно, расширить арсенал доступных методов решения задачи. Однако задача решения системы уравнений, к которой сводится данный метод, в общем случае не проще исходной задачи поиска экстремума. Такие методы называются непрямыми. Их применение объясняется необходимостью получить решение экстремальной задачи в аналитической форме (допустим, для тех или иных теоретических выкладок). При решении конкретных практических задач обычно используются прямые методы, основанные на итеративных процессах вычисления и сравнения значений оптимизируемых функций.

Методика расчета

1 шаг : Определяем функцию Лагранжа из заданной целевой функции и системы ограничений:

Вперёд

Для того, чтобы добавить Ваш комментарий к статье, пожалуйста, зарегистрируйтесь на сайте.

Способ определения условного экстремума начинается с построения вспомогательной функции Лагранжа, которая в области допустимых решений достигает максимума для тех же значений переменных x 1 , x 2 , ..., x n , что и целевая функция z . Пусть решается задача определения условного экстремума функции z = f (X) при ограничениях φ i ( x 1 , x 2 , ..., x n ) = 0, i = 1, 2, ..., m , m < n

Составим функцию

которая называется функцией Лагранжа . X , - постоянные множители (множители Лагранжа ). Отметим, что множителям Лагранжа можно придать экономический смысл. Если f (x 1 , x 2 , ..., x n ) - доход, соответствующий плану X = (x 1 , x 2 , ..., x n ) , а функция φ i (x 1 , x 2 , ..., x n ) - издержки i-го ресурса, соответствующие этому плану, то X , - цена (оценка) i-го ресурса, характеризующая изменение экстремального значения целевой функции в зависимости от изменения размера i-го ресурса (маргинальная оценка). L(Х) - функция n + m переменных (x 1 , x 2 , ..., x n , λ 1 , λ 2 , ..., λ n ) . Определение стационарных точек этой функции приводит к решению системы уравнений

Легко заметить, что . Таким образом, задача нахождения условного экстремума функции z = f (X) сводится к нахождению локального экстремума функции L(X) . Если стационарная точка найдена, то вопрос о существовании экстремума в простейших случаях решается на основании достаточных условий экстремума - исследования знака второго дифференциала d 2 L(X) в стационарной точке при условии, что переменные приращения Δx i - связаны соотношениями

полученными путем дифференцирования уравнений связи.

Решение системы нелинейных уравнений с двумя неизвестными с помощью средства Поиск решения

Настройка Поиск решения позволяет находить решение систе­мы нелинейных уравнений с двумя неизвестными:

где
- нелинейная функция от переменныхx и y ,
- произвольная постоянная.

Известно, что пара (x , y ) является решением системы уравнений (10) тогда и только тогда, когда она является решением следующего уравнение с двумя неизвестными:

С другой стороны, решение системы (10) - это точки пересечения двух кривых: f ] (x , y ) = C и f 2 (х, у) = С 2 на плоскости ХО Y .

Из этого следует метод нахождения корней системы. нелинейных уравнений:

Определить (хотя бы приближенно) интервал существования решения системы уравнений (10) или уравнения (11). Здесь не­обходимо учитывать вид уравнений, входящих в систему, область определения каждого их уравнений и т. п. Иногда применяется подбор начального приближения решения;

Протабулировать решение уравнения (11) по переменным x и y на выбранном интервале, либо построить графики функций f 1 (x , y ) = С, и f 2 (х,у) = С 2 (система(10)).

Локализовать предполагаемые корни системы уравнений - найти несколько минимальных значений из таблицы табулирование­ корней уравнения (11), либо определить точки пересечения кривых, входящих в систему (10).

4. Найти корни для системы уравнений (10) с помощью надстройки Поиск решения.