Оптимальное управление дискретными динами-

       ческими системами  

 

Существует два типа детерминированных управляемых процес-

сов (детерминированных систем)

 

(1)  - детерминированная система

    

 - управление (некоторая функция от дискретного

      времени, которая входит в разностное уравнение

      динамической системы)

 

    Стохастическая управляемая система

 

(2)  , где  - шум(может быть белым

                                        ),

а может быть и небелым, например, описываться сколь-

зящим средним ( ).

 

 

 

       Критерий оптимального управления

 

Пусть модель (1) или (2) генерирует случайный процесс :

 

      - управляемый процесс с дискретным

временем, т.е. процесс должен развиваться таким образом,

чтобы минимизировать некоторую функцию риска, тогда уп-

равление называется оптимальным.

 

   Математически это выглядит так :

 

  ,

   где f(×) - выпуклая функция

При движении ракеты по некоторой траектории из точки А в

точку В траектория должна быть такой, чтобы минимизиро-

вать энергетические затраты на управление.

 

Пример 2 : 

       Существует некоторая эталонная траектория.

                  Необходимо привести движение про-

                  цесса к эталону за минимальное

                  время. Это называется оптимизация

x(t)-эталон   по быстродействию. Существует мно-

                  жество способов аналитического на-

                хождения оптимальной функции упра-

x(t)        вления.

                      

 

 

    Метод динамического программирования 

 

 Имеется детерминированная система :

 

(1)    

 

 Принцип Бэлмана - состоит в том, что оптимальное управ-

 ление ищется с конца в начало (из будущего в прошлое).

 Задача решается в обратном направлении.

 

(2)      

 

Аналитическое решение задачи по Бэлману

 

Предположим, что мы отправились из и прошли траекторию:

 . И предположим, что за ‘k’ шагов управление вы-

брали. Принцип динамического программирования основывает-

ся на том, что любой кусок траектории оптимального управ-

ления является оптимальным.

 

(3)

Траектория от (k+1) до ‘n’ называется хвостом.

                    N - последняя точка в управлении 

 

 

 

 

                          

             С учетом (3) запишем :

        

(4)

 

 Допустим, что начиная от шага (k+1) до ‘n’ в формуле (4)

оптимальное управление уже выбрано.

 

(5)   

                       k=N,N-1,...,1

      

(6)  

          

 

Формула (6) называется уравнением Бэлмана (уравне-

ние динамического программирования)

 

Выводы: (из уравнения (6))

        

    Уравнение (6) позволяет в реккурентной форме вы-

    вычислить управление, шаг за шагом, от точки N

    до 1 (из будущего в прошлое) получить минимиза-

    цию (6) на каждом шаге. Получить . Значе-

    ния управления фактически получаются методом пе-

    ребора. Оптимальная траектория ) неиз-

    вестна до самого последнего шага.

       Если задача имеет большую размерность, то

    сложность при вычислении очень большая. Если

    вводить динамические системы (т.е. модели), то

    можно значительно упростить метод нахождения оп-

    тимального управления. Т.е. получить управление         

    в замкнутом виде (в виде некоторой формулы).