Итерационный алгоритм стохастического управления на основе наблюдаемого вспомогательного функционала

О. Ю. Горохов

Ульяновский государственный университет

В статье рассматриваются линейные стохастические системы управления в условиях параметрической неопределенности, предлагается итерационный алгоритм стохастического управления на основе наблюдаемого вспомогательного функционала и исследуется влияние различных факторов на характеристики процесса идентификации. Предложен метод идентификации фильтра Калмана в дискретном времени для стохастических систем управления с обратной связью.

Введение. Итерационные схемы в условиях параметрической неопределенности были признаны необходимыми и адекватными [1] для построения управления в классе линейных стохастических систем. На каждой итерации решается задача идентификации по наблюдаемым экспериментальным данным. Основные вопросы идентифицируемости систем, описываемых линейными дифференциальными уравнениями, поставлены и решены в [2], обзору численных методов оценивания посвящены [3], [4].

В классических методах теории минимума ошибки предсказания ошибка предсказания e(t_{i}) доступна, а множество моделей M(θ), зависящее от параметра θ, определяется из критерия минимума этой ошибки. В случае стохастических систем управления ошибка предсказания недоступна, так как она определяет разность между выходом модели M(θ) и оптимальной оценкой вектора состояния x. Объект, для которого необходимо построить множество моделей M(θ), недоступен для наблюдения и его необходимо восстановить из наблюдаемых данных.

Для решения поставленной задачи определим вспомогательный процесс ε(t_{i}) так, что выполнено следующее соотношение

J_{ε}(θ) =^{def} E{||ε(t_{i})||^{2}} = E{||e(t_{i})||^{2}} +Const  (1)

где Const > 0 обозначает величину, независящую от M(θ). Минимумы вспомогательного функционала J_{ε}(θ) и функционала J_{e}(θ) =^{def} E{||e(t_{i})||^{2}} совпадают [5]. Предложенный подход имеет практическую ценность для стохастических систем управления с обратной связью, которые описываются уравнениями

x(t_{i+1}) = Φx(t_{i}) + Ψu(t_{i}) + Γw(t_{i})
z(t_{i}) = Hx(t_{i}) + v(t_{i})  (2)
u(t_{i}) = −G_{0}x̃(t_{i}^{+})

где x(t_{i}) ∈ ℝ^{n} вектор состояния, z(t_{i}) ∈ ℝ^{m} вектор наблюдения, u(t_{i}) ∈ ℝ^{r} вектор управления, который вычисляется по субоптимальным значениям x̃(t_{i}^{+}) и G_{0}, {w(t_{0}), w(t_{1}), … } и {v(t_{1}), v(t_{2}), … } независимые последовательности одинаково распределенных случайных векторов w(t_{i}) ∈ ℝ^{q}, v(t_{i}) ∈ ℝ^{m} c ковариациями Q и R соответственно. Предположим так же, что некоторые элементы матриц Φ,Γ,Q и R неизвестны и их значения должны быть определены в процессе идентификации.

Итерационный алгоритм. Оценки вектора состояния могут быть получены из соответствующего субоптимального фильтра, где вектор управления u(t_{i}) вычисляется по субоптимальному закону управления u(t_{i}) = −G_{0}x̃(t_{i}^{+}). Коэффициент усиления заменяется значением, полученным на каждой итерации, а G_{0} пересчитывается заново. Целью функционирования адаптивной модели является идентификация фильтра Калмана

g̃(x_{i+1}) = Aĝ(t_{i}) + Bu(t_{i})
ĝ(t_{i}) = g̃(t_{i}) + Dη(t_{i})  (3)
η(t_{i}) = z(t_{i}) − H_{∗}g̃(t_{i})

где A = T ΦT^{−1}, B = T Ψ, H_{∗} = HT^{−1} и T матрица наблюдаемости, определенная в [5]. Пусть θ обозначает множество всех параметров, требующих оценки, а η(t_{j}), t_{j} ∈ [t_{i−s+1}, t_{i}] =^{def} ℍ(t_{i−s+1}, t_{i}), где s максимальный частный индекс наблюдаемости. Разница между адаптивной и субоптимальной моделями может быть представлена как

ε(t_{i}) = N (D)ℍ(t_{i−s+1}, t_{i})  (4)

где N (D) преобразование коэффициента усиления D [5].

Модель чувствительности отражает влияние настраиваемых параметров на ошибку (4) и может быть определена как частные производные вектора ε(t_{i}) относительно параметров θ в рекурсивном виде. Пусть μ - вектор состояния модели чувствительности, тогда

μ̃_{j}(t_{i}) = A [(I − DH_{∗})μ̃_{j}(t_{i−1}) + \frac{∂D}{∂θ_{j}} η(t_{i−1})] , θ_{j} ∈ D  (5)
μ̃_{j}(t_{i}) = \frac{∂A}{∂θ_{j}} ĝ(t_{i−1}) + A(I − DH_{∗})μ̃_{j}(t_{i−1}), θ_{j} ∈ A  (6)

с начальными значениями μ̂_{j}(t_{0}) = 0 для каждого θ_{j}. Последние s значений векторов ξ_{j}(t_{i}) =^{def} −H_{∗}μ̃_{j}(t_{i}) и ℍ(t_{i−s+1}, t_{i}) используются для построения матрицы чувствительности S(t_{i})

S(t_{i}) =^{def} (\frac{∂N (D)}{∂θ_{j}}ℍ(t_{i−s+1}, t_{i}) + N (D)\frac{∂ℍ(t_{i−s+1}, t_{i})}{∂θ_{j}})  (7)

Экспоненциально сглаженная с коэффициентом β оценка градиента и пробная оценка для каждого параметра θ_{j} могут получены как

Ĝ(t_{i}) = βĜ(t_{i−1}) + (1 − β)S^{T} (t_{i})ε(t_{i})  (8)
π(t_{i}) = θ̂(t_{i}) − diag(p_{j}(t_{i}) + ∥\frac{∂ε(t_{i})}{∂θ_{j}}∥^{2}) Ĝ(t_{i})  (9)

где π(t_{i}) для θ̂(t_{i+1}), которая, в случае выполнения условия устойчивости фильтра ρ [(I − DH_{∗})A] < 1, становится оценкой на следующем шаге θ̂(t_{i+1}) = π(t_{i}).

Заключение. Результаты численных экспериментов показывают применимость и практическую значимость предложенного в статье итерационного алгоритма стохастического управления для дискретных стохастических систем с обратной связью, определено влияние различных факторов (устойчивость объекта, отношения сигналшум, выбор начальных значений) на качество получаемых оценок.

[1] R. R. Schrama. “Accurate identification for control: the necessity of an iterative scheme". IEEE Transactions on Automatic Control, Vol. 37(7), pp. 991–994 (1992).

[2] Eykhoff, P. (1974); System Identification; Wiley (pp. 684)

[3] Saridis, G.N. (1977); Self-Organizing Control of Stochastic Systems; Marcel Dekker, Inc. (pp. 400)

[4] Tsypkin, Ya. Z., E.D. Avedyan and O.V. Gulinsky (1981); On Convergence of the Recursive Identification Algorithms; IEEE Trans. Aut. Control, Vol. AC-26, No. 5 (pp. 1009–1017)

[5] Semoushin, I. V. and J. V. Tsyganova (2000); Indirect Error Control for Adaptive Filtering; Proc. 3^{rd} European Conference on Numerical Mathematics and Advanced Applications, ENUMATH-99, World Scientific, Singapore (pp. 333-340)