\documentclass{article}
%%%%% Раскомментируйте следующие три строки, если используете MiKTeX
\usepackage[T2A]{fontenc}
\usepackage[cp866]{inputenc}
\usepackage[russian]{babel}
\frenchspacing %%% автоматически включается опцией russian пакета babel
\usepackage{mm-cys}

\newcommand{\eqdef}{\stackrel{\mathrm{def}}{=}}
\newcommand{\E}[1]{\mathop{\mathrm{E}\{#1\}}\nolimits}
\newcommand{\wt}{\widetilde}

\begin{document}

%\udc{62-50}
\title{Итерационный алгоритм стохастического управления на 
основе наблюдаемого вспомогательного функционала}
\author{О. Ю. Горохов}
\affil{Ульяновский государственный университет}

\maketitle

В статье рассматриваются линейные стохастические системы 
управления в условиях параметрической неопределенности,
предлагается итерационный алгоритм стохастического 
управления на основе наблюдаемого вспомогательного 
функционала и исследуется влияние различных факторов 
на характеристики процесса идентификации. Предложен
метод идентификации фильтра Калмана в дискретном 
времени для стохастических систем управления с обратной 
связью. 

\paragraph*{Введение}
Итерационные схемы в условиях параметрической неопределенности 
были признаны необходимыми и адекватными \cite{Schrama} 
для построения управления в классе линейных стохастических 
систем. На каждой итерации решается задача идентификации по наблюдаемым 
экспериментальным данным. Основные вопросы идентифицируемости систем, 
описываемых линейными дифференциальными уравнениями, поставлены 
и решены в \cite{Eykhoff}, обзору численных методов оценивания посвящены 
~\cite{Saridis},~\cite{Tsypkin}.

В классических методах теории минимума ошибки предсказания ошибка предсказания 
$e(t_{i})$ {\it доступна}, а множество моделей $\mathcal{M}(\theta)$, зависящее от 
параметра $\theta$, определяется из критерия минимума этой ошибки. В
случае стохастических систем управления ошибка предсказания {\it недоступна}, так
как она определяет разность между выходом модели $\mathcal{M}(\theta)$ и
оптимальной оценкой вектора состояния $x$. Объект, для которого
необходимо построить множество моделей $\mathcal{M}(\theta)$, недоступен для 
наблюдения и его необходимо восстановить из наблюдаемых данных.

Для решения поставленной задачи определим вспомогательный процесс $\varepsilon(t_{i})$
так, что выполнено следующее соотношение
\begin{equation}
\label{eq:0.1}
J_{\varepsilon}(\theta)\stackrel{def}{=}\E{||\varepsilon(t_i)||^2} =
\E{||e(t_i)||^2} + \mbox{Const}
\end{equation}
где $\mbox{Const} > 0$ обозначает величину, независящую от $\mathcal{M}(\theta)$.
Минимумы вспомогательного функционала $J_{\varepsilon}(\theta)$ и
функционала $J_e(\theta)\stackrel{def}{=}\E{||e(t_i)||^2}$ совпадают
~\cite{Sem-enumath}.
Предложенный подход имеет практическую ценность для стохастических систем 
управления с обратной связью, которые описываются уравнениями
\begin{align}
x(t_{i+1}) & =  \Phi x(t_i)+\Psi u(t_i)+\Gamma w(t_i) \notag\\
z(t_i) & =  H x(t_i)+v(t_i)\\
u(t_i) & =  - G_0\wt x(t_i^+) \notag
\end{align}
где $x(t_i) \in \mathbb{R}^n$ вектор состояния, $z(t_i) \in \mathbb{R}^m$
вектор наблюдения, $u(t_i) \in \mathbb{R}^r$ вектор управления, который вычисляется
по субоптимальным значениям $\wt x(t_i^+)$ и $G_0$, 
$\{w(t_0),w(t_1),\dots\}$ и $\{v(t_1),v(t_2),\dots\}$ независимые последовательности
одинаково распределенных случайных векторов $w(t_i) \in \mathbb{R}^q$, $v(t_i) \in \mathbb{R}^m$
c ковариациями $Q$ и $R$ соответственно. Предположим так же, что
некоторые элементы матриц $\Phi$,$\Gamma$,$Q$ и $R$ неизвестны и их значения 
должны быть определены в процессе идентификации.

\paragraph*{Итерационный алгоритм}\label{sc:general}
\label{sec:GCA}
Оценки вектора состояния могут быть получены из соответствующего 
{\it субоптимального фильтра}, где вектор управления $u(t_i)$ вычисляется по субоптимальному закону управления 
$u(t_i)=-G_0\tilde{x}(t_i^{+})$. Коэффициент усиления заменяется значением,
полученным на каждой итерации, а $G_{0}$ пересчитывается заново. Целью функционирования 
{адаптивной модели} является идентификация фильтра Калмана
\begin{align}
\label{adaptive}
\tilde{g}(x_{i+1}) &= A \hat{g}(t_i)+B u(t_i) \notag\\
\hat{g}(t_i) &= \tilde{g}(t_{i}) + D\eta(t_i) \\
\eta(t_i) &= z(t_i) - H_*\tilde{g}(t_{i}) \notag
\end{align}
где $A=T\Phi T^{-1},B=T\Psi, H_*=HT^{-1}$ и $T$ матрица наблюдаемости, определенная
в ~\cite{Sem-enumath}. Пусть $\theta$ обозначает множество всех параметров,
требующих оценки, а $\eta(t_j), t_j\in[t_{i-s+1},t_i] \eqdef \mathbb{H}(t_{i-s+1}, t_i)$, 
где $s$ максимальный частный индекс наблюдаемости. Разница между адаптивной и субоптимальной моделями может быть 
представлена как
\begin{equation}
\label{eps}
\varepsilon(t_i) = \mathcal{N}(D)\mathbb{H}(t_{i-s+1}, t_i)
\end{equation}
где $\mathcal{N}(D)$ преобразование коэффициента усиления $D$ ~\cite{Sem-enumath}.

{\it Модель чувствительности} отражает влияние настраиваемых параметров 
на ошибку (\ref{eps}) и может быть определена как частные 
производные вектора $\varepsilon(t_i)$ относительно параметров $\theta$ в 
рекурсивном виде. Пусть $\mu$ - вектор состояния модели чувствительности, тогда
\begin{align}
\label{rec1}
\tilde{\mu}_{j}(t_i) &= A\left[ (I - DH_{*})\tilde{\mu}_{j}(t_{i-1}) + \frac{\partial D}{\partial \theta_{j}}\eta(t_{i-1})\right], \quad \theta_{j} \in D \\
\tilde{\mu}_{j}(t_i) &= \frac{\partial A}{\partial \theta_{j}} \hat{g}(t_{i-1}) + 
        A(I - DH_{*})\tilde{\mu}_{j}(t_{i-1}), \quad \theta_{j} \in A 
\end{align}
с начальными значениями $\hat{\mu}_{j}(t_{0}) = 0$ для каждого $\theta_j$.
Последние $s$ значений векторов $\xi_{j}(t_{i}) \eqdef -H_{*}\tilde{\mu}_{j}(t_i)$ и
$\mathbb{H}(t_{i-s+1}, t_i)$ используются для построения матрицы
чувствительности $\mathcal{S}(t_i)$
\begin{equation}
\label{sensmatrix}
\mathcal{S}(t_i) \eqdef
\left( \frac{\partial \mathcal{N}(D)}{\partial \theta_j}\mathbb{H}(t_{i-s+1}, t_i) + 
\mathcal{N}(D) \frac{\partial \mathbb{H}(t_{i-s+1}, t_i)}{\partial \theta_j}\right)
\end{equation}
Экспоненциально сглаженная с коэффициентом $\beta$ {\it оценка градиента} и 
пробная оценка для каждого параметра $\theta_j$ могут получены как
\begin{align}
\label{gradmod}
\hat{\mathcal{G}}(t_i) &= \beta\hat{\mathcal{G}}(t_{i-1}) + (1 - \beta)\mathcal{S}^{T}(t_i)\varepsilon(t_i) \\
\pi(t_i) &=  \hat{\theta}(t_i) - \textrm{diag}\left(p_{j}(t_{i}) + \Vert \frac{\partial \varepsilon(t_i)}{\partial \theta_j} \Vert^2\right) \hat{\mathcal{G}}(t_i) 
\end{align}
где $\pi(t_i)$ для $\hat{\theta}(t_{i+1})$, которая, в случае выполнения
{\it условия устойчивости фильтра} $\rho\left[ (I - DH_{*})A\right] < 1$,
становится оценкой на следующем шаге $\hat{\theta}(t_{i+1}) = \pi(t_i)$.

\paragraph*{Заключение}
Результаты численных экспериментов показывают применимость и практическую значимость 
предложенного в статье итерационного алгоритма стохастического управления для дискретных 
стохастических систем с обратной связью, определено влияние различных факторов
(устойчивость объекта, отношения сигнал-шум, выбор начальных значений) на
качество получаемых оценок.

\begin{thebibliography}{9}
\bibitem{Schrama}
R.~R.~Schrama. ``Accurate identification for control:
the necessity of an iterative scheme". {\it IEEE Transactions on 
Automatic Control}, Vol.~37(7), pp.~991--994 (1992).
\bibitem{Eykhoff}
Eykhoff,~P. (1974); System Identification; Wiley (pp.~684)
\bibitem{Saridis}
Saridis, G.N. (1977); Self-Organizing Control of Stochastic Systems;
Marcel Dekker, Inc. (pp.~400)
\bibitem{Tsypkin}
Tsypkin,~Ya.~Z., E.D.~Avedyan and O.V.~Gulinsky (1981);
On Convergence of the Recursive Identification Algorithms;
IEEE Trans. Aut. Control, Vol.~AC-26, No.~5 (pp.~1009--1017)
\bibitem{Sem-enumath}
Semoushin,~I.~V. and J.~V.~Tsyganova (2000); Indirect Error Control for Adaptive 
Filtering; Proc.~$3^\textrm{rd}$ European Conference on Numerical
Mathematics and Advanced Applications, ENUMATH-99, World Scientific,
Singapore (pp.~333-340)
\end{thebibliography}

\end{document}