Технология многомерных баз данных. Анализ главных компонент и классификация


А.Л. Померанцев, О.Е. Родионова


В отечественной научно-технической литературе все чаще встречается выражение "многомерный статистический контроль процессов" - MSPC (Multivariate Statistical Process Control) .
MSPC - это современный подход к моделированию многомерных (многофакторных) процессов, основанный на применении проекционных математических методов, позволяющих выделять в больших массивах данных скрытые (латентные) переменные и анализировать связи, существующие в изучаемой системе. MSPC является естественным развитием подхода, известного как SPC (Statistical Process Control) - статистический контроль процессов, с переходом на более высокий уровень обработки накопленных данных.
Анализом каких процессов занимается MSPC? В первую очередь, конечно же, производственных. Однако он может быть полезен и для предприятий торговли, банковской и страховой сфер и т. д., т. е. там, где необходимо регулярно принимать решения, влияющие на эффективность деятельности предприятия. Под MSPC понимается многогранная деятельность, связанная с многофакторным мониторингом, моделированием и управлением процессами, которая направлена на стабилизацию функционирования предприятия, на повышение эффективности его работы и в конечном итоге на выпуск качественной продукции или оказание качественных услуг.
Контроль качества - это теперь модная тема, хотя сама по себе качественная работа для любого предприятия была актуальна всегда. Слово "качество" многозначно и широко употребляется как в быту, так и в специальной литературе. Например, "качество" является одним из синонимов слова "свойство" - т. е. неотъемлемая характеристика чего-либо. Зачастую понятие "качество" отражает субъективную оценку продукта или услуги.
Рассмотрим точку зрения производителя, для которого качество - это соответствие некоторому стандарту при минимуме затрат.
Именно достижению такого качества и служит многомерный статистический контроль процессов.
На предприятии можно выделить четыре основных уровня контроля качества.
Интуитивно-экспертный контроль . Существует на каждом предприятии, когда эксперт-технолог, в роли которого может выступать любое ответственное лицо, лично принимает решение о том, является ли произведенный продукт качественным или нет. Соответственно он же решает, какое воздействие нужно оказать на процесс, чтобы получить качественную продукцию. Такой подход, например, применяется в хорошем ресторане, где шеф-повар сам оценивает качество блюд и корректирует рецепты их приготовления. Этот уровень контроля оправдывает себя на небольших предприятиях, и только при наличии квалифицированного эксперта. Замена либо просто болезнь эксперта, могут привести к катастрофическому снижению качества продукции. Как только предприятие разрастается и один эксперт (или группа экспертов) уже не способен лично контролировать весь технологический процесс, предприятию необходимо переходить на другой уровень контроля качества.
Описательный контроль . При такой организации работы для каждого рабочего места существует инструкция, описывающая, что, как, с помощью каких инструментов необходимо делать, и регламентирующая точность выполнения определенных операций. Именно такой подход существует, например, на предприятиях быстрого питания (fast-food) , в результате чего они по всему миру производят сходную по качеству продукцию. В настоящее время этот подход широко распространен, в частности, путем сертификации предприятий на соответствие требованиям стандарта ИСО 9001.
Статистический мониторинг . Методы SPC были предложены Шухартом еще в начале 30-х годов, но широко внедряться на предприятиях они стали только с середины 50-х. В общих словах идея этого подхода заключается в следующем. На предприятии регулярно измеряются некоторые заранее определенные показатели технологического процесса. Если эти показатели колеблются внутри установленных пределов (критических уровней), то считается, что процесс управляем, если нет - управление нарушено и произошло событие, которое требует вмешательства для восстановления нормального функционирования. Для подобного мониторинга используются контрольные карты Шухарта , карты накопленных сумм и т. д. Карты заполняются прямо на производстве, поэтому выводы, сделанные с их помощью, позволяют, в случае необходимости, произвести немедленные действия.
Существует несколько причин, по которым описанные выше методы контроля являются необходимыми, но недостаточными мероприятиями для получения конечного продукта надлежащего качества. Во-первых, контролировать необходимо не только качество конечного продукта, но и сам производственный процесс. Во-вторых, контроль отдельных показателей, без их взаимосвязи либо не обеспечивает должного качества выходной продукции, либо чрезмерно завышает производственные показатели, приводя к многочисленным ложным тревогам.
Многомерный статистический контроль (MSPC) . Производственный процесс - это сложная, многомерная система, которая характеризуется, как правило, десятками, сотнями, а то и тысячами показателей, и один человек не может одновременно отслеживать изменения каждого показателя. Возможны два решения этой проблемы. Во-первых, компьютер может сообщать оператору только о тех показателях, которые "выходят" за критическое значение. Во-вторых, можно использовать многомерные методы для составления обобщенных контрольных карт по методу главных компонент .
Многомерные методы контроля дают меньшее число ложных предупреждающих сигналов, кроме того, они являются мощным инструментом для анализа возможных внештатных ситуаций . Для того чтобы понять суть MSPC и, учитывая, что в данном подходе важную роль играет человек, его опыт, рассмотрим пример моделирования действий капитана корабля , который принимает все решения на судне и чьи указания выполняются беспрекословно.
Эффективность деятельности судоходной компании, занимающейся регулярными рейсовыми перевозками пассажиров и грузов, определяется, во-первых, точностью работы, т. е. строгостью выполнения расписания, а во-вторых, экономным использованием топлива, что напрямую зависит от квалифицированных действий капитана.
На одном из таких маршрутов достаточно продолжительное время собирались и записывались различные параметры, характеризующие процесс кораблевождения (таблица). Всего было 20 таких показателей (в таблице приведены лишь некоторые), среди них неуправляемые и управляемые переменные, а также переменные - отклики , характеризующие эффективность (качество) работы.
Порт Неуправляемые переменные Управляемые переменные Отклики
Погодные условия Режимы движения Результат
Ветер Вол-
ны
Тече-
ние
Число
пасса-
жиров
Вес груза Обороты двигателя Осадка судна Диффе-
рент
Расход
горю-
чего
Опоз-
дание
Bergen 10 5 30 123 452 5000 25 10 120 0
Larvik 12 4 35 85 523 4500 40 5 150 0
Maloy 8 5 25 142 384 5000 50 0 180 -2
Volda 2 2 10 102 412 4500 20 5 190 0
Alesund 5 3 14 56 235 4000 -50 5 120 3
Molde 2 1 2 86 341 4000 -30 3 50 0
Kristiansund 1 5 3 140 120 4000 -35 5 85 -5
Trondheim 5 5 15 112 462 5000 20 8 320 0
Malm 6 6 3 50 385 4500 -25 10 105 1
Narvik 7 6 6 75 225 4500 -50 5 85 5
Namsos 8 7 5 94 302 3500 -60 3 95 -4

Математический анализ полученных данных показал, что эта система имеет не 20 степеней свободы, как можно было бы ожидать, а всего лишь 5. Иными словами, число независимых величин (не конкретных физических, а скрытых, "латентных", присущих только данной системе) меньше, чем число измеряемых характеристик. Это объясняется тем, что в системе имеются внутренние связи (корреляции) между показателями. Природа этих связей двойственна. С одной стороны, они порождаются объективными причинами - например, сила ветра и высота волны, очевидно связаны. С другой стороны, корреляции возникают и по субъективным причинам - ведь капитан не хаотично изменял значения управляемых переменных, а руководствовался определенными целями, что и приводило к появлению дополнительных достаточно жестких связей. В результате удалось построить математическую модель, зависящую от пяти латентных переменных, которая описывала поведение капитана корабля в широком диапазоне внешних условий. Если ввести в эту модель конкретные значения неуправляемых переменных, можно вычислить значения управляемых переменных, т. е. предложить капитану, какие режимы нужно выбрать, чтобы прийти в следующий пункт назначения вовремя при минимальном расходе топлива. С другой стороны, капитан и сам может ввести в систему значения управляемых параметров, чтобы получить оценку своих предполагаемых действий, например, узнать, сколько топлива он затратит.
Почему же удалось построить эту модель? Модель поведения этого капитана, управляющего этим кораблем в этих условиях, удалось построить только потому, что изучалась целенаправленная деятельность опытного капитана. Именно поэтому у изучаемой системы в результате оказалось не так уж много внутренних степеней свободы. Если бы вместо опытного капитана посадить, например, ребенка, который бы хаотично дергал за ручки и менял управляемые параметры, никакой модели создать бы не удалось, так как система не содержала бы в себе внутреннюю логику и число степеней свободы у нее было бы огромным. В то же время приходилось уговаривать капитана совершать подчас неразумные, с его точки зрения, действия, например, выходить дальше, чем обычно в открытое море, выбирать неправильный дифферент корабля и т. п. Такие данные необходимы для того, чтобы изучить поведение системы в максимально широком диапазоне условий - только тогда построенная модель будет адекватно описывать исследуемую систему.
Практическое применение этой системы дало ощутимые результаты - вопреки изрядному скептицизму, судоходная компания получила в итоге выгоду от ее использования. При этом следует обратить внимание на следующие принципиальные моменты: во-первых, никто не задавался целью убрать капитана с корабля - ставилась задача создания системы, которая будет давать лишь рекомендации; во-вторых, для решения использовались только простые, "формальные" модели, связывающие входные и выходные переменные, и не использовались сложные физические зависимости, описывающие воздействие различных сил на корабль, траекторию движения судна и т. д. В-треть Практическое применение этой системы дало ощутимые результаты - вопреки изрядному скептицизму, судоходная компания получила в итоге выгоду от ее использования. При этом следует обратить внимание на следующие принципиальные моменты: во-первых, никто не задавался целью убрать капитана с корабля - ставилась задача создания системы, которая будет давать лишь рекомендации; во-вторых, для решения использовались только простые, "формальные" модели, связывающие входные и выходные переменные, и не использовались сложные физические зависимости, описывающие воздействие различных сил на корабль, траекторию движения судна и т. д. В-третьих, не ставилась задача построения универсальной модели, описывающей действия любого капитана на любом судне, - речь шла лишь о вполне конкретном классе судов, курсирующих по определенному маршруту.
Нам кажется, что разобранный пример, при всей своей экзотичности, удачно иллюстрирует основную идею MSPC. Действительно, цель капитана - это достижение стандарта, т. е. прибытие в каждый порт вовремя при минимуме затрат, т. е. расхода топлива. Действия капитана, по сути, не сильно отличаются от действия технолога: есть неуправляемые, управляемые и выходные показатели, характеризующие режимы работы системы.
Зачем нужен MSPC? Это реальная альтернатива затратным методам повышения качества в условиях, когда предприятие не может купить новое оборудование, не имеет входное сырье со стабильными свойствами, не может установить дорогие контрольные приборы. Что же предлагает MSPC? Изучать, обобщать и использовать свой собственный опыт в обычных условиях, на имеющемся оборудовании и с имеющемся сырьем. Этот подход можно сформулировать очень кратко, используя популярный теперь стиль слоганов.
Цель. Научиться у самих себя принимать правильные решения в различных ситуациях.
Средства. Регулярный сбор реальных показателей и их математический анализ.
Результат. Качество при снижении затрат на стабильном производстве.
Надо отметить, что MSPC - это не конкретная компьютерная программа, которую надо лишь купить и установить на предприятии. Это определенный подход, можно даже сказать, философия, требующая совместных усилий с одной стороны - специалистов, работающих на конкретном предприятии и хорошо знающих технологический процесс и его узкие места, а с другой - математиков, владеющих методами, позволяющими решать такого рода задачи. При этом в область совместной деятельности входят: постановка задачи, определение и сбор показателей, тестирование построенных моделей на производстве.
Для того чтобы понять существо некоторой системы или процесса, необходимо проводить измерения и сбор данных . Учитывая, что многомерный анализ данных вообще и MSPC в частности основываются не на функциональных (содержательных) моделях, а на формальном моделировании данных, вопрос о том, какие данные собирать, требует отдельного рассмотрения. Остановимся лишь на отдельных принципиальных моментах.
Все начинается с проведения большого числа измерений, т. е. со сбора данных (см. таблицу). В таблице каждый столбец содержит все значения одной переменной, а каждая строка (называемая образцом ) - значения всех переменных для одного образца. Образцом может считаться и момент времени, и номер партии, и имя клиента, т. е. любое событие, характерное для исследуемой системы. Так, в рассмотренном примере образец - это перегон между двумя портами курса корабля.
Переменной может быть любая величина, характеризующая функционирование системы. Например, кислотность производимого напитка можно измерять количественно (pH ), а можно определять качественно ("сладкий", "полусладкий" и т. п.).
Собранные в таблицу необходимые данные еще не означают, что мы изучили явление, так как эту таблицу нужно проанализировать с помощью соответствующих методов, чтобы извлечь систематическую информацию. Если переменных немного, например две или три, то провести анализ можно традиционными методами, строя графики для двух- и трехмерных данных (рис. 1, 2). Как только таких показателей становится много, то необходимо применять многомерный анализ данных, который и лежит в основе MSPC.

Важно понимать, что исходные данные всегда содержат как существенную информацию, которую называют сигналом , так и случайную, которую называют шумом . Под шумом, в первую очередь, понимают ошибки измерений, индивидуальные особенности измеряемых образцов, ошибки моделирования и т. д. В рассматриваемом подходе к шуму относят также и систематическую информацию, не имеющую отношения к изучаемому процессу. Разделение данных на сигнал и шум - это центральная проблема моделирования, решение которой состоит в их правильном балансе . С одной стороны, нельзя занизить уровень шума, т. е. излишне детализировать модель, так как в этом случае модель станет неустойчивой. С другой стороны, завышая шум, мы теряем содержательную часть данных, и модель лишается прогнозирующей силы. Методы многомерного анализа данных, во-первых, позволяют сравнительно просто управляться с большими массивами, а во-вторых, разделять сигнал и шум.
Для того чтобы построить модель, не только адекватно функционирующую в узком диапазоне условий, а способную моделировать различные процессы, например, при использовании сырья различного качества, необходим максимально широкий опыт. Неудачный опыт, выпуск брака нельзя выбрасывать из данных, так как эта информация тоже необходима для построения модели. Не надо проводить предварительный отбор образцов или переменных, выбирая из них наиболее существенные - это решается в процессе анализа системы. Переменные часто связаны между собой, и основная информация - сигнал - содержится как раз в этой самой системе связей. Если часть данных по какой-либо причине отбрасывается, то при этом мы рискуем потерять важную информацию.
Конечно, модель (сколь бы сложной она ни была) никогда не будет абсолютно точной. Но хорошая модель является эффективным инструментом для понимания, а значит, и для управления процессом. Для построения такой модели необходимы информативные и доброкачественные данные.
Вернемся к схеме, характеризующей четыре уровня контроля качества. На примере с капитаном корабля мы видели, что наличие первого, интуитивно-экспертного уровня, является необходимым условием построения модели MSPC. Второй, описательный уровень тоже необходим, хотя, возможно, не в масштабе всего предприятия, а только для регламентирования процедуры сбора данных, описание должно исчерпывающе отвечать на следующие вопросы: что и когда измерять; кто производит измерения; в каком виде хранятся результаты. Третий уровень контроля - статистический мониторинг - дает ответы на все эти вопросы и подготавливает переход к MSPC, для которого нужно еще совсем немного - применить к имеющимся данным многомерный математический анализ, в основе которого лежит проекционный подход.
Опишем MSPC с точки зрения производственника и не будем отвлекаться на несущественные математические подробности, которые можно найти, например, в , а постараемся передать суть проекционного подхода, используя геометрическую интерпретацию.
Начнем с простейшего примера: когда в системе имеются всего две измеряемые переменные, тогда собранные данные можно изобразить на плоскости (см. рис. 1). Каждой строке исходной таблицы (т. е. образцу) соответствует точка на плоскости переменных с соответствующими координатами. Введем новую ось (первый главный компонент - ГК1) так, чтобы вдоль нее происходило максимальное изменение данных, и спроецируем все точки на эту новую ось. Если предположить идеальную ситуацию, при которой значения сигнала расположены вдоль этой прямой, а разброс обусловлен шумом, то, проецируя исходные данные на ось ГК1, мы выделяем содержательную структуру данных и описываем ее всего одной новой переменной. А оставшуюся часть данных, которая не объясняется этим описанием, - расстояние от точки до новой оси - можно считать шумом. Этот шум можно анализировать дальше, ища в нем содержательную часть - второй главный компонент и т. д. до тех пор, пока шум уже не станет действительно шумом, т. е. случайным хаотическим набором величин.
В общем случае процесс проецирования проходит следующие этапы (см. рис. 2):
1) находится центр облака данных, и туда переносится новое начало координат - это нулевой главный компонент (ГК0);
2) выбирается направление максимального изменения данных - это первый главный компонент (ГК1);
3) если данные описаны не полностью (шум велик), то выбирается еще одно направление (ГК2) - перпендикулярное к первому, чтобы описать оставшееся изменение в данных и т. д.
В результате метод главных компонент представляет образцы в новом пространстве меньшей размерности. При этом не просто одна система координат заменяется другой, но и снижается уровень шума (т. е. влияния различных посторонних факторов) на систему. На рис. 2 показано уменьшение размерности системы с трех до двух, что не является существенным понижением размерности. Часто происходит уменьшение на порядки, например, с 300 исходных переменных до 3-5 главных компонент.
Пример контроля производственного процесса , построенный по данным, полученным на реальном химическом предприятии, но несколько упрощенный для иллюстративных целей. В течение некоторого времени исследовался технологический процесс (53 состояния системы - образца), который отслеживали 17 датчиков (переменных). Для каждого показателя были заданы верхняя и нижняя границы допустимых значений. Согласно SPC-подходу, у каждой переменной имеется своя контрольная карта (рис. 3). При выходе показателя за критический уровень оператору поступает предупреждающий сигнал.

Если бы переменных было мало, то такой подход не создавал бы проблем. Однако контролировать одновременно динамику изменения всех (в данном случае 17) переменных оператору трудно (рис. 4).

Простейший анализ позволяет сделать очевидные преобразования исходных данных:
1) сдвинуть каждую переменную так, чтобы среднее значение было равно нулю;
2) нормализовать каждую переменную так, чтобы привести их к общему критическому уровню, например + 1.
Подобные нехитрые преобразования, называемые в методе MSPC подготовкой данных , позволяют значительно упростить визуальное восприятие информации о процессе.
В результате оператор будет видеть на экране картинку, отражающую состояние системы в определенный момент времени (нормализованные показания датчиков), которую уже легко контролировать (рис. 5). На ней значение каждой нормализованной переменной изображается столбиком диаграммы, высота которого меняется в ходе процесса. Здесь уже хорошо заметно, как далеко находится каждый показатель от критических уровней.

Однако такое преобразование не решает другую важную проблему, возникающую при контроле большого числа показателей, - как реагировать на предупреждающие сигналы. Среди 17 измеряемых переменных имеется несколько управляемых переменных. Если одна из них приближается к верхнему критическому уровню, то естественно ее уменьшить, если к нижнему - то увеличить. А как быть с неуправляемыми переменными, значения которых нельзя менять непосредственно? Здесь помогает то, что все показатели в системе связаны между собой. Например, чем выше температура, тем выше давление и т. п. Поэтому оператор может косвенно изменять неуправляемые переменные через регулирование управляемых. Вообще говоря, в подобных сложных системах, пронизанных внутренними связями, каждое действие оператора вызывает одновременное изменение всех показателей, причем не всегда желательное. В идеале для достижения требуемого результата необходимо строго дозированно менять значения всех контролируемых переменных одновременно, что практически невозможно. Отсюда возникают ошибки, приводящие к браку.
Наличие внутренних связей при обычном подходе к задаче управления вызывает проблемы, а для MSPC - это, наоборот, благо. При его применении используются проекционные методы, позволяющие выделить обобщенные латентные переменные в системе. Так, в рассматриваемом примере оказалось, что его можно описать всего двумя главными компонентами. На рис. 6 изображены проекции всех 53 измеренных состояний системы (образцов) на плоскость двух главных компонент.

При этом уровень шума, т. е. доля необъясненных данных, равна всего 4%. Это означает, что каждое наблюдение - строка из 17 чисел - может быть восстановлено по двум значениям проекций на оси главных компонент с относительной точностью не хуже, чем 0,04. Кроме того, удалось установить однозначную связь между выходом значения какого-либо датчика за контрольный уровень и выходом точки на плоскости ГК за границы критического эллипса (см. рис. 6). Теперь оператор может следить за изменением положения точки, характеризующей состояние системы, на плоскости, что, разумеется, значительно проще.
Значительно упрощается и проблема управления. Оператор может управлять уже всего двумя "латентными" переменными, регулируя их при необходимости. При этом происходит одновременное синхронное изменение всех исходных, "физических" переменных. Между прочим, такой прием используется в неявном виде во многих сложных бытовых приборах, например в телевизионных приемниках, где пользователь имеет в своем распоряжении ограниченное число кнопок-регуляторов, управляющих большим числом физических, скрытых от него переменных. Для того чтобы такая система управления была удобна и эффективна, ее сначала необходимо настроить. Этот процесс носит название калибровки (или градуировки ) - по аналогии с процедурой настройки измерительных приборов - поэтому многомерный анализ данных называют еще и многомерной калибровкой .
Прежде чем практически использовать построенную в ходе калибровки математическую модель, ее подвергают процедуре проверки , т. е. необходимо убедиться в том, что она способна правильно предсказывать состояния системы. Для этого измеряют и собирают новые (проверочные) данные об исследуемом процессе и используют построенную модель для предсказания этих значений. Если предсказанные величины незначительно отличаются от измеренных, то считают, что модель прошла проверку и может использоваться на практике. Если нет, то нужно проводить новую, уточняющую калибровку. Часто свойства моделируемой системы могут измениться резко (переход на новое сырье) или постепенно (износ оборудования). В этом случае построенная ранее модель становится непригодной и должна уточняться. При такой постановке задача MSPC является не одномоментной акцией, а целевой программой анализа и совершенствования качества работы предприятия.
В последнее десятилетие MSPC широко используется в мире в разнообразных областях промышленности для таких непрерывных процессов, как, например:
контроль и прогнозирование качества газетной бумаги в зависимости от состава исходного сырья ;
контроль качества производства меди и анализ состава примесей ;
контроль качества бензина .
Кроме того, MSPC применяется и в случаях, когда процесс состоит из отдельных стадий, и для получения качественной продукции необходимо контролировать кинетику процессов внутри одной или нескольких стадий, например:
контроль производства пекарских дрожжей ;
контроль процесса полимеризации при производстве полиэтилена низкой плотности .
Выводы. MSPC - современный подход, используемый во всем мире для наблюдения за производственными процессами, улучшения их функционирования, повышения качества продукции и разработки новых технологий и продуктов. Математическое моделирование, применяемое в MSPC, основывается не на построении сложных физических (химических и т. п.) моделей, а на простом анализе входных и выходных данных. Процедура применения MSPC проходит через следующие основные стадии:
1) постановка задачи, построение плана наблюдений;
2) мониторинг процесса, сбор данных;
3) анализ данных, установление скрытых связей между показателями;
3) построение и проверка модели;
4) практическое применение модели для решения текущих задач;
5) анализ практики применения и корректировка модели.
Последние две стадии не являются одноразовыми, а должны применяться постоянно для достижения оптимальных производственных результатов.
MSPC представляет состояние производственного процесса в простой и наглядной форме и является логическим продолжением и развитием стандартных методов статистического контроля процессов. Этот подход позволяет добиваться устойчивых результатов даже на устаревшем оборудовании и при нестабильном качестве сырья. Возвращаясь к классификации уровней контроля качества, приведенной в начале статьи, можно заметить, что MSPC, в каком-то смысле, "замыкает круг", возвращая производство к исходному "патриархальному" контролю, но на качественно и количественно ином системном уровне. Ни для кого не секрет, что интуитивно-экспертный контроль производства (бабушка на своей кухне) может дать высочайшее качество, не сравнимое с поточным производством. Используя MSPC, можно обобщить и математически формализовать индивидуальный, бесценный опыт каждого специалиста и тем самым распространить его на массовые производственные процессы. Нам кажется, что Россия с ее многочисленными опытными специалистами, способными обеспечивать стабильное производство в нестабильных условиях, является уникальным объектом для применения этого подхода. Именно здесь он должен принести наиболее впечатляющие результаты, тем более что затраты, связанные с внедрением MSPC, значительно ниже, чем, скажем, закупка нового оборудования.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Shewhart W.A. Economic Control of Quality of Manufactured Product. - Van Nostrand, New York, 1931.
2. MacGregor J., Kourti Th. Statistical process Control of Multivariate Processes // Control Engineering Practice, 1995 (3), Р. 403-413.
3. Kourti Th., MacGregor J. Recent Developments in Multivariate SPC Methods for Monitoring and Diagnosing Process and Product Performance // J. of Quality Technology. 1996 28 (4), P. 309-323.
4. Hцskuldsson A. Prediction Methods in science and technology. Thor publishing, Denmark 1996.
5. Eriksson L., Johansson E., Kettaneh-Wold N., Wold S. Multi- and Megavariate Data Analysis, Umetrics AB, Umea, 2001.
6. Esbensen K.H. Multivariate Data Analysis - In Practice 4-th Ed., CAMO, 2000.
7. Martens H. and Nжs T. Multivariate calibration, John Wiley & Sons, Chichester, 1989.
8. INFOMetrix Newsletter 11-4/91. Rating octane of gasoline by Near Infrared Spectroscopy. Infometix, Inc. Seattle, Washington USA.
9. Kourti Th., MacGregor J. Process analysis, monitoring and diagnostics, using multivariate projection methods. Chemom. Intell. Lab. Systems. 1995 (28), Р. 3-21.

Подготовлено по материалам РИА "Стандарты и Качество"

Многомерный стационарный случайный процесс определяется как совокупность стационарных и стационарно связанных между собой случайных процессов . Такой процесс принято обозначать в виде случайного вектора-столбца, зависящего от времени:

.

Многомерные случайные процессы используются при описании многомерных (многоканальных) систем. В настоящем параграфе рассматривается задача цифрового моделирования нормальных многомерных стационарных случайных процессов. Результатом решения этой задачи, как и в одномерном случае, является алгоритм, позволяющий формировать на ЦВМ многомерные дискретные реализации заданного процесса. -мерный непрерывный нормальный стационарный случайный процесс задается обычно либо в виде его корреляционной матрицы

либо в виде спектральной матрицы

где - автокорреляционные (при ) и взаимно корреляционные (при ) функции случайных процессов - преобразование Фурье от . При этом, поскольку , элементы и спектральной матрицы комплексно-сопряженные,

.

Дискретные многомерные нормальные случайные процессы задаются аналогично непрерывным с помощью корреляционных и спектральных матриц (35, 70]

где , причем .

Задачу цифрового моделирования многомерного нормального случайного процесса целесообразно сформулировать следующим образом. Задана корреляционная или спектральная матрица случайного процесса. Требуется отыскать алгоритм для формирования на ЦВМ дискретных реализаций случайного процесса с заданными корреляционными (спектральными) свойствами.

Для решения этой задачи воспользуемся, как и ранее, идеей формирующего линейного фильтра. В рассматриваемом случае речь идет о синтезе многомерного формирующего фильтра.

Мерный линейный фильтр определяется как линейная динамическая система с входами и выходами . Если - входное воздействие и - реакция системы, то связь между входом и выходом -мерного линейного непрерывного фильтра описывается с помощью передаточной матрицы в виде

где и - изображения входного и выходного сигналов соответственно в смысле преобразования Лапласа; - передаточная матрица -мерного фильтра, у которой элементы являются передаточными функциями каналов -й вход - -й выход.

Аналогично описывается связь вход - выход в дискретных -мерных линейных фильтрах:

,

где и - изображения в смысле дискретного преобразования Лапласа входного и выходного сигналов; - передаточная матрица дискретного -мерного фильтра.

Структурная схема многомерного фильтра на примере двумерного фильтра приведена на рис. 2.9, согласно которому

(2.107)

Видим, что каждый из выходных сигналов и является суммой линейных операторов от входных сигналов и . Аналогичные соотношения имеют место и в общем случае. В этом и состоит идентификация передаточных матриц .

Пусть воздействие на входе -мерного линейного фильтра представляет собой -мерный белый шум, т. е. случайный процесс с корреляционной матрицей вида

для непрерывного времени и

для дискретного времени, где - дельта-функция. -мерный белый шум определен здесь как совокупность независимых между собой -коррелированных случайных процессов.

Можно показать (см., например, ), что при воздействии белого шума спектральная матрица процесса на выходе - мерного фильтра для непрерывного и дискретного времени соответственно связана с передаточной матрицей фильтра соотношениями

(2.108)

где символом обозначена транспонированная матрица.

Следовательно, для получения -мерного случайного процесса с заданной спектральной матрицей нужно пропустить -мерный белый шум через -мерный формирующий фильтр, передаточная матрица которого удовлетворяет уравнениям (2.108). Для нахождения передаточной матрицы по заданной спектральной матрице требуется разбиение последней на два сомножителя вида (2.108). Эта процедура называется факторизацией спектральных матриц. Она может быть реализована по известным алгоритмам .

Многомерная фильтрация белого шума осуществляется достаточно просто: каждая составляющая случайного процесса на выходе -мерного фильтра с передаточной матрицей получается путем суммирования по составляющих входного процесса , профильтрованных одномерными фильтрами с передаточными функциями [см. формулу (2.107)]. Алгоритмы одномерной фильтрации рассмотрены выше.

При данном способе моделирования возможны два пути: 1) заданную спектральную матрицу непрерывного -мерного случайного процесса можно непосредственно подвергнуть факторизации для получения передаточной матрицы непрерывного формирующего фильтра, а затем, используя описанные выше точные или приближенные методы дискретизации непрерывных, фильтров, осуществить многомерную фильтрацию непрерывного белого шума; 2) по заданной спектральной матрице непрерывного -мерного процесса , используя -преобразование, можно найти спектральную матрицу соответствующего дискретного случайного процесса (см. § 2.3), далее путем факторизации найти передаточную, функцию дискретного формирующего фильтра, а затем произвести многомерную фильтрацию дискретного белого шума.

Наибольшие трудности встречаются при факторизации спектральных матриц. В настоящее время разработаны алгоритмы факторизации лишь рациональных спектральных матриц, т. е. таких матриц, элементы которых являются дробно-рациональными функциями аргументов или .

Опишем, опуская доказательства, один из алгоритмов факторизации рациональных спектральных матриц, взятый из .

Пусть задана рациональная спектральная матрица

.

Матрица может быть приведена к виду

путем следующих преобразований.

1. Определяется ранг матрицы , затем один из главных миноров порядка располагается в левом верхнем углу матрицы .

2. Матрица приводится к диагональному виду. Для этого к -й строке матрицы , , прибавляется первая строка, умноженная на - , затем к -му столбцу прибавляется первый столбец, умноженный на ; получается матрица

, (2.109)

где элементы матрицы

имеют вид

(2.110)

С матрицей проделываются те же преобразования, что с исходной матрицей . При продолжении этого процесса на -м шаге получается диагональная матрица

такая, что .

3. Находится вспомогательная матрица

элементы которой имеют следующий вид:

(2.111)

где определяются из рекуррентных соотношений

(2.112)

4. Находятся вспомогательные полиномы

где - нули полиномов , лежащих в нижней полуплоскости, считаемые столько раз, какова их максимальная кратность, причем - знаменатели дробно-рациональных функций, представляющих собой элементы матрицы :

.

5. По способу, рассмотренному в § 2.9, п. 2, дробно-рациональные функции

представляются в виде

,

где полиномы и не имеют нулей в нижней полуплоскости.

На этом процесс факторизации заканчивается. Окончательно передаточная матрица формирующего фильтра записывается в виде

(2.113)

Здесь описан алгоритм факторизации рациональных спектральных матриц непрерывных многомерных процессов. Факторизация спектральных матриц дискретных процессов осуществляется аналогично, только вместо корней, расположенных в нижней полуплоскости, берутся корни, расположенные в единичном круге.

Пример 1. Пусть задан двумерный непрерывный стационарный центрированный случайный процесс с корреляционной матрицей

, (2.114)

где - некоторые положительные константы, причем .

Корреляционная матрица, соответствующая спектральной матрице (2.114), имеет вид

, (2.115)

где и - автокорреляционные и взаимно корреляционный моменты процессов и соответственно; - коэффициент взаимной корреляции процессов и совпадающие моменты времени. Коэффициенты и представляют собой в данном случае ширину (на уровне 0,5) энергетических спектров и взаимного энергетического спектра процессов и .

Требуется произвести факторизацию спектральной матрицы (2.114) для получения передаточной матрицы формирующего фильтра.

Будем осуществлять процедуру факторизации поэтапно в соответствии с приведенным выше алгоритмом факторизации.

1. В данном случае ранг спектральной матрицы .

2. Для приведения матрицы к диагональной требуется один шаг. По формулам (2.109) и (2.110) получаем

.

3. В соответствии с выражениями (2.111) и (2.112) вспомогательная матрица имеет вид

4. В рассматриваемом случае нужно найти лишь один вспомогательный полином . Для этого требуется найти корни знаменателя у элемента матрицы , т. е. корни полинома . Эти корни равны

Следовательно,

.

5. На заключительном этапе требуется произвести факторизацию дробно-рациональных функций

В данном случае корни числителей и знаменателей у дробно-рациональных функций и легко вычисляются. Используя корни, лежащие в верхней полуплоскости (корни с положительными мнимыми частями), получим и к переменной :

.

На рис. 2.9 показана структурная схема двумерного формирующего фильтра, на выходе которого образуется двумерный случайный процесс с требуемыми спектральными характеристиками, если на вход фильтра воздействует белый шум. Заменяя непрерывный двумерный фильтр соответствующим дискретным фильтром, получим алгоритм для формирования на ЦВМ дискретных реализаций двумерного случайного нормального процесса, т. е. дискретных реализаций двух стационарных и стационарно-связанных нормальных случайных процессов с экспоненциальными авто- и взаимно корреляционными функциями вида (2.115).

При другом подходе к синтезу формирующего фильтра нужно сначала найти спектральную матрицу соответствующего дискретного многомерного случайного процесса . В рассматриваемом примере эта матрица имеет вид

И матрицы (2.116).

Рассмотренный пример показывает, что факторизация спектральных матриц осуществляется сравнительно просто, если удается аналитически найти нули соответствующих полиномов. При факторизации спектральной матрицы непрерывного двумерного процесса это не представляло труда, так как для определения нулей требовалось решать только квадратные и биквадратные уравнения. При факторизации спектральной матрицы дискретного двумерного процесса были квадратные уравнения и возвратное уравнение четвертой степени, также допускающее аналитическое решение.

В других, более сложных случаях нули полинома не всегда удается найти аналитически. В этих случаях прибегают к численным методам решения уравнений - й степени. В общем виде процесс факторизации можно реализовать на ЦВМ как стандартную программу. Для этой цели кроме приведенного здесь могут быть использованы и другие алгоритмы факторизации .

Следует заметить, что все существующие в настоящее время алгоритмы факторизации спектральных матриц, вообще говоря, весьма трудоемки.

Страницы 513-523

Многомерные процессы

До сих пор мы рассматривали модели, которые состоят только из одного соотношения, связывающего временные ряды. При этом мы выбирали одну из переменных в качестве эндогенной, а остальные переменные являлись экзогенными. Такое разделение не всегда является естественным, часто приходится рассматривать одновременно несколько соотношений, в которые одни и те же переменные входят и как эндогенные, и как экзогенные. Как видно из прошлой лекции, переменная не всегда может рассматриваться как экзогенная, и мы фактически должны рассматривать модель DGP, состоящую из нескольких уравнений. Это означает моделирование нескольких временных рядов одновременно, другими словами - моделирование многомерного случайного процесса.

Начнем с определении. Рассмотрим вектор =(х t 1 ,х t 2 ,...,х t k) T , каждая компонента которого является временным рядом. верхним индексом будем обозначать номер компоненты, а нижним по-прежнему - момент времени. распределение компонент характеризуется семейством совместных плотностей распределения вида: f n (х t1 i1 ,х t2 i2 ,..., х tn in )‚ n=1‚2,.... Условием стационарности в узком смысле по-прежнему является независимость от сдвига во времени всего семейства совместных плотностей распределения. Только теперь кроме всевозможных комбинаций значений случайного процесса в различные моменты времени аргументами плотностей вероятности также являются всевозможные комбинации различных компонент в различные моменты времени. Например, для двухмерной плотности получаем из условия стационарности: f 2 t 1 t 2 ) = f 2 (х 1 t + r , х 2 t + r ) для любого τ. Совместное распределение компонент для одного и того же момента времени не зависит от времени. Рассмотрим другую функцию распределения, например трехмерную, в которую входят значения первой компоненты в два разных момента времени и второй компоненты в некоторый третий момент времени. Стационарность означает, чтоf 3 t 1 t + h 1 t + s 2 ) = f 3 (х 1 t + τ , х 2 t + s + τ ) . Можно сказать, что это свойство инвариантности к сдвигу во времени. То есть, если к каждому моменту времени прибавить величину τ, то функция плотности не изменится. Понятно, что стационарность многомерного процесса влечет за собой стационарность каждой из его компонент.

Как и в одномерном случае, стационарность в узком смысле влечет за собой ряд свойств характеристик случайных процессов. Прежде всего, начнем с математического ожидания. Математическое ожидание для каждой компоненты не зависит от других компонент. Поэтому если многомерный процесс стационарен, математическое ожидание каждой компоненты не зависит от времени. Вектор математических ожиданий E( не зависит от времени.

Теперь рассмотрим моменты второго порядка. Каждая компонента характеризуется дисперсией и автокорреляционной функцией. Если одномерный ряд стационарен, его автокорреляционная и автоковариационная функции зависят только от сдвига τ: Corr(τ) = Corr(х t i j t + r ) = р i (τ), однако теперь можно рассмотреть второй смешанный момент для различных компонент, а также Corr(х t i j t + r ). Такую величину естественно назвать кросс-корреляционной функцией. Если компоненты образуют многомерный стационарный процесс, то кросс-корреляция будет функцией сдвига во времени τ. Обозначим эту функцию R ij (τ) . Довольно очевидно, что R ij (τ) = R ji (- τ) . При фиксированном значении τ элементы R ij (τ) образуют матрицу R, зависящую от τ. Значению τ, равному нулю, соответствует корреляционная матрица вектора

Аналитическое прогнозирование многомерных процессов.

Метод обобщенного параметра.

Цель работы: изучение практических приемов прогнозирования состояния многопараметрического объекта.

Краткие теоретические сведения:

Изменение состояния технических систем можно рассматривать как процесс, характеризуемый изменениями некоторого множества параметров. Положение вектора состояния в пространстве определяет степень работоспособности системы. Состояние системы характеризуется вектором в k-мерном пространстве, где координатами пространства служат k параметров системы , .

Прогнозирование состояния сводится к периодическому предварительному контролю параметров; определению в моменты t i T 1 контроля функции состояния

Q =Q[ ] и расчете значений функцииQ состояния в области значений времениT 2 > T 1 .

При этом чем дальше будет расположен вектор состояния от гиперповерхности допустимых значений степени работоспособности Q * , тем выше работоспособность диагностируемой системы. Чем меньше разность * , тем ниже уровень работоспособности.

Использование методов аналитического прогнозирования предполагает регулярность изменения компонентов процесса во времени.

Идея метода обобщенного параметра заключается в том, что процесс, характеризуемый многими компонентами, описывается одномерной функцией, численные значения которой зависят от контролируемых компонентов процесса. Такая функция рассматривается как обобщенный параметр процесса. При этом может оказаться, что обобщенный параметр не имеет конкретного физического смысла, а является математическим выражением, построенным искусственно из контролируемых компонентов прогнозируемого процесса.

При обобщении параметров, характеризующих степень работоспособности технических систем, необходимо решение следующих задач:

Определения относительных значений первичных параметров;

Оценки значимости первичного параметра для оценки состояния объекта;

Построения математического выражения для обобщенного параметра.

Определение относительных значений первичных параметров необходимо в связи с тем, что состояния объекта может характеризоваться параметрами, имеющими различную размерность. Поэтому все контролируемые первичные параметры следует свести к единой системе исчисления, в которой они могут быть сравнимыми. Такой системой является система безразмерного (нормированного) относительного исчисления.

Реально для каждого параметра ,s = 1, 2, …, k можно выделить допустимое значение, * , при достижении которого объект теряет работоспособность, и оптимальное значение опт (зачастую оно равно номинальному значению н).

Пусть в процессе эксплуатации объекта соблюдается условие. Если , достаточно ввести в местоновый параметри тогда длябудет соблюдаться требуемое условие.

Запишем безразмерный (нормированный) параметр в виде:

где , причем при , а при .

Таким образом, с помощью выражения (1) нормируется параметр , а безразмерная нормированная величинаизменяется с течением времени от 1 до 0. Отсюда по величинеможно судить о степени работоспособности объекта по данному параметру. Теоретически может быть, но это означает, что на практике объект неработоспособен.

Можно указать различные нормируемые выражения, которые оказываются удобными при решении частных задач, например:

и т. п., где – соответственно текущее, нулевое, мат. ожиданиеS – го параметра.

Использование нормирующих выражений позволяет получить совокупность безразмерных величин, которые характеризуют состояние объекта. Однако количественно одинаковое изменение этих величин не является равнозначным по степени влияния на изменение работоспособности объекта, поэтому необходимо дифференцировать первичные параметры. Этот процесс осуществляется с помощью весовых коэффициентов, величины которых характеризуют важность соответствующих параметров для физической сущности задачи. Пусть в таком случае параметрам объекта соответствуют весовые коэффициенты, удовлетворяющие тем или иным заданным критериям, причем .

Степень работоспособности объекта по множеству контролируемых параметров можно оценить с помощью обобщающего выражения

Где - обобщенный параметр объекта.

Выражение (2) представляет собой линейное среднее. Из определения обобщенного параметра следует, что чем больше величина и, тем больше вкладS – го слагаемого (параметра) в .

Обобщенный параметр можно определить с помощью выражения вида

, (3)

которое представляет собой нелинейного среднее. Для такой модели также соблюдается условие: чем больше и, тем больший вклад вносит слагаемоев величину.

На практике находят применение и другие формы записи нелинейного среднего, например:

, (4)

, (5)

где подбирает так, чтобы (5) давая лучшее приближения к результатам, полученным экспериментальным путем.

При рассмотрении выражений для обобщенного параметра считалось, что не меняет знака, т. е. всегда . Если же необходимо учитывать знак, выражение (2) преобразуется к виду

, (6)

Таким образом, использование обобщенного параметра позволяет свести задачу прогнозирования состояния многопараметрического объекта к прогнозированию одномерной временной функции.

Пример. Испытания объекта в течении 250 часов, у которого контролировалось 6 параметров, дали результаты, приведенные в таблице1.

Таблица1

I н, ном = 9,5

V g1 . ном = 120

I а, ном = 2,0

I g3 , ном = 70

После нормирования значений параметров с помощью выражения (1) таблица принимает вид (таблица2)

Таблица2

  • Сергей Савенков

    какой то “куцый” обзор… как будто спешили куда то