N-T.ru / Совместные проекты / ЛЭСМИ

Методы наилучшего решения регрессионных задач

Радченко С.Г., д.т.н., проф.
Национальный технический университет Украины

Полная версия статьи: PDF; DOC

УДК 519.233.5:519.242.5


Рассмотрены новые методы и алгоритмы решения многофакторных регрессионных задач. Показано, что их использование позволяет строить планы экспериментов, которые не приведены в каталогах, формализовано определять структуру моделей, не известную исследователю заранее, решать некорректно поставленные задачи с получением статистических моделей, имеющих наилучшие из возможных критерии качества.

Ключевые слова: некорректно поставленные задачи, планирование экспериментов, регрессионный анализ, устойчивое решение регрессионных задач.

Розглянуто нові методи й алгоритми вирішення багатофакторних регресійних задач. Показано, що їх використання дозволяє побудувати плани експериментів, які не наведено в каталогах, формалізовано визначити структуру моделей, не відому досліднику заздалегідь, вирішувати некоректно поставлені задачі з отриманням статистичних моделей, що мають найкращі з можливих критерії якості.

Ключові слова: некоректно поставлені задачі, планування експериментів, регресійний аналіз, стійке розв’язання регресійних задач.

New methods and algorithms of solution of multifactor regressional problems are presented. Their use permits to make designs of experiments which are not given in catalogs, to make a formalized determination of the models structure which a researcher does not know beforehand, to solve ill-posed problems with obtaining statistical models having the best of possible quality criteria.

Keywords: experiment design, ill-posed problems, regressional analysis, stable solution of regressional problems.

Постановка проблемы

Создание новой техники и технологий, повышение точности и надежности средств измерений требуют формализованной информации для получения наилучших результатов. Сложность и системность решаемых прикладных задач таковы, что использование теоретико-аналитического подхода не всегда возможно. Тогда необходимо применять экспериментально-статистический подход.

Формализованная информация предоставляется исследователем в виде математических моделей, необходимых для принятия решений, изучения, управления и оптимизации объекта исследования.

Получение многофакторных статистических моделей, линейных по параметрам и не линейных по факторам часто сводится к решению некорректно поставленных обратных задач, которые требуют разработки специальных методов их решений [1, c. 94].

Анализ последних исследований и публикаций

Для решения некорректно поставленных задач было предложено использовать метод регуляризации. Значительные работы были проведены школами акад. А.Н. Тихонова, акад. М.М. Лаврентьева и их учениками и последователями [2; 3, c. 161...171; 4, c. 47...72]. А. Хёрл (A.E. Hoerl) использовал регуляризацию в решении регрессионных задач и обобщил в работе [5, c. 55...67]. Метод получил название гребневой регрессии (ridge regression).

Регуляризация приводит к систематическим ошибкам, т. е. к смещению коэффициентов bi уравнения регрессии, однако уменьшает среднеквадратические ошибки их оценок. При практическом использовании регуляризации конкретный выбор значения параметра регуляризации r затруднен. В линейном относительно параметров регрессионном анализе регуляризация используется весьма редко.

Для формализованного получения математических моделей можно использовать метод группового учета аргументов (МГУА), разработанный акад. НАНУ А.Г. Ивахненко и его многочисленными учениками и последователями [6, 7].

Авторы МГУА обращают внимание на некоторые проблемы при получении моделей. «Слишком большое число поколений (или рядов селекции модели) ведет к вырождению (информационная матрица становится плохо обусловленной)» [7, c. 33]. При полном переборе вариантов модели «можно решать сравнительно простые задачи» [7, c. 33]. «Планирование эксперимента позволяет повышать точность и помехоустойчивость моделирования» [7, c. 50]. Однако конкретные рекомендации по выбору планов экспериментов не приводятся.

Выделение нерешенных проблем

Анализ публикаций по доступным источникам показал, что в области регрессионного анализа не решенными проблемами и задачами являются следующие.

  1. Не рассматривается решение проблем и задач регрессионного анализа с позиций системного подхода: планирование эксперимента, формализованный выбор структуры модели, устойчивое оценивание коэффициентов модели – как триединая проблема.
  2. Нет рекомендаций по формализованному получению устойчивых структур многофакторных статистических моделей.
  3. В проанализированных публикациях не рассмотрены случаи устойчивого получения статистических моделей для нестандартных областей факторного пространства, отличающихся от куба, сферы, симплекса.
  4. Не приводится концепция ортогональности эффектов уравнения регрессии как одного из основных направлений устойчивого оценивания регрессионных моделей.
  5. Не найдены публикации по последовательному построению многофакторных регулярных планов экспериментов.
  6. Отсутствуют публикации по новым методам планирования эксперимента для случаев, когда необходимые планы в известных каталогах не приведены.

Цели статьи

Рассмотреть полученные новые результаты в области множественного регрессионного анализа как технологию наилучшего решения регрессионных задач.

Выводы

  1. Впервые разработана и исследована система устойчивого решения многофакторных регрессионных задач в условиях исходной априорной неопределенности и мультиколлинеарности факторов, включающая устойчивый план эксперимента, устойчивую структуру модели, устойчивое оценивание коэффициентов модели.
  2. Выбор плана эксперимента на основе концепции ортогональности нормированных эффектов позволяет установить истинную структуру модели, не известную заранее исследователю, путем выбора статистически значимых и ортогональных эффектов из множества эффектов модели полного факторного эксперимента.
  3. Разработаны топологические методы устойчивого оценивания статистических моделей для произвольных областей факторного пространства с использованием отображения прообраза факторного пространства в образ: путем получения математических функций отображения прообраза в образ; с установлением собственных кодированных систем координат в области прообраза и в области образа, которые топологически эквивалентны (гомеоморфны) между собой; планированием эксперимента с использованием фиктивных факторов.
  4. Разработан инвариантно-групповой подход в теории планирования эксперимента, позволивший устойчиво оценивать коэффициенты модели в области прообраза, где можно наилучшим образом планировать эксперимент, тогда как в области образа в исходной системе координат факторы могут быть статистически сильно взаимосвязаны.
  5. Разработанные алгоритмы генерирования планов экспериментов RASTA1, RASTA2, RASTA8 позволяют получать планы, не приведенные в известных каталогах, с хорошими статистическими свойствами и решать разнообразные ранее не решаемые задачи.

С разнообразными методами решения регрессионных задач и полученными результатами можно ознакомиться в работе [16].

 

Литература

  1. Тихонов А.Н. [Выступление на годичном общем собрании Академии наук СССР] / А.Н. Тихонов // Вестник Академии наук СССР. – 1989. – № 2. – C. 94...95.
  2. Тихонов А.Н. Методы решения некорректных задач: учеб. пособие для вузов / Тихонов А.Н., Арсенин В.Я. – 3-е изд., испр. – М.: Наука, 1986. – 299 с.
  3. Тихонов А.Н. Об обратных задачах / Тихонов А.Н. // Некорректные задачи математической физики и анализа.– Новосибирск: Наука, 1984. – 264 с.
  4. Жуковский Е.Л. Статистическая регуляризация решений обратных некорректно поставленных задач обработки и интерпретации результатов эксперимента / Жуковский Е.Л. // Методы математического моделирования, автоматизация обработки наблюдений и их применения: сборник / Под ред. А.Н. Тихонова, А.А. Самарского. – М., 1986. – C. 47...72.
  5. Hoerl А.Е. Ridge regression: biased estimation for non-orthogonal problems / Hoerl А.Е., Kennard R.W. // Technometrics. – 1970. – Vol. 12. – P. 55...67.
  6. Ивахненко А.Г. Моделирование сложных систем: информационный подход / Ивахненко А.Г. – К.: Вища шк. Голов. изд-во, 1987. – 63 с.
  7. Ивахненко А.Г. Самоорганизация прогнозирующих моделей / А.Г. Ивахненко, Й.А. Мюллер – К.: Техніка, 1985; Берлин: ФЕБ Ферлаг Техник, 1984. – 223 с.
  8. Радченко С.Г. Формализация постановки многофакторного экспериментального исследования / Радченко С.Г. // Математичні машини і системи. – 2011. – №1. – С. 96...102.
  9. Радченко С.Г. Устойчивые методы оценивания статистических моделей: монография / Радченко С.Г. – К.: ПП «Санспарель», 2005. – 504 с.
  10. Радченко С.Г. Стійке оцінювання статистичних моделей технічних систем: Автореф. дис. на здоб. наук. ступ. доктора техн. наук / Радченко С.Г. – Нац. техн. ун-т України «Київ. політехн. ін.-т». К., 2009. – 35 с.
  11. Радченко С.Г. Устойчивые методы оценивания статистических моделей / Радченко С.Г. // Матеріали IX Міжнар. наук. конф. ім. акад. М. Кравчука, 16 – 19 трав. 2002 р., Київ. – К., 2002. – С. 451...452.
  12. Радченко С.Г. Стійке оцінювання статистичних моделей у довільних опуклих областях факторного простору. Ч.I. Теорія / С.Г. Радченко // Наукові вісті Нац. техн. ун-ту України «Київ. політехн. ін-т». – 2005. – №3(41). – С. 38...45.
  13. Радченко С.Г. Стійке оцінювання статистичних моделей у довільних опуклих областях факторного простору. Ч.II. Обчислювальний експеримент / С.Г. Радченко // Наукові вісті Нац. техн. ун-ту України «Київ. політехн. ін-т». – 2005. – №4 (42). – С. 48...55.
  14. Бродский В.З. Введение в факторное планирование эксперимента / В.З. Бродский . – М.: Наука, 1976. – 224 с.
  15. Радченко С.Г. Багатофакторне математичне моделювання та компромісна оптимізація технологічного процесу електроерозійного прошиття отворів / С.Г. Радченко // Математичні машини і системи. – 2003. – №3, 4. – С. 186...200.
  16. Лаборатория экспериментально-статистических методов исследований.

Ранее опубликовано:

Радченко С.Г. Методы наилучшего решения регрессионных задач. // Вісник Національного авіаційного університету. – 2012. – №1 (50). – С. 32...39.

Дата публикации:

26 августа 2009 года

Электронная версия:

© НиТ. Совместные проекты, 1998



В начало сайта | Книги | Статьи | Журналы | Нобелевские лауреаты | Издания НиТ | Подписка
Карта сайта | Cовместные проекты | Журнал «Сумбур» | Игумен Валериан | Техническая библиотека
© МОО «Наука и техника», 1997...2013
Об организацииАудиторияСвязаться с намиРазместить рекламуПравовая информация
Яндекс цитирования