Доклад на Международной юбилейной сессии научного семинара
МНОГОМЕРНЫЙ СТАТИСТИЧЕСКИЙ АНАЛИЗ И ВЕРОЯТНОСТНОЕ МОДЕЛИРОВАНИЕ РЕАЛЬНЫХ ПРОЦЕССОВ: НАПРАВЛЕНИЯ ИССЛЕДОВАНИЙ, ТЕНДЕНЦИИ, ПРОБЛЕМЫ (ОПЫТ 1969 – 2009 гг.)1)
С.А. Айвазян (Москва)
1. История семинара и некоторые статистические данные
В среду, 24 марта 1969 года, в аудитории 14-08 механико-математического факультета Московского государственного университета им. М.В. Ломоносова я провел первое заседание семинара «Многомерный статистический анализ и вероятностное моделирование реальных процессов». С тех пор заседания семинара проводились регулярно по средам с 1000 до 1200 (с «сезонными» перерывами, приуроченными к летним и зимним студенческим каникулам), с октября
Инициатива создания такого семинара была активно поддержана моими учителями – Андреем Николаевичем Колмогоровым и Юрием Васильевичем Прохоровым и стимулировалась объективно назревшей необходимостью активизации исследований отечественных специалистов в области прикладной статистики. В октябре 1973 года к руководству семинаром присоединился Лев Дмитриевич Мешалкин, а в октябре 1993 года – Юрий Николаевич Благовещенский.
Число докладов, заслушанных и обсужденных на заседаниях семинара за более чем сорокалетний период его деятельности, оценивается величиной, колеблющейся от 1300 до 1320. За этот период издано семь томов научных трудов семинара (см.|1]~|7|), на заседаниях семинара прошли апробацию более шестидесяти докторских и более 120 кандидатских диссертаций.
2. Семинар и лаборатория ЦЭМИ
Научно-организационной базой создания и функционирования семинара являлась (и является до сих пор) лаборатория прикладных методов математической статистики и теории вероятностей (ныне — лаборатория вероятностно-статистических методов и моделей в экономике), к организации которой в рамках ЦЭМИ по предложению директора этого института Николая Прокофьевича Федоренко я приступил 1 февраля
3. География семинара
Перечислю лишь те города России и СНГ, исследовательские и учебные центры которых относительно регулярно представляли свою научную продукцию в программах многолетней работы семинара: Москва, Санкт-Петербург, Новосибирск, Пермь, Минск, Вильнюс, Ереван, Нижний Новгород, Таллинн, Тарту, Ташкент, Киев, Днепропетровск, Казань. Регулярно представляют на семинаре свои научные результаты специалисты по математической статистике, теории вероятностей, эконометрике и анализу данных из Франции. Именно научно-организационный потенциал семинара сыграл решающую роль в зарождении, оформлении и развитии советско-французского (позже – «российско-французского») научно-технического сотрудничества в области прикладной статистики и анализа данных. Различные формы этого сотрудничества, – среди которых взаимный перевод на французский и русский языки наиболее интересных научных публикаций, издание совместных трудов, проведение (1 раз в 2 года) попеременно в России и Франции российско-французских конференций, — достаточно плодотворно реализовывались на протяжении более чем 25 (!) лет. С докладами на семинаре неоднократно выступали также ученые из Англии, Канады, Голландии, Испании, Польши, Венгрии, Чехословакии и др. стран.
Все это, по-видимому, дает основания считать семинар «Многомерный статистический анализ и вероятностное моделирование реальных процессов» одним из неформальных международных научно-методологических центров в области прикладной статистики и эконометрики.
4. Направления исследований, тенденции, проблемы
Не претендуя на всеобъемлющий анализ развития многомерного статистического анализа (МСА) и прикладной статистики в мире за последние 40 лет, я остановлюсь лишь на тех направлениях исследований, проблемах, тенденциях, о которых можно сказать, что они в значительной мере были инициированы научными результатами (и, соответственно, докладами) участников семинара.
(I) Становление и развитие понимаемого в широком смысле «АНАЛИЗА ДАННЫХ», интегрирующего два параллельно существовавших ранее (и зачастую противопоставляемых) подхода к построению статистических решающих правил: вероятностного, апеллирующего к вероятностной природе анализируемых данных, и логико-алгебраического, при котором интерпретация анализируемых данных в качестве выборки из некоторой вероятностной генеральной совокупности считается неправомерной. См. в трудах семинара [1]~[7] и инициированных семинаром конференций [9]~[10], а также – в книгах [8], [11]~[14] работы С.А. Айвазяна, В.М. Бухштабера, Э. Дидэ, Ю.И. Журавлева и Н.Г. Загоруйко, Г.С. Лбова, Б.Г. Миркина, Г.А. Сатарова, В.Н. Солнцева (с соавторами) и др.
(II) Разработка новых подходов к построению устойчивых статистических процедур, т.е. процедур, «хорошие свойства» которых мало зависят от незначительных искажений анализируемых данных и принятых модельных допущений об их природе. Свои первые результаты в этой области исследований докладывались на семинаре Л.Д. Мешалкин (17.10.1973 и 27.10.1976) Б.Т. Поляк (24.03.1976), Б.Т. Титаренко (05.04.19778), А.М. Шурыгин (18.03. 1981), Ю.С. Харин (16.12.1981), А.Б. Цыбаков (28.04.1982)2).
(III) Развитие теории и методологии статистических методов классификации многомерных наблюдений. Так, например, в дискуссиях с нашими французскими коллегами сформировался подход к построению общей теории автоматической классификации (см. статью С.А. Айвазяна и В.М. Бухштабера в [12]). В основе подхода идея, в соответствии с которой все множество алгоритмов автоматической классификации (АК) представляется в виде иерархической структуры. На самом верхнем уровне находится универсальная математическая модель, компоненты которой образуют средство для единообразной постановки задач АК, описания алгоритмов их решения и исследования их свойств. Переход на более низкие уровни происходит за счет конкретизаций, наполняющих компоненты структуры модели информацией о характере данных, конечной цели классификации, априорных гипотезах (допущениях), результатах предварительной обработки и т.п.
Результаты мирового уровня по дискриминантному анализу были представлены в докладах И.С. Енюкова (07.05.1973 и 13.04.1977), Ш.Ю. Раудиса (12.10.1977)2), В.Н. Вапника (статья в [6]).
(IV) Статистические выводы в условиях растущей размерности наблюдений. В 60-х годах прошлого столетия эта проблема была озвучена А.Н. Колмогоровым. Свои первые результаты в данной области представляли на семинаре А.Д. Деев, Л.В. Архаров, В.И. Сердобольский (см. [14]).
(V) Совершенствование структуры, содержания и интеллектуальной составляющей пакетов программ по прикладной статистике и эконометрике. В начале 90-х годов прошлого столетия участниками семинара был проведен тщательный критический анализ существовавшего к тому моменту программного обеспечения (пакетов SPSS, Statgraphics, BMDP, SAS, Systat, Statistica, RATS и др.). Выводы, к которым мы пришли: (i) функциональное наполнение пакетов отстает от современного уровня теоретико-методологических разработок; (ii) интеллектуализация программного обеспечения (ПО) практически отсутствует. В рамках ЦЭМИ РАН и образованного при поддержки ЦЭМИ и совместного советско-американского предприятия «Диалог» центра «СТАТ-ДИАЛОГ» был реализован ряд проектов по созданию ПО в различных областях многомерного статистического анализа и эконометрики. Это:
· «МЕЗОЗАВР» — пакет программ (ПП) по статистическому анализу одномерных и многомерных временных рядов (авторы: С.Е. Кузнецов, А.К. Халилеев, А.А. Пересецкий, Д.С. Жидко);
· «КЛАССМАСТЕР» — ПП по статистическим методам классификации многомерных наблюдений (руководитель работ – Б.Г. Миркин);
· «САНИ» — ПП по статистическому анализу нечисловой информации (руководитель работ – С.Ю. Адамов).
Все пакеты оказались вполне конкурентоспособными в сравнении с лучшими зарубежными продуктами, они распространялись на рынках ПП России, США (англоязычная версия) и Франции (французская версия). Следует упомянуть, что пакет «мезозавр» был признан лучшим среди ПО по анализу временных рядов (он получил 1-ю премию на традиционной международной выставке информационных продуктов в Ганновере в 1991 году).
(IV) Внедрение методов МСА и эконометрики в учебные планы и практику преподавания Высшей школы. Первые государственные стандарты, первые программы курсов по МСА и эконометрике и первый опыт преподавания этих курсов в вузах России и стран СНГ (начиная с 1992 года) связаны с именами активных участников семинара (С.А. Айвазяна, В.С. Мхитаряна, А.А. Пересецкого, Р.А. Рудзкиса, Ю.С. Харина).
Помимо докладов участников семинара, «укладывающихся» по тематике в приведенные выше направления исследований, хочется вспомнить некоторые доклады, которые можно отнести к этапным, в определенном смысле – к прорывным. Не претендуя на полный охват такого рода работ, я бы упомянул следующие (в хронологическом порядке):
· Р. Ферон (Франция). О новых критериях выбора экономических моделей в условиях неопределенности (21.09.1973).
· Ю.Н. Тюрин. Линейная модель в многомерной непараметрической статистике (21.11.1973).
· Е.З. Демиденко. Оценивание параметров в нелинейных эконометрических моделях (26.12.1973).
· Э. Диде (Франция). Развитие методов анализа данных во Франции (04.10.1978).
· В.М. Бухштабер, В.К. Маслов. Задачи прикладной статистики как экстремальные задачи на нестандартных областях (29.11.1978).
· Г.А. Сатаров. Методы многомерного шкалирования в психологии.
· А.Т. Фоменко. Информативные функции и связанные с ними статистические закономерности (14 и 21 октября
· А.А. Ослон. Некоторые задачи аппроксимации булевых матриц и их применение в МСА (02.12.1981).
Интересно отметить, что каждый из упомянутых в этом перечне докладчиков, стал впоследствии ведущим специалистом, можно сказать, мировой величиной в своей области.
5. Семинар и инициированные им конференции
Постепенное наращивание научного потенциала семинара (рост количества и качества вовлеченных в его деятельность исследователей, расширение географии и обсуждаемой тематики и т.п.) в течение первого временного отрезка его деятельности (1969 – 1977 гг.) естественно привело к идее о необходимости организации периодических расширенных «слетов» специалистов, работающих в области многомерного статистического анализа и его приложений. В результате в 1977-м и в 1979-м годах была заложена традиция, выжившая вопреки всем экономическим и политическим потрясениям до наших дней: в 1977 году в пос. Кяярику (Эстония) состоялась 1-я Всесоюзная конференция «Применение многомерного статистического анализа в экономике и оценке качества», а в 1979 году в г. Цахкадзор (Армения) – 1-я Всесоюзная школа-семинар «Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа». С тех пор каждая из этих конференций регулярно проводилась 1 раз в 4 года, так что к настоящему моменту прошло уже 8 конференций, «родившихся» в Кяярику (1977-81-85-89-93-97-2002-2006 гг.) и 7 школ-семинаров, «родившихся», в Цахкадзоре. Правда, если цахкадзорские школы-семинары не поменяли своего адреса и после прекращения существования СССР (все семь школ 1979-го, 1983-го. 1987-го, 1991-го, 1995-го, 2004-го и 2008-го годов прошли при активной организационной поддержке наших армянских коллег в г. Цахкадзор), то конференции по применению многомерного статистического анализа, начиная с 1993 года, вынуждены были переехать в Москву. Изданы научные труды этих двух форумов (см.[9] и [10]).
Наконец, наш семинар «виноват» в зарождении еще одной традиции: как уже упоминалось в связи с географией семинара (см. выше п. 3), именно основные участники семинара и их научная продукция составили ту базу, на которой возникло и развилось советско- (а затем — российско-) -французское сотрудничество в области прикладной статистики и анализа данных. Начиная с 1982-го года проведено девять двусторонних семинаров по данной тематике, в том числе 5 – в России и странах СНГ (1982-86-90-94-98 гг.) и 4 – во Франции (1984-88-92-96 гг.).
6. Семинар и издательская деятельность
Помимо издания трудов семинара [1]~[7] и связанных с ним конференций [9], [10] наиболее активные участники семинара вносят посильный вклад в деятельность, направленную на публикацию (в том числе, — на переводы на русский язык) последних достижений в данной области исследований, представленных в виде статей, монографий, справочников, учебников или учебных пособий. Отметим некоторые результаты этой деятельности.
Переводы на русский язык. В первую очередь, следует отметить выход в свет на русском языке в 1976 году в издательстве «Наука» последнего тома трилогии М. Кендалла и А. Стьюарта «Многомерный статистический анализ и временные ряды» (инициаторами перевода и его титульными редакторами были АН. Колмогоров и Ю.В. Прохоров, переводчиками — Э.Л. Пресман и В.И. Ротарь, редактором — С.А. Айвазян). К заметным событиям следует отнести и издания на русском языке двухтомного «Справочника по прикладной статистике» под ред. Э. Ллойда и У. Ледермана (издательство «Финансы и статистика», 1989-90 гг.; научные редакторы перевода на русский язык — Ю.Н. Тюрин и С.А. Айвазян, в переводе активное участие приняли Ю.Н. Тюрин, В.Д. Конаков, И.С. Енюков, Е.З. Демиденко, СЕ. Кузнецов, Ю.М. Кабанов и др.). По инициативе и под редакцией С.А. Айвазяна вышли в свет в издательстве «Финансы и статистика» русскоязычные переводы книг «Многомерные статистические методы для экономики» (авторы Б. Болч и К.Дж. Хуань, 1979), «Многомерное шкалирование. Методы наглядного представления данных» (автор — М. Дэйвисон, 1988), «Методы анализа данных» (авторы —
Э. Дидэ и др., см. [13]), «Иерархический кластер-анализ и соответствия» (автор — М. Жамбю, 1988). В двух последних книгах представлены достижения французской школы анализа данных, в научном редактировании первой из них принимал участие В.М. Бухштабер, а в переводе с французского — С.Ю. Адамов, В.Д. Конаков. Последнюю книгу перевел Б.Г. Миркин.
Из последних по времени переводов, подготовленных и отредактированных участниками семинара, я бы выделили три книги, относящихся к лучшим мировым образцам статистической и эконометрической литературы. Это книга Я.Р. Магнуса и Х. Нейдеккера «Матричное дифференуиальное исчисление с приложениями к статистике и эконометрике» (М.: Физматгиз, 2002), книга Эрнста Берндта «Практика эконометрики: классика и современность» (М.: Юнити, 2005) и учебник Марно Вербика «Путеводитель по современной эконометрике» (М.: Научная книга, 2008). Все три книги по-своему уникальны! Так, книга Я.Р. Магнуса и X. Нейдеккера выделяется не только полнотой и логичной стройностью содержащегося в ней материала по матричному дифференцированию, но и органичностью связи изложенных в ней результатов с актуальнейшими теоретическими и прикладными задачами эконометрики и прикладного МСА. Что касается книги Эрнста Берндта, то в ней (как в никаком другом, даже самом высокопрофессиональном, учебнике по эконометрике) прекрасно представлен органичный синтез трех базовых составляющих эконометрики: экономической теории, экономических измерений и эконометрического (математико-статистического) инструментария. Наконец, Марно Вербик в своем учебнике старается донести до читателя в доступной форме основные неформальные идеи, на которых основаны современные методы эконометрики, не перегружая при этом изложение сложными математическими выкладами и доказательствами.
Монографии, справочники, учебники, научные журналы. Было бы нереальным пытаться дать хотя бы краткий обзор основной опубликованной научной продукции даже того узкого круга лиц, который составляет ядро семинара. Пришлось бы приводить и комментировать обширнейшую библиографию трудов Р.А. Абусева, Ю.Н. Благовещенского, В.М. Бухштабера, В.Н. Вапника, И.А. Герасимовой, Е.З. Демиденко, И.С. Енюкова, Э.Б. Ершова, Н.Г. Загоруйко, Ю.М. Кабанова, В.Д. Конакова, С.Е. Кузнецова, М.Б. Малютова, Л.Д. Мешалкина, А.В. Нагаева. А.И. Орлова, Б.Т. Поляка, Ш.Ю. Раудиса, Р.А. Рудзкиса, О.В. Староверова, Ю.Н. Тюрина, В.В. Федорова, Ю.С. Харина, А.М. Шурыгина и многих, многих других участников семинара. Поэтому я упомяну здесь лишь о трех, по-своему, пионерных и одновременно – этапных работах авторов, принадлежащих к упомянутому «ядру» семинара. Трехтомник [8], хоть и классифицирован как «справочное издание», содержит ряд свежих, основополагающих идей и подходов, получивших в дальнейшем свое эффективное развитие и применение в МСА и анализе данных. В учебнике [11] впервые в отечественной (а возможно, и в мировой литературе) объединена тематика МСА и эконометрики. Наконец, книга [12], помимо того, что она явилась первым отечественным учебником по эконометрике, предъявила современные требования к математической подготовке читателя и де факто завоевала позиции основного учебника в учебных программах продвинутых отечественных экономических вузов. Отметим, что авторы [8] и [11] в предисловиях к своим книгам прямо заявляют, что «... существенное влияние на замысел и содержание книги ... оказали их постоянные контакты с коллегами по научному семинару «Многомерный статистический анализ и вероятностное моделирование реальных процессов» (см. [11], с. 22, а также [8], т. 1, с. 16).
Основными отечественными периодическими изданиями, в которых публикуются научные труды участников семинара, следует признать журналы «Прикладная эконометрика» («ПЭ»), «Теория вероятностей и ее применения» («ТВП»), «Экономика и математические методы» («ЭиММ»), «Обозрение прикладной и промышленной математики» («ОПиПМ»). При этом журнал «ПЭ» был создан в
Говоря об издательской деятельности в области многомерного статистического анализа и эконометрики, нельзя не отметить исключительно полезную и плодотворную работу на этом поприще издательства «Финансы и статистика» (и в частности, его серий «Математико-статистические методы за рубежом», «Библиотека иностранных книг для экономистов и статистиков». «Математическое обеспечение прикладной статистики»), а также серии «Ученые записки по статистике» издательства «Наука».
ЛИТЕРАТУРА
1. Многомерный статистический анализ в социально-экономических исследованиях. М.: Наука, 1974. (Уч. зап. по статистике. Т. 26).
2. Алгоритмы многомерного статистического анализа и их применения. М.: изд. ЦЭМИ АН СССР, 1976.
3. Исследования по вероятностно-статистическому моделированию реальных систем. М.: изд. ЦЭМИ АН СССР, 1977.
4. Прикладной многомерный статистический анализ. М.: Наука, 1978. (Уч. зап по статистике. Т. 33).
5. Алгоритмическое и программное обеспечение прикладного статистического анализа. М.: Наука, 1980.
6. Статистика. Вероятность. Экономика. М.: Наука, 1985. (Уч. зап. по статистике Т. 49).
7. Многомерный статистический анализ и вероятностное моделирование реальных процессов. М.: Наука, 1990. (Уч. зап. по статистике. Т. 54).
8. Айвазян С.А., Енюков И.С, Мешалкин Л.Д. Прикладная статистика. — М.: Финансы и статистика
том 1: Основы моделирования и первичная обработка данных.
том 2: Исследования зависимостей.
том 3: (в соавторстве с В.М. Бухштабером): Классификация и снижение размерности.
9. Применение многомерного статистического анализа в экономике и оценке качества продукции (тезисы докладов)
I-я конференция: части I и II. — Кяярику. М.: ВСНТО, 1977;
II-я конференция: части I и II. — Сангасте. Тарту: ТГУ, 1981;
III-я конференция: части I и II. — Кяярику. Таллин: АН ЭССР, 1985;
IV-я конференция: части I и II. — Кяярику. Тарту, ТГУ, 1989;
V-я конференция: Москва, ЦЭМИ РАН, 1993;
VI-я конференция: Москва, ЦЭМИ РАН, 1997;
VII-я конференция: Москва, ЦЭМИ РАН, 2002;
VIII-я конференция: Москва, ЦЭМИ РАН, 2006.
10. Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа (тезисы докладов). Пос. Цахкадзор (Армения)
I-я школа-семинар: М.: ЦЭМИ АН СССР, 1979;
II-я школа-семинар: М.: ЦЭМИ АН СССР, 1983;
III-я школа-семинар: М.: ЦЭМИ АН СССР, 1987;
IV-я школа семинар: М.: ЦЭМИ РАН, 1991;
V-я школа-семинар: М.: ЦЭМИ РАН, 1995;
VI-я школа-семинар: М.: ЦЭМИ РАН, 2004;
VII-я школа-семинар: М.: ЦЭМИ РАН, 2008.
11. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. – М.: ЮНИТИ, 1998 (второе издание вышло в
12. Магнус Я.Р., Катышев П.К., П.К. Пересецкий А.А. Эконометрика. Начальный курс. – М.: Дело, 1997 (седьмое издание датировано 2005-м годом).
13. Методы анализа данных. — М.: Финансы и статистика,
1) Работа выполнена при поддержке Российского фонда фундаментальных исследований (проекты
№№ 07-07-00219а и 07-06-00181а) и Российского гуманитарного научного фонда (проект № 09-02-12101в).
2) В скобках даны даты докладов, тезисы или полные версии которых представлены в соответствующих выпусках трудов [1]~[7].
