РОССИЙСКИЙ НАУЧНЫЙ ЭЛЕКТРОННЫЙ ЖУРНАЛ Электронные библиотеки
2010 - Том 13 - Выпуск 3

Российская виртуальная обсерватория - национальный сегмент Международной виртуальной обсерватории

О.Б. Длужневская

 

Институт астрономии РАН

Аннотация

Традиционный путь открытий астрономических объектов подразумевает изобретение, создание и использование новых телескопов и наблюдательных методов. C созданием Виртуальной  Обсерватории (ВО) появилась возможность  изменить эту схему, поскольку для новых открытий используются  уже существующие данные из архивов и каталогов. Основная цель создания ВО это предоставить возможность пользователям использовать данные, полученные когда-либо, с любого телескопа в мире на любой компьютер в любое время.

Виртуальная обсерватория включает в себя :

  1. астрономические данные (в виде архивов космических и наземных телескопов, каталогов, баз данных);
  2. средства поиска, доступа к данным и их обработки;
  3. научные приложения результатов работы с данными.

Астрономические данные накапливались в течение тысячелетий, и их специфика  состоит в том, что поскольку астрономические явления переменны, данные со временем не обесцениваются. Они позволяют анализировать астрономические события за длительные промежутки времени,  используя их все, а также комбинации этих данных.

Традиционно результаты астрономических наблюдений большого количества объектов оформлялись в виде Астрономических каталогов, причем если первые каталоги, созданные более 2000 лет назад содержали ~103 звезд, то с XVIII века, после изобретения телескопа, количество объектов возросло до ~105, а современные большие каталоги содержат уже ~109 объектов (USNO-B1.0, SDSS, …). К семидесятым годам прошлого столетия в астрономических учреждениях уже накопилось большое количество каталогов, и пользоваться ими было очень неудобно, так как они были рассредоточены. В 1973 году 6 европейских астрономических учреждений решили создать единый центр по хранению и распространению звездных каталогов, где накапливались бы звездные каталоги, созданные на всех обсерваториях мира. Местом для организации такого Центра была выбрана Обсерватория Страсбургского университета. Для управления деятельностью Центра был создан Международный совет из 12 членов – представителей учреждений, внесших свой вклад в создание фонда каталогов Центра. В штате  сотрудников Страсбургского Центра Звездных Данных (СЦЗД – CDS) была предусмотрена ставка доцента, которая была разделена на 12 частей по 1 месяцу каждая. На эти позиции по конкурсу проходили сотрудники учреждений, приезжавшие для работы с каталогами или для ознакомления с возможностями созданного центра.

В связи со сложностями контактов с обсерваториями Западного полушария вскоре в НАСА был создан филиал Страсбургского центра, который получал из Страсбурга все новые каталоги и затем уже обслуживал этими данными обсерватории стран обеих Америк. В 1976 году аналогичный филиал был создан в Москве, в Астрономическом совете АН СССР. Советский Центр Астрономических Данных (ЦАД) распространял полученные из Страсбурга каталоги астрономическим учреждениям Советского союза и социалистических стран. В его обязанности также входил сбор, анализ, подготовка в соответствие с предъявляемыми требованиями и передача в Страсбург астрономических каталогов, подготовленных в этих странах.В последующие годы в разных странах, возникли региональные центры и центры, проводящие сбор данных определенной направленности, а Страсбургский центр расширил проблематику хранимых данных и стал называться Страсбургским центром астрономических данных.

Центры астрономических данных, действующие в настоящее время:

Рис.1 Центры астрономических данных:

  1. - Centre de Donnees astronomiques de Strasbourg (CDS)
  2. - NASA Astronomical Data Center, Greenbelt, Maryland (ADC)
  3. - Центр астрономических данных, Москва (ЦАД, CAD)
  4. - Astronomical Data Analysis Center, Tokyo (ADAC)
  5. - Beijing Astronomical Data Center (BDC)
  6. - Interuniversity Center for Astron. & Astrophys., Pune (IUCAA)
  7. - Centro de Datos Astronomicos, La Plata (CDA)
  8. - European Southern Observatory, Garching (ESO)
  9. - Infrared Processing and Analysis Center (IPAC)
  10. - Canadian Astronomy Data Centre, Victoria (CADC)

В обязанности этих центров входит хранение (авторы не хранят данные длительное время), дублирование и передача пользователям астрономических каталогов, а также обработка астрономических данных (выборки, кросс-идентификация, визуализация),  экспертиза (сбор информации о ресурсах, обзоры), создание новых каталогов и оказание консультативной помощи создателям каталогов.

С начала 70-х годов и в течение более 25 лет центры астрономических данных играли основополагающую роль в обеспечении  мирового астрономического  сообщества астрономическими данными, однако, хотя они и не потеряли своего значения, прогресс в астрономии, достигнутый за это время обозначил новые проблемы.

Лавинообразный рост астрономических данных, являющийся результатом значительного увеличения наблюдательных возможностей, как наземных обсерваторий (общая площадь зеркал  телескопов мира (трехметровых и крупнее) увеличилась более, чем  в 30 раз), так и космических миссий. Терабайтные (а скоро – петабайтные) обзоры неба в широком диапазоне длин волн, миллиарды регистрируемых объектов, сотни измеряемых параметров для каждого объекта и общий объем астрономических архивов,  количество которых ежегодно удваивается.

Если в 1970 году, когда речь зашла о создании первого центра астрономических данных, был создан фонд из  20 каталогов подготовленных в 4 обсерваториях, то в 2010 году общее количество каталогов уже превышает 9000. Основным источником астрономических данных становятся большие оцифрованные обзоры неба : примерно 1Tb на все небо / в одну эпоху / в одном спектральном диапазоне. Астрономия находится на ярко выраженном этапе экспоненциального роста объема наблюдений. В 2000 SDSS за первые 2 месяца собрал больше цифровой информации (20Tb), чем все телескопы мира до него. В 2015 LSST за первые 5 дней соберет больше информации (30 Tb за ночь), чем SDSS.

Одновременный прогресс в области информационных технологий: тысячекратное увеличение скорости вычислений, значительное удешевление вычислений и передачи данных, а также появление высокоскоростных сетей позволили рассмотреть возможности создания виртуальных обсерваторий.

Первые проекты (США, Европа) были сформулированы уже в 2000 году. В этом же году решением XXIV Генеральной Ассамблеи Международного Астрономического союза (МАС) была создана в рамках Комиссии №5 МАС Рабочая группа для координации работ по созданию  Международной Виртуальной обсерватории (МВО).  В конце 2001 года. Решением  Научного совета по астрономии РАН был утвержден Проект создания  Российской виртуальной  обсерватории (РВО) как национальной части  Международной Виртуальной обсерватории. К лету 2002 г.  МВО уже объединяла  несколько международных и национальных проектов,  и это обстоятельство потребовало образования коллегиального органа   для координации работ всех входящих в МВО проектов - Альянса «Международная виртуальная обсерватория» (IVOA).

В настоящее время МВО объединяет уже 17 международных и национальных проектов.

Рис 2. Альянс МВО

Об успехе в реализации поставленных целей можно было судить уже в 2003 году, когда состоялась демонстрация возможностей первых прототипов ВО, а том, насколько в мире возрос авторитет Проекта МВО свидетельствует рост количества публикаций по результатам исследований, в которых использовались возможности предоставляемые МВО.

 

Рис.3 Количество публикаций по результатам исследований, в которых использовались возможности предоставляемые МВО (всего).

Рис.4 Количество публикаций по результатам исследований, в которых использовались возможности предоставляемые МВО в реферируемых журналах.

Одним из национальных проектов, входящих в МВО является Российская Виртуальная обсерватория (РВО).

http://www.inasan.ru/eng/rvo

http://www.inasan.ru/rus/rvo

Главная цель создания Российской виртуальной обсерватории - обеспечение российских астрономов удобным доступом к мировым астрономическим ресурсам.

РВО ориентирована на российского потребителя, аккумулирует российские ресурсы и доступна для всех астрономов и непрофессионалов. Она поддерживает "наблюдения" оцифрованного неба в удаленном доступе, предоставляет доступ к большим областям неба в различных спектральных диапазонах,  поддерживает широкий спектр астрономических исследований и предоставляет возможность использования новых  вычислительных методик.

Утвержденная в 2010 году организационная структура РВО включает 6 Рабочих групп:

Данные РВО,

База стеклянных библиотек Звенигородской обсерватории,

Архивы наблюдательных данных,

Технологии информационной инфраструктуры

Разработка сервисов РВО,

База стеклянных библиотек российских астрономических обсерваторий и поддержка ОКПЗ

В Проекте РВО принимают участие сотрудники Института Астрономии РАН (ИНАСАН), Специальной Астрофизической обсерватории РАН (САО РАН),  Института Проблем Информатики РАН (ИПИ РАН) и Государственного Астрономического Института им. П.К.Штернберга (ГАИШ). Базовым центром РВО является  Центр астрономических данных ИНАСАН (ЦАД) - региональный филиал Страсбургского центра астрономических данных. ЦАД координирует работу секции “Базы данных и информационное обеспечение” Научного совета по астрономии РАН, представительствует в Комиссия №5 МАС “Документация и астрономические данные” и представляет РВО в IVOA.

Основные функции  виртуальных обсерваторий в соответствие с рекомендациями IVOA, которыми руководствуется РВО:

  • Создание фонда существующих и планируемых ключевых национальных ресурсов и баз данных; создание среды, связывающей наблюдательные архивы,
  • Функционирование в качестве связующего звена между Альянсом МВО и национальным астрономическим сообществом,
  • Вклад в разработку стандартных интерфейсов доступа к данным и процесса их анализа
  • Производство астрономических данных,
  • Создание ВО-прототипов, демонстрирующих поиск, изучение и доступ к распределенным источникам астрономических данных различных классов.

В соответствие с этими рекомендациями  в ЦАД было осуществлено зеркалирование следующих популярных зарубежных ресурсов данных.:

ADS (Astrophysics Data System) – крупнейшей астрономической электронной библиотеки, объединяющей 4 библиографические базы данных (астрономия и науки о планетах, физика и геофизика, космические инструменты, астрономические препринты). Около 3.6 млн. записей.

VizieR – наиболее полной базы данных астрономических каталогов и таблиц данных.

В настоящее время  она содержит около 7000 каталогов, также включает в себя каталоги, доступные по FTP, и словарь обозначений небесных объектов.

INES – системы обработки и распространения данных архива, содержащей более 110000 спектров для ~9600 объектов, полученных за время выполнения миссии IUE.

VALD – Венской базы данных атомных линий, объем данных 6 Gb. Оригинал в Австрии; зеркала: США, Швеция, Германия.

В планах установка

BDB – Безансонской базы Двойных и Кратных звезд, содержащей наиболее полную информацию обо всех категориях двойных звезд, а именно, визуальных, интерферометрических, спектроскопических, фотометрических, астрометрических и др.

SIMBAD – крупнейшей базы данных объектов за пределами Солнечной системы: 4,678,722 oобъектов, 13,353,379 идентификаций, 233,141 библиографических ссылок, 6,630,999 цитирований.

WFPDB – базы данных, содержащей  информацию о, примерно,  2100000 астрономических широкоугольных пластинках, размещенных в 345 архивах во всем мире.

РВО осуществляет создание электронных справочников по основным мировым астрономическим Интернет ресурсам, объединяет российские астрономические данные и интегрирует их в международную виртуальную обсерваторию, а также создает списки основных российских астрономических Интернет ресурсов.

В ЦАД подготовлен анализ ресурсов астрономических данных, находящихся в прямом доступе в Интернет на сайтах  астрономических или связанных с астрономической тематикой учреждений России и СНГ, и созданных с участием размещающего учреждения. Отдельно упоминаются некоторые другие типы ресурсов.

http://www.inasan.rssi.ru/eng/rvo/rus_res.html

Регистр ресурсов астрономических данных РВО впервые был создан: 2002 и обновлялся в 2003, 2005, 2006, 2008, 2010 годах.

Гистограмма на рис.5 дает представление о росте за последние годы общего количества Интернет ресурсов, созданных в учреждениях России и СНГ.

Тематическая структура и динамика профессиональных российских астрономических Интернет-ресурсов данных, 2002-2010 представлена на рис.6.

Анализируя имеющуюся информацию, можно отметить следующие тенденции астрономических ресурсов стран бывшего СССР в Интернет:
Основной объем астрономических ресурсов в прямом доступе принадлежит (из стран бСССР) астрономическим учреждениям Украины (целый ряд обсерваторий представляют свои ресурсы), Армении, Эстонии, Латвии.

- В Армении (Бюраканская астрофизическая обсерватория) создана АрВО - член Альянса МВО.

- На Украине многие астрономические учреждения активно открывают прямой доступ через Интернет к созданным астрономическим ресурсам данным (Главная астрономическая обсерватория НАНУ – Голосиив, АО Одесского ГУ, Крымская АО, АО Харьковского ГУ, Институт радиоастрономии НАНУ). Ведется оцифровка наблюдательных архивов и доступны в той или иной мере каталоги фотопластинок стеклянных библиотек ГАО НАНУ, АО ОГУ, КрАО.

Одним из главных направлений работы центров является программное обеспечение (ПО), включающее:

- Разработку стандартов и протоколов, их международное согласование,

- Создание «соединяющих» компонентов: портал, реестр, поток данных, распознавание пользователей, виртуальное хранилище и пр.,

- Предоставление ресурсов данных,

- Создание механизмов для научной обработки данных,

- Установка и сопровождение реестров ресурсов и систем поддержки пользователей,

Это же направление является основным в деятельности Альяна МВО. В структуре IVOA созданы 9 Рабочих групп, в задачу которых входит выработка стандартов для описания астрономических данных, объектов, процессов, программной архитектуры:

  • Data Access Layer (Уровень доступа к данным)
  • Data Modeling (Модели данных)
  • Resource Registry (Сбор и организация метаданных о ресурсах данных и информационных службах)
  • VO Event (определяет стандартный пакет информации, описывающий событие на небе )
  • Semantics (Придание семантического смысла большой коллекции астрономических каталогов и таблиц)
  • VO Query Language(Язык запросов Виртуальной Обсерватории )
  • VOTable (Определяет и поддерживает XML стандарт для представления табулированных ВО данных)
  • Applications (определяет необходимое ПО для доступа данных в ВО)
  • Grid & Web Services (определяет возможности использования GRID и WS в рамках ВО )

Тщательно продуман и строго соблюдается процесс принятия стандартов группами IVOA:

  • Theory – определяет/уточняет стандарты для  поддержки теоретических данных (результаты расчетов, синтетические спектры, изображения,...) и служб в рамках ВО.  Отличие - эти данные нельзя найти по запросу по области на небе, например, они часто не наблюдаемы (темная материя,...).
  • OGF(Open Grid Forum)  Astro-RG (Astronomical Grid Community Research Group)   -  исследует возможность использования GRID технологий для обработки, анализа астрономических данных, осуществляет связь VO-GRID сообществами.
  • Data Curation & Preservation  - занимается вопросами  долгосрочной сохранности данных (центры данных,  целостно сть, репликация, происхождение)
  • Standing Committee on Standards & Processes – разработка процедуры создания стандартов и последовательное проведение согласования результатов  через Рабочие группы  IVOA с последующим утверждением Комиссией №5 МАС:

 VO (NOTE-> WD->PR->REC~~> IAU Comm 5)

В качестве примера формата, прошедшего процесс принятия  Альянсом  VO и одобренном IAU, можно назвать Flexible Image Transport Format (FITS).

В настоящее время
- FITS это самый популярный формат для обмена данными в астрономии.
- FITS используется для передачи и хранения изображений (и табличных данных).
- FITS разработан специально для научных данных и потому включает в себя метаданные, описывающие информацию о фотометрической и пространственной калибровке, вместе с метаданными исходного изображения, которые хранятся в удобочитаемом заголовке, формата ASCII.

Поддержка FITS доступна во множестве языков программирования, которые используются для научных работ: C, Fortran, Java, Perl, Python, S-Lang и IDL.

Офис Поддержки FITS в НАСА утверждает список библиотек и платформ, которые в текущее время поддерживают FITS.

Документы и стандарты IVOA: http://www.ivoa.net/Documents/

  • InterOp Programme Organising Committee – подготовка InterOр  IVOA meetings, которые регулярно проводятся 2 раза в год. Кроме этих совещаний, исследования, проводящиеся в рамках Проекта МВО, включаются в программу большого количества различных международных мероприятий, организуемых Международным астрономическим союзом.
  • Одной из главных задач Проекта МВО, как было сказано выше, является создание баз астрономических данных и в этом отношении особо важное место занимает международная база стеклянных библиотек Wide-Field Plate Database: European Plate Archives (WFPDB), создаваемая в течение последних 20 лет вSofia Sky Archive Data Center  Института Астрономии Болгарской академии наук под руководством д-ра Милчо Цветкова.

    Звездное небо – неоценимый дар природы, оно постоянно изменяется, поэтому фотографии даже полученные на малых телескопах представляют собой непреходящие ценности.

    Последние годы все чаще обсуждаются предложения о внесении стеклянных библиотек в список объектов Всемирного наследия ЮНЕСКО и особую ценность в этом отношении представляют собой обзоры, полученные в прошлом коллективными усилиями астрономов разных стран и послужившие основой для многих фундаментальных исследований.

    Цель настоящего проекта -Field Plate Database: European Plate Archives (WFPDB) -сохранение для будущих научных исследований астрономических данных, накопленных в стеклянных библиотеках обсерваторий мира. Фотопластинки, как хранители информации оказались недолговечными и требующими особых условий хранения, которые не на всех обсерваториях могут быть созданы. В связи с этим, было принято решение провести сканирование этих фондов и обработанные соответствующим образом данные, включая журналы наблюдений, предоставить пользователям в прямом доступе. Масштабы работы оказались очень большими, поэтому решено было ограничиться европейскими обсерваториями и, для начала, фотопластинками, полученными на телескопах с большими полями зрения.  

    Работа над Архивом проходила в сотрудничестве с другими европейскими международными организациями и проектами:  CDS, ESO, IVOA, GAVO, UDAPAC, RVO, HYPERLEDA, BG_GRID etc.

    В настоящее время Каталог WFPDB  включает ~ 2.2x106 отсканированных фотопластинок, что соответствует примерно 1/3  всех фотопластинок экспонированных в обсерваториях мира  за период 1872-2005 годы.  Все данные предоставляются в прямом доступе. Предусмотрена возможность визуализации данных.

    Адрес Архива: http://www.skyarchive.org

    Распределение фотопластинок, содержащихся в Каталоге по различным параметрам показано на прилагаемых рисунках.

    На рисунке 7 – распределение пластинок на небесной сфере.

    На рисунке 8 - распределение фотопластинок Архива по годам экспозиции. Видно, что с 90-ых годов обсерватории практически прекратили использование фотопластинок для фотографирования неба, заменив их другими типами светоприемников.

    На рисунке 9 показано какой процент пластинок Архива получен из различных районов Европы. Следует отметить, что суммарное количество пластинок из обсерваторий России и бывшего Советского союза достигает 40%, в то время, как из обсерваторий всех стран Западной Европы -60%.

    Более детальную информацию о количестве пластинок полученных и отсканированных в европейских обсерваториях дают  гистограммы, демонстрирующие количество архивов в странах Европы (рис. 10) и общее количество пластинок в каждой стране (рис.11). Как видно, значительное преимущество в обоих распределениях демонстрирует Германия, второе место с, примерно, в 2 раза меньшим количеством - Украина. Россия занимает почетное третье место.

    В российских обсерваториях работы по сканированию стеклянных библиотек проводятся рамках Проекта РВО и в сотрудничестве с Софийским Центром данных. В ИНАСАН и ГАИШ развернуты работы по переводу в цифровую форму коллекций астронегативов группы Переменных звезд и Звенигородской обсерватории ИНАСАН. Проведены необходимые исследования сканирующей аппаратуры, сделаны пробные сканы ряда фотопластинок. Списки пластинок и журналы наблюдений переводятся в электронную форму. Создан и поддерживается сайт http://skanlab.narod.ru, оперативно отражающий состояние работ по сканированию пластинок на Звенигородской обсерватории ИНАСАН.

    Основные научные результаты, полученные Виртуальными обсерваториями за последнее десятилетие, отражены в статье Малкова и др. [Электронные библиотеки. – 2011 – в печати].

    10-летний опыт ВО показал, что

    1. На нас движется самое настоящее цунами данных, справиться с которым можно только объединяясь и координируя усилия в структурах, подобных МВО.
    2. Грядущие несколько десятилетий станут эпохой data intensive astronomy.
    3. Выиграет тот, кто не просто получит и сохранит данные, а тот, кто сможет сделать их доступными широкому научному сообществу посредством удобных и привычных для сообщества [стандартных] механизмов работы с данными.
    4. Пример: успех SDSS (самый успешный крупный проект за всю историю астрономии по соотношению стоимость / количество цитирований) однозначно обусловлен развитыми интерфейсами работы с данными, в первую очередь, сайтом CASJobs.

    В заключение можно с уверенностью констатировать, что Виртуальная обсерватория

    1. является лучшим телескопом в мире
    2. ведет к демократизации астрономии
    3. открывает новую эру не только в астрономии, но и в науке

Последнее обновление страницы было произведено: 2011-04-07

Все предложения и пожелания по содержанию и структуре портала направляйте по адресу rdlp@iis.ru