РОССИЙСКИЙ НАУЧНЫЙ ЭЛЕКТРОННЫЙ ЖУРНАЛ Электронные библиотеки
2012 - Том 15 - Выпуск 3

Средства интеграции каталогов в современных европейских инфраструктурах данных ДЗЗ

И. В. Недолужко, О. О. Коробкова

 

Аннотация

Каталоги традиционно являются основой инфраструктур данных дистанционного зондирования Земли (ДЗЗ) из космоса и обеспечивают информационную поддержку накапливаемых архивов значительного объёма. Для предоставления пользователям информационных услуг и услуг по обработке данных ДЗЗ Центр коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН ориентируется на применение методов, технологий и инструментов, развиваемых в рамках европейских инициатив по созданию глобальных инфраструктур ДЗЗ. Ряд проектов последних лет, разрабатываемых или продвигаемых Европейским космическим агентства (ESA) в качестве основы использует сервис-ориентированную платформу среды SSE (Service Support Environment). В данной статье рассматривается ряд средств, применяемых в данных проектах для создания и интеграции каталогов данных ДЗЗ в единую распределённую гетерогенную сеть. Описан опыт применения этих средств в Центре.

Ключевые слова: каталоги, ДЗЗ, спутниковые данные, интеграция, инфраструктура, распределённые системы, веб-сервисы, сервис-ориентированная архитектура, SOA, CSW, ESA, SSE, HMA, OGC, ebRIM

Введение.

Каталоги традиционно являются основой инфраструктур данных дистанционного зондирования Земли (ДЗЗ) из космоса и обеспечивают информационную поддержку накапливаемых архивов значительного объёма. Каталоги предоставляют пользователю возможность поиска и оценки пригодности конкретных наборов данных для решения его задачи. При этом доступ к каталогу может быть организован как через пользовательский интерерфейс (веб-портал), так и через набор интерфейсов нижнего уровня на базе протоколов Z39.50, HTTP, SOAP. Важнейшей является задача объединения каталогов различий организаций и ведомств в единую гетерогенную распределённую информационную сеть, обеспечивающую пользователю единую точку входа. Данная задача достаточно успешно решается во многих проектах NASA и ESA, где пользователю помимо каталогов предоставляются также различные сервисы для заказа и обработки данных ДЗЗ.

Задачу каталогизации осложняет рост числа спутников, технологий обработки и видов получаемой продукции, применяемых для решения прикладных и теоретических задач. Требуется создание новых, расширяемых методов классификации наборов данных, а также принятие решения о долговременном хранении только ограниченного набора продуктов – при этом должна сохраняться возможность построения необходимых продуктов на основе перманентно хранимой базовой продукции либо “сырых” данных (L0). Такой подход, используемый в Центре коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН (далее – “Центр”), позволяет не только значительно сэкономить вычислительные ресурсы и уменьшить объём архивов, но и даёт возможность построения необходимого пользователю продукта с применением актуального на момент обращения алгоритма обработки спутниковых данных. Обеспечив возможность выбора алгоритма, задания параметров обработки и конечного формата поставки, можно максимально удовлетворить потребности пользователя [1].

Для предоставления пользователям информационных услуг и услуг по обработке спутниковых данных Центр ориентируется на применение принципов, технологий и инструментов, развиваемых в рамках европейских инициатив по созданию глобальных инфраструктур данных ДЗЗ. Ряд проектов последних лет, разрабатываемых или продвигаемых Европейским космическим агентством (ESA) в качестве основы использует сервис-ориентированную платформу среды SSE (Service Support Environment). Среда SSE предназначена для интеграции служб обработки и поставки данных ДЗЗ в единую глобальную гетерогенную инфраструктуру, объединяющую организации Евросоюза и других стран. Основа среды начала закладываться с 2001 года в рамках проекта MASS-ENV. К разработке ESA привлекло ряд организаций, таких как Spacebel (Бельгия) и Intecs (Италия) [2]. В настоящее время принципы, технологии и ряд компонентов, разработанных в рамках SSE, используются в том числе и в ряде других проектов, таких как HMA (Heterogeneous Mission Accessibility) и GENESIS (GENeric European Sustainable Information Space for environment).

Целью HMA является стандартизация интерфейсов наземных сегментов спутниковых миссий для упрощения доступа к данным ДЗЗ. Проект запущен ESA в середине 2005 года с целью гармонизации доступа к данным различным миссий ДЗЗ. Партнёрами проекта являются космические агенства и спутниковые центры различных стран Европы, а также Канадское космическое агентство [3-5]. HMA вносит непосредственный вклад в развитие SSE, поскольку использует портал SSE в качестве точки доступа и расширяет его поддержкой новых интерфейсов.

Проект GENESIS ставит своей целью выработку решения по интеграции информационных сетей в строгом соответствии с Европейскими инициативами (INSPIRE, SEIS и GEOSS) по гармонизации. В рамках проекта разрабатывается тематически нейтральный фреймворк на основе веб-сервисов, компонентов портала и инструментария. Тестирование фрейморка производится на ряде практических задач по оценке качества воды и воздуха, и их влиянию на здоровье человека [6]. В рамках проекта используются наиболее удачные решения HMA и SSE, такие как интерфейсы каталогов (стандарты OGC 06-131r6 и OGC 07-038r3) и доработанный пакет Toolbox.

В настоящий момент опыт применения современных технологий и инструментов, разработанных в рамках перечисленных проектов, в России отсутствует. Задачей настоящей работы является их изучение и сравнение с традиционными средствами SSE; а также выработка подхода к решению задачи интеграции каталогов Центра в глобальные европейские инфраструктуры с использованием данных средств нового поколения.

Интерфейсы каталогов

Каталоги спутниковых данных на основе спецификации EOLI

Спецификация EOLI (Earthnet ONlIne) [7] изначально была разработана как протокол для взаимодействия между одноимённой клиентской и серверной частью поискового интерфейса каталога eoPortal http://catalogues.eoportal.org, включающий продукты ESA и NASA. При этом интеграция самих распределённых узлов была организована с использования протокола CIP [8]. В несколько изменённой форме EOLI был применён в качестве основного интерфейса доступа к каталогам продуктов в проекте MASS [9], на основе которого в дальнейшем была создана система SSE (Service Support Environment) Европейского космического агентства (ESA) [2, 10]. Профиль метаданных EOLI включает сравнительно небольшой набор необходимых атрибутов, унаследованных из профилей ISO 19115, FGDC и CIP. Простота профиля и протокола позволяет создать EOLI-совместимый каталог без значительных трудозатрат самостоятельно, руководствуясь только документацией по спецификации. В настоящий момент на портале SSE уже опубликовано пошаговое руководство по созданию EOLI-совместимого каталога [11].

Базовый интерфейс EOLI-совместимого веб-сервиса включает два синхронные операции: Search и Present, используемые для поиска записей метаданных по набору критериев и просмотра конкретной записи по её идентификатору соответственно. Дополнительная информация об описываемом файле спутниковых данных может быть представлена сервис-провайдером в формате KVP (key-value-pair) внутри элемента addInfo, однако эти поля не участвуют в поиске и их интерпретация требует дополнительных соглашений между клиентом и сервером, не охваченных спецификацией. Эти поля могут быть использованы для передачи информации (например, URL файла) о получении описываемого продукта, хотя такой способ не является стандартным. Для организации заказа продуктов по протоколу EOLI необходимо использовать интерфейс SSE Order [12]. Workflow Engine на портале SSE позволяет передавать результат поиска по каталогу в качестве входной информации для сервиса заказа, а организация веб-интерфейса делает эту точку сшива незаметной для пользователя (рис. 1).

Рис 1. Веб-интерфейс каталога спутниковых данных, интегрированного с сервисом заказа, на портале SSE

Отдельный продукт в EOLI-каталогах может быть однозначно задан сочетанием собственного идентификатора и идентификатора содержащей его коллекции. Коллекции SSE никак не группируются и представляются плоским списком (в отличие от CIP), иерархия их может быть задана только в условной форме посредством соглашения об именах или способом регистрации на портале (рис. 2).

Рис. 2. Регистрация коллекций, поддерживаемых указанным каталогом продуктов сервис-провайдера

Коллекции позволяют группировать продукты определённого типа, однако изначально в среде SSE не было предусмотрено никаких сервисов для организации поиска коллекций по набору параметров, которые могли бы характеризовать этот тип. Единственным доступным пользователю средством поиска необходимого сервиса каталога в этом случае является ручной просмотр всех зарегистрированных сервисов (структурированных по базовым категориям) на портале SSE или применение средств UDDI-реестра [13] среды SSE, где могут быть зарегистрированы готовые, отлаженные сервисы.

Положенные в основу EOLI и SSE принципы позволяют организовать распределённый поиск, что достижимо путём создания отдельных сервисов, реализующих спецификацию EOLI. Связка этих сервисов в единую сеть может быть достигнута двумя способами:

1. При регистрации сервиса на портале SSE можно указать правила (основанные на идентификаторе коллекции), согласно которым которых запрос будет направлен к разным веб-сервисам, реализующим интерфейс EOLI.

2. Создание узлового сервиса, реализующего интерфейс EOLI, однако не выполняющего никаких функций, кроме пересылки входящего запроса на другие EOLI-сервера. Ответ подчинённого сервиса может быть передан вызывающей стороне как опосредованно, через узловой сервис; так и непосредственно, через механизм WS-Addressing [14]. При этом узловой сервис может как принимать решение о том, каким именно подчинённым сервисам должен быть отправлен запрос, так и не производить никакой обработки вовсе и производить общую рассылку по всем известным ему сервисам. Эта ситуация не вызовет ошибки, поскольку согласно спецификации EOLI-сервис должен возвращать нулевое число записей при запросе информации о неизвестной ему коллекции. Любой EOLI-сервис можно наделить функциями перераспределения запроса к другим EOLI-сервисам, однако никакого стандартного метода для реализации этого механизма не документировано.

Спецификация EOLI сыграла свою роль в развитии среды SSE, давая возможность простого создания каталогов продуктов, однако в настоящий момент устарела. Последняя версия спецификации, дополненная функциями по заказу продуктов, была представлена [15, 16] в 2005 г. на рассмотрение в качестве минимального профиля каталогов OGC для работы с продуктами ДЗЗ (05-057r4, OpenGIS Catalogue Services – Best Practices for for Earth Observation Products), однако дальнейшего развития не получила.

Каталоги спутниковых данных на основе спецификации EOLI

Проект HMA опирается на инфраструктуру, инструменты и стандарты выработанные в процессе развития среды SSE. С точки зрения сервис-провайдера ключевым моментом является переход от внутренних исторически сложившихся стандартов (таких, как EOLI) к общепринятым стандартам OGC (Open Geospatial Consortium), ISO, (International Organization for Standardization) и OASIS (Organization for the Advancement of Structured Information Standards). Разработанные в рамках проекта средства учитывают как опыт применения технологий глубокой обработки данных ДЗЗ; так и популярные подходы, используемые в ГИС-системах. При этом становится возможным применение широкого арсенала средств для развёртывания требуемых сервисов.

Единой точкой входа для пользователя в HMA по-прежнему является веб-портал, причём задействованы уже существующие порталы SSE: основной SSE Portal и его клон SSE Test Portal, предназначенный для отладки сервисов. Для сервис-провайдеров базовая регистрация HMA-сервисов незначительно отличается от регистрации SSE-сервисов, пользовательский интерфейс также претерпел незначительные изменения. Список поддерживаемых интерфейсов каталогов достаточно обширен, однако только единицы получили должное развитие в мировой практике и соответствующую поддержку со стороны портала. На момент публикации поддерживаемые порталом интерфейсы можно разделить на две основные группы, согласно применяемым профилям метаданных.

Интерфейсы на базе профилей ISO 19115

Профили пространственных метаданных ISO 19115, а также способ их кодирования в виде XML-файлов ISO 19139 получили широкое распространение в мире. В России на их основе созданы профили ГОСТ Р 52573-2006 [17], профиль ЕБГД (Единый банк географических данных) Роскомоса [18], а также “Академический профиль пространственных метаданных “ГеоМЕТА”” [19].

Изначально профиль ISO 19115 также рассматривался как модель описания наборов данных в разрабатываемой системе HMA. Как и в системе SSE, в HMA существует два уровня описания наборов данных: продукт и коллекция (серия однотипных продуктов). Профиль ISO был признан пригодным для описания наборов данных на уровне коллекций, однако недостаточным для описания на уровне продуктов. В настоящий момент на портале доступны для регистрации следующие интерфейсы, так или иначе использующие указанные стандарты ISO:

  • OGC 04-038r4 v1.0, ISO Application Profile for CSW 2.0.1. В качестве средства реализации предлагается применение пакета Geonetwork. В настоящий момент этот интерфейс признан устаревшим и имеет статус "Deprecated – Best Practices Document" [20].
  • OGC 07-045 v1.0, ISO Application Profile for CSW 2.0.2. Используется последняя версия интерфейса OGC Catalog Service for the Web (CSW). Имеет статус “Specification Application Profile – Approved” [21].
  • OGC 07-038r3 v0.1.11, CIM Extension Package for ebRIM (ISO/TS 15000-3) Application Profile. Данный интерфейс развивается в рамках HMA и дополняет профиль ebRIM [22] для CSW с целью каталогизации записей метаданных, совместимых с ISO 19115 и ISO 19119. Данный интерфейс, хотя и имеет в настоящий момент статус “Discussion Paper”, в HMA является основным инструментом для интеграции как каталогов коллекций продуктов данных ДЗЗ; так и каталогов сервисов, ориентированных на использование человеком (в противовес UDDI) [23].
Интерфейсы на базе GML-схемы для продуктов ДЗЗ

Основой для описания продуктов данных ДЗЗ в HMA является стандарт OGC 06-080r4 GML 3.1.1 Application Schema for EO products (1.0.0), определяющий прикладную схему для языка GML (Geographic Markup Language) [24]. Схема была предложена OGC группой европейских компаний, возглавляемой ESA, и в настоящий момент носит статус “Implementation specification”. Основное назначение стандарта – создание унифицированного способа представления метаинформации о продуктах ДЗЗ от различных поставщиков, который бы включал набор общих атрибутов; и имел возможность расширения за счёт определения набора дополнительных атрибутов, необходимых для описания различных тематических продуктов (рис. 3).

Рис. 3. Иерархия схем метаданных на основе GML

Наглядным является пример просмотра GML-метафайла, сформированного согласно схеме OGC 06-080r4, в программе просмотра GML, не имеющей поддержки схемы EOP (рис. 4). Подобным образом может быть достигнута интероперабельность каталогов например, на общем уровне (EOP, Earth Observation Product) или на уровне тематических продуктов.

Рис. 4. Программа общего назначения для просмотра GML не имеет поддержки схемы OGC 06-080r4, однако отображает отпечаток (footprint) продукта ДЗЗ (элемент gml:multiExtentOf)

В документации по спецификации приводится таблица соответствия полей метаданных GML-схемы полям профиля ISO 19115-2. Из таблицы следует, что отображение метаинформации из одного профиля в другой и обратно хотя и возможно, однако сопряжено с неизбежными потерями содержимого ряда вспомогательных полей. Важной особенностью GML-схемы является наличие отдельного поля для указания ссылки, используемой для получения самих данных или маски облачности. Такой ссылкой может быть как физическое размещение файла, так и адрес сервиса WMS/WCS.

В настоящий момент на портале поддерживается регистрация следующих интерфейсов, использующих GML-схему для формирования записей метаданных:

  • OGC 06-079r2, EO Application Profile for CSW 2.0. Интерфейс разрабатывается в рамках проекта HMA. Имеет статус “Discussion Paper”, в открытом доступе находится предыдущая версия документа (r1) [25].
  • OGC 06-131r6, EO Products Extension Package for ebRIM (ISO/TS 15000-3) Application Profile. Интерфейс является основным средством для интеграции каталогов данных ДЗЗ в системе HMA и уже получил статус "OpenGIS Implementation Specification". Порталом поддерживаются разные версии интерфейса [26].
  • OGC 08-086r1 v0.2.4, Distributed Search for EO Products Extension Package for ebRIM (ISO/TS 15000-3) Application Profile.Черновик стандарта для распределённого поиска по каталогам продуктов ДЗЗ, в открытом доступе документация отсутствует.
Приоритеты по реализации интерфейсов каталогов для Центра

Спецификация EOLI долгое время являлась основным способом интеграции каталогов продуктов в европейских инфраструктурах данных ДЗЗ, однако в настоящее время потеряла актуальность и не может быть более рекомендована для развёртывания новых сервисов. Следует отметить, что использующая её система каталогов INFEO/eoPortal продолжает успешно функционировать; а модифицированный её вариант по прежнему поддерживается большим числом сервис-провайдеров среды SSE (наряду с самим порталом SSE). Для работы с продуктами, вместо спецификации EOLI, в HMA предлагается использовать специально разработанные для этого схему OGC 06-080r4 для метаданных и интерфейс OGC 06-131r6. В отличие от SSE, в HMA впервые заявлена поддержка каталогов коллекций (помимо регистрации на портале) и произвольных сервисов (в дополнение к UDDI-реестру), для чего от сервис-провайдера требуется поддержка интерфейса OGC 07-038r3. Записи метаданных в этом случае формируются на основе традиционных стандартов ISO 19115 и 19119 (рис. 5).

Рис. 5. Иерархия стандартов каталогов и метаданных в HMA

Отдельно стоит упомянуть интерфейс OpenSearch и его развивающееся расширение OpenSearch-GEO. Поддержка данного интерфейса присутствует в ряде программ и поисковых движков, и может быть полезной для поиска коллекций.

Таким образом, приоритеты по реализации тех или иных интерфейсов каталогов, с точки зрения эффективного управления ресурсами Центра, можно расставить следующим образом:

  • 1. OGC 06-131r6 как замена [27, 10] EOLI для каталогизации продуктов
  • 2. OGC 07-038r3 как средство каталогизации коллекций продуктов, а также сервисов
  • 3. Прочие интерфейсы, включая OGC 07-045 (традиционный CSW-интерфейс) и OpenSearch.

Средства реализации каталогов

Рассматривая возможность реализации выбранных интерфейсов, следует отметить их большую сложность в сравнении с EOLI. Самостоятельная реализация таких сервисов затрудительна даже с использованием различных фреймворков типа JAX-WS или скриптов на встроенном языке пакета SSE Toolbox. В данной главе будет рассмотрен ряд пакетов, содержащих готовые реализации сервисов, обеспечивающих реализацию требуемых интерфейсов. Все эти пакеты написаны на Java и, как правило, реализованы в виде веб-приложений (war) предназначенных для установки в контейнер типа Apache Tomcat или Jetty . В рамках данного обзора все рассматриваемые пакеты были развёрнуты в Центре под управлением пакета Apache Tomcat версий 6-7.

ebRR

Пакет ebRR (Buddata ebXML Registry/Repository) разрабатывается kZen Labs, подразделением компании 4C Technologies N.V. (Бельгия) и финансируется ESA для поддержки каталогизации в проекте HMA. Пакет распространяется по лицензии GNU GPL v3 и является реализацией OASIS ebXML Registry и OGC Catalogue Service, при этом основной упор делается на поддержку интерфейсов OGC 07-038r3 и OGC 06-131r6. На базе пакета возможна организация самостоятельного сервера, имеющего привязку к внешней базе данных под управлением СУБД PostgreSQL с расширением PostGIS. Настройка и отладка каталога возможны через веб-интерфейс (рис. 6), а для взаимодействия с каталогом в автоматическом режиме можно использовать специально созданный API. Как API, так и реализация SOAP-интерфейса содержит все операции OGC 06-131r6 – включая операцию Harvest, позволяющую инициировать усвоение метаданных по требованию предоставляющей ресурс стороны. Важным свойством пакета является наличие не описанной в стандарте операции Transaction, выполняющей различные функции, включая удаление записей – что является необходимым при каталогизации оперативных архивов данных, содержащего продукты только за определённый период (например, последний месяц). Данные из такого архива удаляются по достижению определённого срока, что должно находить отражение и в каталоге.

Рис. 6. Встроенный веб-интерфейс ebRR: тестирование каталога продуктов

GI-cat

GI-cat позиционируется разработчиками (ESSI-Lab) как универсальное средство для создания каталогов, поддерживающих широкий набор интерфейсов и средств для усвоения метаинформации (рис. 7). Это достигается за счёт хранения записей метаданных в универсальном проприетарном формате и соответствующего преобразования метаданных при усвоении, либо выдаче по запросу. Очевидным недостатком такого подхода является неизбежная потеря информации при конвертации. С полным списком интерфейсов можно ознакомиться на сайте пакета. Наибольший для Центра интерес представляют:

  • OGC 06-131r6 и OGC 07-038r3 (для интеграции в HMA)
  • OpenSearch и его расширение OpenSearch-GEO (для интеграции с поисковыми системами общего назначения)
  • OAI-PMH 2.0 (популярное средство предоставления ресурсов для харвестинга).

Хотя пакетом не поддерживается операции Harvest, сервис-провайдеру предоставляется широкий ассортимент механизмов извлечения метаданных из сторонних источников. Общий список также можно найти на сайте пакета. Наибольший интерес для Центра представляют:

  • Харвестинг из локальной папки. Метафайлы, присутствующие в указанной папке, преобразуются во внутренний формат GI-cat и сохраняются в его БД. Уже добавленные файлы игнорируются, а записи об исчезнувших из папки файлах также удаляются и из базы данных. В последней версии добавлена возможность рекурсивной обработки папок с метафайлами.
  • Ставший “классическим” харвестинг с внешнего URL.
  • Харвестинг с внешних ресурсов, поддерживающих интерфейс OAI-PMH 2.0

Рис. 7. Настройка пакета GI-cat

Рис. 8. Настройка расписания харвестинга в пакете GI-cat. Харвестинг выполняется в текущий момент (сработало ежечасное задание).

Хранение метаинформации GI-cat не подразумевает привязки к внешней СУБД, а основано на использовании встроенной СУБД HyperSQL. Это упрощает установку и настройку пакета, однако может затруднить масштабирование и поддержку системы в дальнейшем.

SSE Toolbox

Пакет SSE Toolbox является основным средством для интеграции сервисов в среде SSE. Встроенный язык скриптов даёт возможность создания как сервисов, реализующих стандартные интерфейсы SSE; так и сервисов с произвольным интерфейсом. При этом возможен вызов кода, написанного на языках Java и Jelly. Опыт создания EOLI-сервиса в Центре с помощью пакета описан в [27, 10].

Основным преимуществом пакета SSE Toolbox является изначальная возможность развёртывания произвольного числа любых сервисов. При этом доступ к каждому может быть ограничен как на уровне HTTP (SSL), так и на уровне SOAP (WS-Security). Используя пакет SSE Toolbox, можно развернуть распределённую сеть каталогов на базе интерфейса OGC 06-131r6, применяя подход, описанный выше для EOLI.

Toolbox версии 8 включает готовую реализацию интерфейса OGC 06-131r6, основанную на компонентах пакета ErgoRR. Существенным недостатком пакет является отсутствие каих-либо механизмов для удаления записей, хотя операция Harvest поддерживается.

Toolbox 9

Пакет Toolbox 9 является развитием пакета SSE Toolbox 8 и разрабатывается в рамках Европейского проекта GENESIS. Пакет включает более полную реализацию интерфейса OGC 06-131r6 (рис. 9), содержащую также описанную выше операцию Transaction. Особый интерес представляют дополнительные компоненты пакета: ARMS (Archiving and Resource Management Service) и PEP (Policy Enforcement Point).

Рис. 9. Создание каталога с интерфейсом OGC 06-131r6 в Toolbox 9: инициализация базы данных, используемой для хранения метаинформации.

ARMS предназначен для организации специализированного сервиса управления архивами, предоставляющего REST-интерфейс, либо интерфейс на базе стандарта OGC WPS (Web Processing Service). Файлы данных архива могут быть предоставлены пользователю через ряд интерфейсов (HTTP, FTP, WCS, WMS, WFS или SOS). При этом осуществляется интеграция с сервером ErgoRR, таким образом добавление и удаление файлов автоматически вызывает соответствующее обновление содержимого каталога. Метаданные могут быть как предоставлены вручную вместе с файлом продукта обработки данных ДЗЗ, так и сгенерированы автоматически, для чего могут быть зарегистрированы соответствующие триггеры.

PEP (Policy Enforcement Point) предназначен для авторизации клиентов при доступе к ресурсом по сети. Перехватывая запросы на доступ к ресурсам, модуль PDP (Policy Decision Point) принимает решение о разрешение или отклонение запроса в зависимости от описанных сервис-провайдером политик доступа. Для описания используются языки XACML (eXtensible Access Control Markup Language) и GEOXACML (Geospatial eXtensible Access Control Markup Language).

Выбор пакетов для развёртывания требуемых сервисов в Центре

В результате приведённого анализа видно, что пакет eeRR является предпочтительным средством для организации реестра ebXML, поддерживающим интерфейсы каталога OGC 06-131r6 и OGC OGC 07-038r3. В сочетании с дополнительным компонентом ARMS пакета Toolbox 9 возможна организация репозитория спутниковых данных согласно модели, описанной ранее в [1]. Сам пакет Toolbox 9 может быть использован и для создания каталога с интерфейсом OGC 06-131r6, и для решения ряда ряда вспомогательных задач. Например, с помощью него может быть организован сервис-посредник, передающий запросы к фактической реализации каталога или нескольким – что даёт возможность распределённого поиска. Этот же пакет версии 8 не имеет каких-либо преимуществ перед новой версией и не может быть рекомендован к применению ввиду отсутствия механизма удаления записей. Пакет GI-cat может быть использован для быстрого развёртывания каталога с широком набором интерфейсов и наиболее удобен в случае работы с относительно небольшим количеством записей. Также это единственный из перечисленных пакетов, поддерживающих интерфейсы OpenSearch и OpenSearch-GEO.

Опыт применения средств и интеграция сервисов Центра в HMA

Подготовка метафайлов

Как было сказано ранее, для представления метаданных в каталогах с интерфейсом OGC 06-131r6 используется прикладная схема для языка GML версии 3.1.1 (OGC 06-080r4). Отдельные записи усваиваются каталогом в виде XML-метафайлов, реализующих указанную схему. При этом сервис-провайдер может использовать как базовую XML-схему eop.xsd (EOP, Earth Observation Product), так и любую из её наследующих (расширяющих полями специфичными для определённого вида тематических продуктов).

В настоящий момент в Центре в оперативном режиме происходит генерация метафайлов для файлов данных спутников AQUA, TERRA и серии NOAA. Набор полей, присутствующий в таких метафайлах внутреннего формата Центра, содержит достаточно информации для формирования метафайлов схемы EOP. Хотя используемой в этом случае метаинформации недостаточно для полноценного использования возможностей GML-схемы, данное решение может быть использовано при прототипировании инфраструктуры Центра при минимальных трудозатратах. С этой целью был написана программа конвертации файлов генерирующая метафайлы, совместимые с GML-схемой, на основе метафайлов внутреннего формата Центра. Конвертор был встроен в общую процедуру приёма и обработки данных. Генерируемые им GML-метафайлы, наряду с метафайлами старого формата и обзорными изображениями, загружаются на отдельный FTP-сервер, где доступны для усвоения. В будущем, отказ от метафайла-посредника старого формата позволит предоставлять более полную информацию характеристиках изображения и т.д. Для тематических продуктов будут использованы стандартные схемы (например, ATM), либо созданы собственные – для внутреннего использования.

Опыт применения пакетов GI-cat, ebRR и Toolbox 9 для создания каталога, реализующего интерфейс OGC 06-131r6

В рамках данной работы в Центре был развёрнут пакет GI-cat версии 9.1-beta-4 под управлением контейнера Apache Tomcat 6 и настроен ежечасный харвестинг GML-метафайлов для данных спутников AQUA и TERRA. Активирована поддержка интерфейсов: OGC 06-131, OGC 07-038, OGC 07-045, OAI-PMH 2.0, OpenSearch, OpenSearch-GEO и одноимённый собственный интерфейс пакета GI-cat. К сожалению, неудачная попытка регистрации сервиса с интерфейсом OGC 06-131 на портале SSE и последующее тестирование с помощью программы GI-go GeoBrowser (того же разработчика) обнаружили некорректность преобразования метаинформации из исходных метафайлов Центра, сформированных согласно GML-схеме. В частности, теряется ссылка на одно из обзорных изображений (QUICKLOOK) и информация о географической привязке. Другие интерфейсы тщательно не тестировались.

Пакет ebRR является полноценной реализацией каталогов коллекций и продуктов на базе соответствующих стандартов HMA. Пакет был развёрнут под управлением контейнера Apache Tomcat 7; а на основе предоставляемого пакетом API создан набор консольных утилит, позволяющих осуществлять базовые операцию по поиску и управлению содержимым каталога из shell-скриптов. Тестирование на портале SSE выявило несовместимость последней версии пакета (2.3.0) с веб-интерфейсом, за счёт чего поиск по каталогу через портал становится невозможен.

Пакет Toolbox версии 9 был развёрнут под управлением контейнера Apache Tomcat 7 и продемонстрировал совместимость с порталом SSE, что стало причиной для его использования в качестве основы для создания и интеграции сервиса OGC 06-131r6 в SSE/HMA. Особенности реализации API ebRR не позволили использовать его для доступа к ebRR-модулю пакета Toolbox 9, в результате чего был разработан отдельный набор консольных приложений, реализующий функциональность, аналогичную описанной выше для пакета ebRR. Новый набор утилит использует самостоятельное формирование SOAP-сообщений без использования ebRR API, и поэтому потенциально совместим с любыми реализациями OGC 06-131r6. При разработке и отладке данного клиенского набора утилит использовалась программа SoapUI, позволяющая разработчику самостоятельно отправлять XML-сообщения на указанную конечную точку (endpont) веб-сервиса.

На рис. 10 приведена упрощенная схема работы с метаданными в Центре при формировании каталогов на основе рассмотренных пакетов. Пунктиром обозначены ведущиеся работы.

Рис. 10. Каталоги Центра на базе пакетов Toolbox, ebRR и GI-cat.

Выводы

В рамках проекта HMA, использующего платформу SSE, разработан и успешно применяется ряд стандартов, большая часть которых уже одобрена консорциумом OGC. Наличие в широком доступе пакетов, обеспечивающих быстрое развёртывание требуемых сервисов, значительно упрощает задачу интеграцию в SSE/HMA. Особый интерес данные средства представляют в контексте вопроса по создания единой межведомственной инфраструктуры пространственных данных в России.

Все рассмотренные пакеты были развёрнуты в Центре. Созданы и запущены в эксплуатацию средства для заполнения каталогов метаинформацией в автоматическом режиме. Каталог на базе пакета SSE Toolbox 9 успешно зарегистрирован на портале.

Анализ и опыт применения рассмотренных средств в Центре выявил в них ряд недостатков, присутствующих на момент написания статьи:

  • Интерпретация стандартов разработчиками пакетов достаточно широка , при этом в каждом присутствует ряд недоработок. В результате принятие решения об эксплуатации того или иного пакета непосредственным образом зависит от решаемой задачи.
  • В настоящий момент только пакет Toolbox имеет полноценную поддержку со стороны портала. Альтернативным решением является создание собственного портала, поддерживающего взаимодействие с указанными сервисами.
  • Механизм распределённого поиска до конца не формализован, а предназначенные для этого стандарты имеют статус черновика. Тем не менее, в неявном виде такая возможность присутствует во всех интерфейсах каталогов SSE/HMA, начиная с EOLI.

В процессе подготовки статьи к публикации вышла новая версия пакета GI-cat, а на SSE Test Portal начаты работы по модернизации. Это говорит об активном развитии расссмотренных средств и может означать устранение обнаруженных недостатков в ближайшем будущем.

Работа поддержана грантами РФФИ 11-01-12107-офи-м-2011 и выполнена на оборудовании Центра коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН при финансовой поддержке Минобрнауки России.

Литература

1. Бабяк П.В., Недолужко И.В., Фомин Е.В. Подход к предоставлению услуг по обработке спутниковых данных в Центре коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН // Интернет и современное общество: Сборник научных статей. Материалы XIV Всероссийской объединённой конференции “Интернет и современное общество”. Санкт-Петербург, 12-14 октября 2011 г. – СПб., 2011. – (сс. 27-32)

2. Coene Y., Bawin C. Service Support Environment. Architecture, Model and Standards // ESA, 2004. http://earth.esa.int/rtd/Documents/SSE_Whitepaper_2.pdf

3. Coene Y., Marchetti P.G., Smolders S. Architecture and Standards for a Distributed Digital Library of Geospatial Services // The 3rd Italian Research Conference on Digital Library Systems, 29-30 January 2007, Padova, Italy

4. Lawrence B., Pritchard M., Woolf A. Review of the Heterogeneous Mission Accessibility Project. 2007. http://home.badc.rl.ac.uk/lawrence/static/2007/03/14/HMA-Review.pdf

5. Кудашев Е.Б., Филонов А. Н. Распределенная геоинформационная инфраструктура спутниковых данных // Вычислительные технологии, том 13, № 6, 2008. сс. 79-90.

6. THE GENESIS SOLUTION: Generic European Sustainable Information Space for Environment http://www.genesis-fp7.eu/images/publications/leaflets/brochure.pdf

7. Earthnet On-line XML Front-End Interface Control Document, EOLI-XML-006-ICD, Issue 1.7, 2003. http://earth.esa.int/rtd/Documents/EOLI-XML-ICD.pdf

8. Catalogue Interoperability Protocol (CIP) Specification Release B–24, 2005. http://wgiss.ceos.org/ics/documents/cip2.4/cipspec-2_4_75_6.pdf

9. Coene Y., Gianfranceschi S., Marchetti P.G. Earth Observation and GIS Services Integration Approach in MASS. Proceedings of DASIA 2003 (ESA SP-532). http://earth.esa.int/rtd/Articles/MASS_DASIA_2003.pdf

10. Недолужко И.В. Интеграция ресурсов Центра коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН в среду SSE Европейского космического агентства // Вычислительные технологии, том 15, № 4, 2010. сс. 116-130.

11. Maintenance And Operations of Earth Observation Payload Data Systems. Task 3 Services Infrastructure. User Guide – Catalogue Service via the EOLI ToolBox. OSME-SRVI-VILO-MN-06-0009. http://services.eoportal.org/massRef/documentation/Catalogue_Service_Demo-1.4.zip

12. Service Support Environment. Interface Control Document 1.10. http://services.eoportal.org/massRef/documentation/icd.pdf

13. OASIS UDDI Specifications. http://www.oasis-open.org/committees/uddi-spec/doc/tcspecs.htm

14. Web Services Addressing (WS-Addressing). http://www.w3.org/Submission/ws-addressing/

15. Minimal Profile for EO products using WSDL and SOAP. http://earth.esa.int/XML/eoli/documents/EOProfile.doc

16. Coene Yves, Marchetti P.G. Case Study: ESA Service Support Environment (SSE) // SOA forum, 13-16 June 2005, Paris. http ://services.eoportal.org/massRef/documentation/soa_forum_slides.ppt

17. ГОСТ Р 52573-2006. Географическая информация. Метаданные // М.: Стандартинформ, 2006

18. Географическая информация – метаданные. Профиль метаданных ЕБГД на основе стандартов ISO 19115, ISO 19115-2 и ISO 19139. Версия 1. ноябрь 2010

19. Серебряков В.А., Вершинин А.В., Дьяконов И.А., Динь Ле Дат, Бездушный А.Н. Пространственные метаданные в системе «ГеоМЕТА» // Журнал "Пространственные данные", №2, 2008. http://www.gisa.ru/45988.html

20. OpenGIS® Catalogue Services Specification 2.0.1 (with Corrigendum) – ISO Metadata Application Profile. http://portal.opengeospatial.org/files/?artifact_id=14506

21. OpenGIS® Catalogue Services Specification 2.0.2 – ISO Metadata Application Profile. http://portal.opengeospatial.org/files/?artifact_id=21460

22. ISO/TS 15000-3:2004 Electronic business eXtensible Markup Language (ebXML) – Part 3: Registry information model specification (ebRIM)

23. OGC™ Cataloguing of ISO Metadata (CIM) using the ebRIM profile of CS-W. http://portal.opengeospatial.org/files/?artifact_id=20596

24. Geography Markup Language. http://www.opengeospatial.org/standards/gml

25. OGC™ Catalogue Services Specification 2.0.0 (with Corrigendum) – EO Application Profile for CSW 2.0. http://portal.opengeospatial.org/files/?artifact_id=15547

26. OGC® Catalogue Services Standard 2.0 Extension Package for ebRIM Application Profile: Earth Observation Products. http://portal.opengeospatial.org/files/?artifact_id=35528

27. Алексанин А.И., Алексанина М.Г., Бабяк П.В., Недолужко И.В. Организация информационного обеспечения и телекоммуникационные технологии в спутниковом центре ДВО РАН // Тр. Х Санкт-Петербургской Междунар. конф. «Региональная информатика – 2006». СПб.: СПОИСУ, 2007. С. 329–333.

Об авторах

И. В. Недолужко - Федеральное государственное бюджетное учреждение науки ИНСТИТУТ АВТОМАТИКИ И ПРОЦЕССОВ УПРАВЛЕНИЯ Дальневосточного отделения Российской академии наук (ИАПУ ДВО РАН); ст. инж.-пр.; Россия, Владивосток, 690041, ул. Радио, 5. e-mail: ilya@dvo.ru

О. О. Коробкова - Дальневосточный федеральный университет (ДВФУ); студентка группы С8503Г. e-mail: olga.korobkova.post@gmail.com


Последнее обновление страницы было произведено: 2012-06-06

Все предложения и пожелания по содержанию и структуре портала направляйте по адресу rdlp@iis.ru