РОССИЙСКИЙ НАУЧНЫЙ ЭЛЕКТРОННЫЙ ЖУРНАЛ Электронные библиотеки
2010 - Том 13 - Выпуск 1

Об опыте создания системы управления коллекциями графических документов

Кириков П.В., Быстров М.Ю., Рогова К.А., Рогов А.А.

Петрозаводский государственный университет (ПетрГУ)

Аннотация

Статья посвящена вопросам создания системы управления коллекциями графических документов. Мы описываем работу интерфейсов администратора и пользователя в разработанной системе, существующие и новые признаки изображений, и их использование в методах классификации и поиска, возникшие проблемы и методы их решения.

Ключевые слова: коллекции графических документов, интерфейс, классификация, поиск, признаки.

Введение

С развитием информационных технологий и ростом скорости обработки и передачи информации появляется техническая возможность работы с большими базами данных, используя распределенные клиент-серверные технологии. На ряду с системами управления реляционными базами данных с текстовым контентом появляются объектные БД, системы управления коллекциями графических документов. Одним из примеров такой системы является разрабатываемая информационно-поисковая система «Петроглифы Фенноскандии». Данная статья рассказывает о создании интерфейсов к системе, сопутствующих проблемах и найденных решениях.

Доступ к информационной системе построен по клиент-серверной технологии. Интерфейс клиентской части реализован при помощи HTML, c использованием JS и  предоставляет администратору и пользователю доступ функционалу системы через любой web-браузер. Серверная часть выполнена на основе web-сервера Apache c применением PHP и сервера баз данных MySQL. Система позволяет администратору вводить графические документы в различных форматах, автоматически, при помощи графической библиотеки GDLib, выполняя их приведение к единому формату для хранения в базе данных.

Для разграничения доступа к коллекции система предоставляет открытый пользовательский интерфейс, из которого возможен доступ к базе в режиме только для чтения с ограничением числа доступных функций, и закрытый при помощи системы аутентификации административный интерфейс, предоставляющий администратору полный доступ для управления коллекцией графических документов.

Интерфейс администратора

Рис. 1 Интерфейс администратора

Интерфейс администратора (рис. 1) отображает иерархию графических документов в виде дерева и позволяет редактировать структуру, добавлять и удалять документы. Для каждого из них реализована возможность вводить и изменять схему разметки, показывающую положение объектов внутри документа. Администратор имеет возможность редактировать информацию о графических документах и набор индивидуальных параметров для каждого из объектов. Для удобства администратора и ускорения процесса работы с информацией реализована поддержка «горячих клавиш». Возможность выделения объектов на графических документах с присвоением им набора параметров, а также изменения положения объекта и редактирования параметров реализована наглядно, с использованием мыши. Для упрощения заполнения значений части параметров реализована система справочников. После добавления в коллекцию документов и внесения в базу данных необходимых параметров, администратор получает возможность воспользоваться алгоритмами классификации и поиска, связанными с текстовыми признаками и цветовосприятием.

Рис. 2 Накладывающиеся объекты

Некоторые графические документы содержат накладывающиеся друг на друга объекты. Для корректной работы административного интерфейса внедрено несколько решений: схемы разметки могут быть разделены на слои, позволяя администратору работать с каждым из накладывающихся объектов отдельно (рис. 2) , при выборке данных из схем разметок, области сортируются по площади и получают при выделении приоритет обратно пропорциональный занимаемой ими площади на графическом документе.

Рис. 3 Выделение отмеченных объектов

Изображение документа разделяется таким образом, чтобы каждый из слоёв содержал только непересекающиеся документы. Апробационное тестирование выявило необходимые доработки данной системы. Была добавлена возможность отображения одновременно одного, либо нескольких выбранных слоёв. Этот функционал позволил администратору отмечать объекты с учетом их взаимоотношения с другими. Также была реализована возможность для автоматического получения изображения объекта из выделенной области для сохранения в базу данных. Некоторые изображения были сохранены для ручной предобработки. Для упрощения работы администратора по разметке всех документов предусмотрена возможность выделения всех отмеченных объектов для поиска пропущенных (рис. 3)

Чтобы уменьшить вычислительную нагрузку на сервер  баз данных, требуемую для расчета площади по координатам каждый раз при получении списка объектов для оптимизации сортировки, в базе также хранится предварительно рассчитанное значение площади, по которому построен индекс.

Пользовательский интерфейс

Рис. 4 Интерфейс пользователя

Пользовательский интерфейс (рис. 4) предоставляет доступ для просмотра и анализа, внесенной в базу данных коллекции документов. Выбрав из дерева интересующий графический документ, пользователь получает возможность просмотра его в различных масштабах. Данный функционал реализован с помощью JS на стороне клиента. Для уменьшения нагрузки на сервер по масштабированию изображения и увеличения производительности, графический документ передаётся от сервера клиенту только 1 раз – в максимальном доступном разрешении. На стороне клиента документ сжимается пропорционально до максимально возможного по ширине. При масштабировании изображения его часть отображается в увеличенном размере, пользователь может плавно менять коэффициент масштабирования и выбирать необходимую часть изображения.

Рис. 5 Информация об объекте

Система показывает наборы  индивидуальных признаков  для выбранного на схеме разметки документа объекта. При наведении указателя мыши на объект он подсвечивается и пользователю выводится всплывающая подсказка с краткой информацией об объекте (рис.5). Для ускорения процесса начальной загрузки при большом числе объектов, изначально передается только информация об их координатах и идентификаторах, в дальнейшем информация об объектах запрашивается по мере необходимости с использованиям AJAX.

При клике на объекте с сервера запрашивается подробная информация об объекте и выводится пользователю.

Также в ограниченном режиме доступен функционал классификации и поиска по текстовым признакам и признакам, связанным с цветовосприятием

Описание структуры данных

Содержание графических документов в виде бинарных данных, а также сопутствующая им информация об их положении в  иерархии и наборы индивидуальных параметров хранятся в базе данных. Структура базы создана таким образом, чтобы иерархия документов не имела ограничений по числу уровней и по число узлов на каждом уровне. Для этого используется свертка дерева в табличное представление, с указанием родительской вершины. Такой способ представления требует рекурсивного обхода таблицы для получения иерархии, но это не оказывает критического влияния на производительность системы в целом. Для каждого графического документа система предоставляет возможность хранения различных схем разметки объектов, являющихся составными частями документа, для этого хранятся относительные координаты для предоставления возможности выделения объектов при различных масштабах отображения документа. Для корректной работы пользовательского и административного интерфейсов при выборке данных из схем разметок, необходима сортировка объектов по занимаемой ими площади на графическом документе. Чтобы уменьшить вычислительную нагрузку на сервер  баз данных, требуемую для расчета площади по координатам каждый раз при получении списка объектов для оптимизации сортировки  в базе также хранится предварительно рассчитанное значение площади, по которому построен индекс. Всего в базе данных 13 таблиц. Структура базы, за исключением некоторых оптимизаций для вычислительной производительности, соответствует четвертой нормальной форме.

Модуль классификации и поиска в графической коллекции на основе признаков, извлеченных из изображений.

В данном модуле используются характеристики изображений, получаемые непосредственно из картинки. Признаками самого низкого уровня считаются цвет и текстура рисунка [4]. За основу берется цветовая модель HSV (Hue, Saturation, Value — тон, насыщенность, значение) так как она ближе к восприятию человеком изображений.

Координатами цвета в данной модели являются [3]:

Hue — цветовой тон, (например, красный, зелёный или сине-голубой). Варьируется в пределах 0—360°, однако иногда приводится к диапазону 0—100 или 0—1.

Saturation — насыщенность. Варьируется в пределах 0—100 или 0—1. Чем больше этот параметр, тем «чище» цвет, поэтому этот параметр иногда называют чистотой цвета. А чем ближе этот параметр к нулю, тем ближе цвет к нейтральному серому.

Value (значение цвета) или Brightness — яркость. Также задаётся в пределах 0—100 и 0—1.

Модель была создана Элви Реем Смитом в 1978 году. Она является нелинейным преобразованием модели RGB.

Признаки цвета

Разделим все цветовое пространство на 18 отрезков по тону, 3 по насыщенности и 3 по значению. Используются два типа признаков. Первый тип — стандартные гистограммы для всего изображения. Для второго типа все изображение делится на прямоугольники от 2*2 до 16*16. Для каждого блока вычисляется наиболее часто встречающийся цвет. Он хранится как бинарный признак в зависимости от интервала попадания. Эта операция проделывается для каждого компонента цвета. Таким образом, получаем 55080 (340 блоков*18*3*3) возможных признаков для блока и 162 (18*3*3) цветовые гистограммы для изображения в целом [1].

Признаки текстуры

По определению, текстура – пространственно растянутый образец, построенный повторяющимися аналогичными элементами, которые называются элементы текстуры [4]. В данном случае используется набор фильтров Габора, где каждый фильтр дает специфическую текстуру частоту и направление. Изначально, фильтры Габора имеют возможность определения текстуры. Для реализации алгоритмов используются фильтры при разных длинных волн и ориентациях [1]. Кроме того, аналогично выделению признаков цвета из изображения, рисунок разбивается на блоки (2*2, 4*3). На основе фильтрации для каждого блока, так же как и для изображения в целом, получаются признаки. Подробное описание фильтров Габора находится в статье [2].

Методы классификации и поиска

На основе полученных признаков и их комбинаций производится поиск изображений в графической коллекции. Кроме того, проводится классификация изображений в графической базе данных. Для решения этих задач планируется использовать статистические методы, такие как факторный анализ или канонический корреляционный анализ.

Список литературы

  1. Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. – М.: Техносфера,  2005. - 1072 с.
  2. Javier R. Movellan. Tutorial on Gabor Filters. Электронный доступ: http://mplab.ucsd.edu/tutorials/gabor.pdf .
  3. T. Kolenda, L.K. Hansen, J. Larsen, O. Winther Independent Component Analysis for Understanding Multimedia Content. Proceedings of IEEE Workshop on Neural Networks for Signal Processing XII, pp. 757-766, Piscataway, New Jersey, 2002. IEEE Press. Martigny, Valais, Switzerland, Sept. 4-6, 2002.
  4. T. Westerveld. Image Retrieval: Content versus Context. Content-Based Multimedia Information Access, RIAO 2000 – C.I.D.-C.A.S.I.S., 2000, pp.276-284.

Последнее обновление страницы было произведено: 2011-03-31

Все предложения и пожелания по содержанию и структуре портала направляйте по адресу rdlp@iis.ru