Информационно - вычислительная система WWW- MINCRYST – общедоступный Web- инструментарий
по кристаллическим структурам минералов и их аналогов
Д.А.Варламов, Т.Н.Докина, Н.А. Дрожжина, О.Л.Самохвалова Институт экспериментальной минералогии РАН, г.Черноголовка, РФ
Аннотация. В статье рассмотрены история создания и развития (в течение более 20 лет) информационно-вычислительной системы (ИВС) WWW- MINCRYST, предназначенной для работы с кристаллическими структурами минералов и их синтетических аналогов. Описаны структура и методы реализации системы, строение и функции основных компонентов: база данных (более 10300 записей для более чем 4300 уникальных фаз); комплекс интеллектуальных средств поиска и выбора информации, в том числе оригинальных; средства мультимедийного представления информации (многофункциональные интерактивные структуры и спектры); возможности обработки спектральной информации, средства формирования перекрестных ссылокс внешними ресурсами и использования вспомогательной информации. Показаны главные проблемы в развитии ИВС, связанные с тенденциями развития основных WWW браузеров, сменой веб-технологий и проблемами безопасности.
Ключевые слова: Интернет-ориентированные системы, минералы, кристаллохимия, базы данных, поисковые критерии, интерактивные апплеты
Information-calculation system WWW-MINCRYST — a public Web-toolkit on the crystalline structures
of minerals and their analogues
D.A. Varlamov, T.N. Dokina, N.A. Drozhzhina, O.L. Samokhvalova
Institute of Experimental Mineralogy of Russian Academy of Sciences Russia, Chernogolovka, Moscow region
Abstract. In article are considered history of creation and development (more than 20 years) of the WWW-MINCRYST information-calculation system (ICS) intended for working with crystalline structures of minerals and their synthetic analogues. The structure and implementation methods of system, structure and
functions of principal components are described: the database (more than 10,300 records for more than 4,300 unique phases); a complex of intellectual tools of search and choice of information, including original ones; tools for multimedia presentation of information (multifunctional interactive structures and spectra); the possibilities of processing of spectral information, the means of forming cross-references with external web-resources and the use of auxiliary information. The main problems in the development of ICS are shown, related to the trends in the development of the main WWW browsers, the change of web technologies and security problems.
Keywords: Internet-oriented systems, minerals, crystal chemistry, databases, search criteria, interactive multimedia applets.
Введение
В конце 1997 г. на основе возникших первых средств разработки интерактивных Интернет-ресурсов была задумана и реализована база данных WWW-MINCRYST, ставшая одним из первых интерактивных Интернет- ресурсов в области наук о Земле в России и в мире [1]. Инициатором работ был заведующий группой рентгеноспектрального анализа ИЭМ РАН выдающийся кристаллограф А.В.Чичагов (увы, безвременно ушедший от нас в 2010 году). Целью ресурса стало обеспечение интерактивного Интернет-доступа пользователям к большим массивам минералого-кристаллохимической информации. Фактологической основой WWW-MINCRYST послужили накопленные с 1985 года литературные данные по кристаллическим структурам минералов, сведенные в локальную базу данных Mincryst-PC (на основе литературных источников и авторских аналитических данных — всего около 3500 объектов на момент старта проекта). Далее, на основе базы данных была создана Информационно-вычислительная система (ИВС) WWW-MINCRYST (http://mincryst.iem.ac.ru, http://database.iem.ac.ru/mincryst) с инструментами по интерактивной обработке данных и их анализу. Основы идеологии и технологии ИВС описаны здесь [2-3]. ИВС WWW-MINCRYST изначально опиралась на использование Интернет-технологий и стала одним из пионерских интерактивных научных Интернет-ресурсов как в России, так и в мире (в области наук о Земле). Первый полностью работоспособный вариант WWW интерфейса был создан в рамках гранта РФФИ № 96-07-89162 и представлен пользователям в декабре 1997 года, т.е. ИВС функционирует, развивается и активно востребована пользователями более 20 лет.
Цель создания ИВС WWW-MINCRYST и сопровождающего интерактивного инструментария – обеспечить максимально широкий круг пользователей во всех областях науки, оперирующих с кристаллическим веществом (геология, геохимия, кристаллография, физика твердого тела, физика поверхности, материаловедение и т.д.) наиболее достоверной и актуальной информацией в области структурной кристаллохимии минералов, их синтетических аналогов и элементов, а также дать дополнительный толчок в развитии методов обработки и визуализации кристаллоструктурных данных.
В ходе проекта в состав ИВС вводились программные разработки по обработке кристаллоструктурных и кристаллохимических данных, их анализу и мультимедийной визуализации. За это время ИВС WWW-MINCRYST нарастил свойинформационный фонд почти в 3 раза (почтина 7000 объектов) и по праву вошел в первые ряды рентгеноструктурных и кристаллохимических баз данных, связанных с изучением минерального вещества, как по оценкам пользователей, так и по мнению составителей отраслевых каталогов информационных ссылок.
Базовые компоненты ИВС и техническая реализация
Основным компонентом ИВС WWW-MINCRYST является собственно база данных или Информационный фонд (на апрель 2018 года — более 10200 информационных объектов для почти 4300 уникальных фаз, включая 4000 природных минералов и не менее 300 синтетических фаз, не имеющих пока натуральных аналогов). Информационный объект (карточка) состоит из 4 базовых таблиц с 60 фиксированными и до 130 дополнительными полями (число последних варьирует в зависимости от сложности структуры) и 4 индексированных бинарных файлов. Поддерживается иерархическая система индексов и ряд вспомогательных таблиц. Общий объем базы данных составляет около 590 Мбайт.
Информационный фонд содержит информацию о большинстве минеральных видов (около 4000 из почти 5200 официально признанных на апрель 2018 года International Mineralogy Association – http://www.ima- mineralogy.org/Minlist.htm), кристаллические структуры которых расшифрованы к настоящему времени. Помимо природных минеральных видов, в базе данных представлены синтетические минералы – их структурные аналоги, отличающиеся по составу (например, с заменой одного из катионов), и неорганические соединения (силикаты, фосфаты, бораты и др.), близкие по свойствам к природным веществам. Информационный фонд содержит данные структурных работ из более 130 иностранных и отечественных журналов за период от 1930-х годов по настоящее время. Ежегодный прирост новых или заново переопределенных/уточненных кристаллических структур минералов и их аналогов достаточно значителен, чтобы требовалась постоянная актуализация информационного фонда (в среднем, до 350-450 новых структур в год + 150-200 структур, подвергнутых ревизии и изменениям). В последние годы основной акцент был сделан на новые минералы, активно пополняемые в том числе российскими исследователями.
Пользовательский интерфейс ИВС WWW-МИНКРИСТ представляет собой многоуровневую информационную двуязычную (русский и английский языки интерфейса/компонентов и названия минералов) систему. В интерфейс входят следующие компоненты: (а) комплексные поисковые интерфейсы, использующие как критерии поиска (в различных комбинациях) названия минералов, химический состав, кристаллоструктурные параметры,
литературные ссылки и вспомогательную информацию, причем возможны комбинации поисковых признаков; (б) модули мультимедийного представления информации (интерактивные полиэдрические и шаровые структуры, линейчатые и непрерывные спектры — через Java-апплеты WWW-CrystPic и WWW-MixiPol; (в) классификационные схемы нескольких авторов; (г) модули организации взаимосвязей с внешними информационными ресурсами через систему динамически формируемых ссылок; (д) WWW-ориентированный инструментарий разработчика (включая систему импорта, поверки и редакции данных, а также архивации и резервного копирования).
Технологически ИВС WWW-MINCRYST как web-сервис реализована на
"классической" связке Apache-Mysql-PHP (LAMP) с использованием JavaScript и (для интерактивных апплетов) Java (на базе Sun/Oracle JDK). Размещена ИВС на сервере баз данных ИЭМ РАН, доступ не лимитирован. На старте проекта ИВС WWW-MINCRYST стала в 1998 году (в реализации на ОС Digital Unix) одной из первых интернет-ориентированных баз данных в России, использовавших данную технологию, причем до сих пор она нисколько не потеряла свою технологичность на стороне сервера. В 2004 году ИВС была реализована в среде Linux, в 2015 проведена миграция базы данных с проприетарной СУБД MySQL на свободно распространяемую СУБД MariaDB (https://mariadb.org) для сохранения свободного статуса ИВС. В настоящее время ИВС размещена на сервере со следующими параметрами – CPU Intel Core i5-2400@3.10GHz х 4 ядра, RAM 24 Gb, disk array SSD 128 Gb + 2х2 Tb WD RE 2000, GPU Nvidia Kepler GTX 770, программно – Apache HTTPD server 2.4.6, PHP script language 5.4.16, MariaDB database 5.5.40.
Изначально в теоретической основе ИВС WWW-MINCRYST был положен ряд принципиальных на тот момент "идеологических" моментов.
Ввиду нехватки аналитической информации по поликристаллам минералов был использован синтез информации о кристаллической фазе, рассматриваемой как
"монокристалл" и/или "поликристалл" с заменой экспериментальных поликристалл-стандартов расчетными. Это стало базовой идеей WWW- MINCRYST, существенно расширившей информационную базу сравнительно с чисто аналитической. На базе введенной внешней аналитической информации программный пакет эксперта-разработчика позволяет автоматически сформировать вторую, производную от первой (аналитической), базу расчетных поликристалл-стандартов, проводя синтез двух типов информации о кристаллической фазе. Связка "Кристаллическая структура фазы и ее расчетная поликристалл-рентгенограмма" является информационной основой ИВС WWW-MINCRYST и служит важнейшим инструментарием в руках пользователя. Стержневая идея WWW-MINCRYST о синтезе двух типов кристаллоструктурной информации о кристаллической фазе реализует принципиально новый подход к формированию всей кристаллоструктурной информации о веществе и организации доступа к ней (в отличие от работы только с монокристальной информацией).
Основным источником информации для ИВС служат журнальные статьи.
Извлеченная кристаллоструктурная информация помещается (в соответствии со специальным форматом записи) в ASCII-файл с последующей программной экспертизой (проводимой на локальных ПК) по результатам расчета межатомных расстояний и других кристаллоструктурных характеристик и, в случае положительного решения, импортируется в ИВС специальными средствами одиночного или группового импорта.
Информационная запись для индивидуального кристаллического вещества содержит информацию о названии (в соответствии с классификацией International Mineralogy Association или рекомендациями по наименованию неорганических веществ IUPAC), химическом составе, симметрии, параметрах элементарной ячейки, координатах атомных позиций с изотропными температурными факторами и заселенностями, информацию о межплоскостных расстояниях, HKL-индексах и интенсивностях сильнейших рефлексов рентгенодифракционной картины поликристалл-фазы, а также ссылки на соответствующие публикации по расшифровке или уточнению кристаллической структуры. Запись может быть специфицирована по полезным свойствам, особенностям химического состава и структуры, P-T условиям синтеза, принадлежности к условным минеральным группам. Каждая запись содержит "монокристальные" и "поликристальные" характеристики кристаллической фазы. Минералы классифицированы в соответствии с таксонами структурно-химической систематики минералов А.А. Годовикова, кристаллохимической классификации М. Чириотти, классификации по структурным типам минералов по Г.Б. Бокию. Для 2500 фаз сделаны экспресс- оценки потенциальной энергии кристаллической решетки. В настоящее время создается система расчета содержаний элементов в соответствии с идеальной и реальной формулами минерала.
В ИВС WWW-MINCRYST реализован импорт одобренной экспертами информации через web-интерфейс как в виде единичных записей, так и пакетов записей (до нескольких сот) с входным контролем данных, что позволяет проводить постоянную актуализацию информационного фонда. Также реализована возможность редактирования записей в on-line режиме, их удаления, замены служебных файлов записей, архивации и восстановления базы данных через web-интерфейс.
В ИВС реализована система поиска фаз по отдельным наборам или комплексу критериев: название минерала (полное или частичное, по спецификации, в составе общеупотребительных групп типа цеолитов, алфавитные списки), химический или элементный состав в различных комбинациях (присутствие/отсутствие элементов, их комбинации, устойчивые химические группы, химические классы веществ), кристаллоструктурные характеристики (симметрия, пространственные группы, параметры элементарной ячейки, межплоскостные расстояния d(hkl)), что в сочетании с химическим (элементным) составом дает возможность прямого интерактивного
качественного рентгенофазового анализа по результатам измерений. В систему поиска добавлен поиск по классификационным параметрам нескольких кристаллохимических и структурных классификаций (Годовиков, Чириотти, Бокий). Система поиска по этим параметрам обеспечивает поиск (и группировку) минералов по указанным низшим и промежуточным таксонам классификаций. По ряду параметров поиска ИВС WWW-MINCRYST до сих пор не имеет аналогов среди минералого-кристаллографических баз данных.
В 2017-2018 годах в систему поиска по химическому составу сделаны важные дополнения для поиска по устойчивым сочетаниям элементов (типа анионов/катионов: SO4, CO3; нейтральных групп – H2O, NH3; структурных силикатных мотивов – SiO3, Si2O7, Si3O8 и т.п.), реализована возможность поиска по примесным изоморфным атомам, не отраженным в идеализированных формулах минералов (что важно для рассеянных элементов); улучшены схемы поиска по взаимным критериям «отсутствие- присутствие» элементов. Закончен переход на унифицированную кодировку utf-8 (для внутреннего представления текстовой информации в базе данных и выдачи пользователю), что упрощает работу с современными браузерами и позволяет использовать диакритические знаки в написании оригинальных имен минералов. В модуле WWW-Crystpic исправлен ряд неточностей и замечаний по работе с размножением сверхструктурных элементов, расширены возможности работы с большими (по количеству атомов, до 200, например, в сложных структурах цеолитах) структурами.
По результатам поиска пользователь получает ссылку на список фаз, отвечающих поисковым критериям, с указанием ID записи, названия фазы, формулы и пространственной группы с возможностью последующего перехода по гиперссылке. В случае единичного успешного ответа пользователь сразу автоматически переводится на найденный объект, если найдена группа объектов – предлагается список выбора.
В «карте» найденного объекта представлены основные данные (как хранимые в БД, так и динамически рассчитываемые при формировании
«карты») – название, формула, параметры ячейки, различные кристаллографические данные (кол-во рефлексов, рентгеновские плотности, коэффициенты поглощения); CPDS карта – 20 максимальных рефлексов, их hkl позиции и интенсивности; базовые атомные позиции и их заселенности; полная информационно-расчетная карта (рентгеновские плотности, все рефлексы и т.п.); рассчитанные энергии решетки; принадлежность к различным классификационным схемам; источники данных (ссылки на публикации, поправки и т.п.); автоматически формируемые ссылки на внешние ресурсы и поисковые запросы.
Для всех записей через апплет WWW-Crystpic (пока – Java-3D с использованием библиотек OpenGL) доступны динамически создаваемые интерактивные изображения моделей кристаллических структур в шарах- сферах и в полиэдрических проекциях (до 138 позиций и до 1500(!) атомов на
структуру). Программа позволяет делать всевозможные манипуляции с моделью структуры, включая масштабирование, непрерывное и/или автоматическое дискретное вращение вокруг "экранных" осей X,Y,Z;
ориентацию по кристаллографическим осям, hkl-фрагментацию структуры (на hkl-ориентированные фрагменты толщиной d(hkl)), наращивание элементарных ячеек вдоль любых выбранных направлений для формирования
"сверхструктур" и мотивов, а также прямой "ручной" и автоматизированный для малых полиэдров (тетраэдров и октаэдров) расчет любых межатомных расстояний и углов (плоских и телесных) в структуре. Программа изображает любые полиэдры, включая "дефектные" с необычно малыми ("плохими") межатомными расстояниями. Примеры моделей кристаллических структур (до 600 атомов) приведены на рис.1.
В настоящее время существуют проблемы с работой с внешними библиотеками OpenGL (на которых реализован апплет) и параноидальными настройками безопасности Java 8, которые решаются вмешательством пользователя. Однако из-за этого сейчас крайне необходим перенос апплета на новые программные платформы типа встроенных средств HTML5 или WebGL.
Модуль в виде апплета WWW-Mixipol предназначен для графического представления полных расчетных спектральных профилей поликристалл- рентгенограмм с возможностями манипулирования спектрами для разных источников излучения и разных типов спектральных шкал. Также модуль способен формировать рентгенограммы смесей фаз (до 6 фаз одновременно) при возможности варьирования относительными содержаниями компонентов смеси. Пример расчетных спектров смеси шести фаз приведен на рис.2.
Рис. 1. Примеры интерактивных моделей кристаллической структуры (смешанное представление в шарах и полиэдрах
Рис. 2. Пример комбинации расчетных спектральных профилей поликристалл-рентгенограмм (смесь 6 фаз)
Как для структур, так и для спектров минералов предусмотрены
«упрощенные» варианты представления в виде интерактивных традиционных шаровых структур и линейчатых спектров.
Одной из первых среди научных интернет-ориентированных баз данных для ИВС WWW-MINCRYST была разработана система динамически формируемых перекрестных веб-ссылок для связи объектов с записями для конкретных минералов в ведущих минералогических базах данных в Интернете. Система генерации динамических гиперссылок на внешние информационные ресурсы (на минералогические базы данных и поисковые системы) позволяет "прозрачно" для пользователя подключать внешние массивы данных, используя метод "генеральных" запросов [4]. При этом пользователь сразу получает доступ к информации по интересующему его объекту, минуя стадии поиска или просмотра всей внешней базы. Кроме того, данный механизм реализует обратную связь, позволяя таким же образом ссылаться этим базам уже на наши информационные объекты, что резко повышает востребованность ИВС внешними пользователями.
Наличие в ИВС WWW-MINCRYST данных по 10300 кристаллическим структурам, встроенного расчетного комплекса и развитых средств визуализации позволили помимо возможностей, ориентированных на поиск и предоставление информации, использовать ИВС в разработке нетрадиционных научных подходов к интерпретации и представлению некоторых кристаллических структур. Обработка комплексными SQL запросами массива накопленных данных позволила получить весьма нетривиальные
статистические выборки, например, по распределению в природе минералов среди групп симметрии кристаллов. WWW Xraypol позволил выявить в традиционных структурах возможность гибкого использования полиэдров и почти автоматически формировать различные варианты структурных моделей минералов. Благодаря гибкому использованию полиэдров, позволяющему формировать различные варианты структурных моделей минералов, для части минералов можно нестрого привязываться к традиционному катионно- анионному изображению, а формировать структуры на основе любых атомов, входящих в ее состав. Используется принцип: в ряде случаев кристаллическое пространство можно организовать в смешанном шаровом и полиэдрическом изображении на основе любых (а не общепринятых) атомов в структуре. Метод особенно эффективен для сложных "неправильных" бескислородных структур (фосфиды, сложные сульфиды и др.).
Востребованность WWW-MINCRYST хорошо подтверждается статистикой обращений (за 2017 год – 9,2 млн. успешных единичных запросов, более 110 Гб скачанной информации, более 48000 уникальных сайтов- клиентов), а также большим количеством отзывов, описаний и внешних ссылок на WWW-MINCRYST (см. раздел "Ссылки" на сайте).
О перспективах развития WWW-MINCRYST следует сказать отдельно. В связи с очень быстрым развитием web-технологий и (соответственно) браузеров, необходима кардинальная переработка нынешнего клиентского интерфейса, во многом уже не отвечающего новым технологиям и зачастую неполностью совместимого с новым клиентским ПО (особенно в области web- security и мультимедиа-технологий), а также возросшим требованиям пользователей и возможностям конкурирующих баз данных. Проводится изменение способов представления записей путем сведения разобщенных сейчас полей (основные данные, CPDS карта, атомные позиции, структура, спектры, ссылки и др.) в единое информационное пространство, формируемое на базе динамического HTML. Предусматривается либо переделка и рекомпиляция Java апплетов (в связи с устареванием и неполной совместимостью кода с последними реализациями Java VM и из-за параноидальной, на наш взгляд, модели безопасности Java 8), так и их замена на модули, использующие мультимедийные технологии стандартов Javascript, WebGL из-за прекращения автоматической поддержки Java в браузерах (на основе авторского расчетного кода). Также изменяются в сторону повышения дружелюбности и простоты дизайн и элементы управления предоставляемой информации. Проводится пополнение базы данных дополнительной геолого- минералогической информацией (реальные составы минералов, фото минералов, рисунки кристаллографических форм, геоинформационные данные). Проходит усовершенствование интерфейса разработчиков для ввода, проверки и редактирования исходных данных для упрощения пополнения и ревизии данных. Также в процессе создания единый поисковый интерфейс в отличие от ныне разобщенных поисковых страниц (химический состав,
кристаллографические параметры, имена минералов и т.п.), с возможностью создания комплексных запросов с включением /исключением поисковых критериев, а такжепотенциально новых типов поисковых запросов.
ИВС WWW-MINCRYST является общедоступным, дружелюбным пользователю интерфейсом к большому массиву кристаллоструктурной и кристаллохимической информации с развитыми средствами поиска, представления и обработки и может служить мощным инструментарием для всех исследователей в минералогии, кристаллографии, физике твердого тела, материаловедении и прочих смежных областях науки.
Проведение работ по ИВС WWW-MINCRYST в течение 1997-2017 годов было поддержано 6 грантами РФФИ.
Литература
1. A.V. Chichagov, D.A. Varlamov, R.A. Dilanyan, T.N.Dokina, N.A. Drozhzhina, O.L. Samokhvalova, and T.V. Ushakovskaya. MINCRYST: a Crystallographic Database for Minerals, Local and Network (WWW) Versions // Crystallography Reports, 2001, v.46, 5, pp.876-879
2. А.В. Чичагов, Д.А. Варламов, Е.В. Ершов, Т.Н. Докина, Н.А. Дрожжина, О.Л. Самохвалова Кристаллографическая и кристаллохимическая база данных для минералов и их структурных аналогов (WWW-MINCRYST) //
Записки РМО, 2007, т.136, № 3, с.135-141
3. Д.А. Варламов, Т.Н. Докина, Н.А. Дрожжина, О.Л. Самохвалова WWW- MINCRYST: Интернет-ориентированная информационно- вычислительная система по кристаллографии и кристаллохимии минералов // Вестник ЮУрГУ, Сер. «Вычислительная математика и информатика», 2013, т.2, вып.1, с.26-32
4. П.Ю.Плечов, Д.А.Варламов, С.В.Трусов Типы информационных потоков в области наук о Земле // Научный сервис в сети Интернет, изд-во МГУ, 2002, с.142-144.
5. Д.А. Варламов, Т.Н. Докина, Н.А. Дрожжина, О.Л. Самохвалова 20 лет развития Web-ориентированной ИВС WWW-MINCRYST по кристаллохимии и минералогии. Что впереди? // Научный сервис в сети Интернет: труды XIX Всероссийской научной конференции (18-23 сентября 2017 г., г. Новороссийск). - М.: ИПМ им. М.В.Келдыша, 2017.
(480 с.) с.88-97 doi:10.20948/abrau-2017
References
1. A.V. Chichagov, D.A. Varlamov, R.A. Dilanyan, T.N.Dokina, N.A. Drozhzhina, O.L. Samokhvalova, and T.V. Ushakovskaya. MINCRYST: a Crystallographic Database for Minerals, Local and Network (WWW) Versions // Crystallography Reports, 2001, Volume 46, Issue 5, pp.876-879
2. A.V. Chichagov, D.A. Varlamov, E.V. Ershov, T.N. Dokina, N.A. Drozhzhina, O.L. Samokhvalova. Kristallograficheskaia i kristallokhimicheskaia baza dannykh dlia mineralov i ikh strukturnykh analogov (WWW-MINCRYST) //
Zapiski RMO, 2007, t.136, № 3, s.135-141
3. D.A. Varlamov, T.N. Dokina, N.A. Drozhzhina, O.L. Samokhvalova. WWW- MINCRYST: Internet-orientirovannaia informatsionno-vychislitelnaia sistema po kristallografii i kristallokhimii mineralov // Herald of South-Urals State University, Ser. «Vychislitelnaia matematika i informatika», 2013, t.2, vyp.1, s.26-32
4. P.Iu.Plechov, D.A.Varlamov, S.V.Trusov. Tipy informatsionnykh potokov v oblasti nauk o Zemle // Nauchnyi servis v seti Internet, izd-vo MGU, 2002, s.142- 144.
5. D.A. Varlamov, T.N. Dokina, N.A. Drozhzhina, O.L. Samokhvalova. 20 let razvitiia Web-orientirovannoi IVS WWW-MINCRYST po kristallokhimii i mineralogii. Chto vperedi? // Nauchnyi servis v seti Internet: trudy XIX Vserossiiskoi nauchnoi konferentsii (18-23 sentiabria 2017 g., Novorossiisk). - M.: IPM im. M.V.Keldysha, http://keldysh.ru/abrau/2017/64.pdf doi:10.20948/abrau-2017-64
