Концепция реализации Автоматизированной системы

Настоящая концепция предназначена для систематизированного изложения целей и задач, основных принципов построения, организационных, технологических и процедурных аспектов разработки и внедрения Автоматизированной системы обработки больших данных по Солдатам Великой Отечественной войны 1941–1945 гг. (далее по тексту — Автоматизированная система, Система), в рамках Проекта «Солдаты возвращаются с Войны». Документ также включает план поэтапной реализации Автоматизированной системы.

Концепция разработана на основе информации о существующих источниках данных о солдатах, гражданах СССР, участвующих в Великой Отечественной войне, а также современных информационных технологий, в том числе подходов обработки больших данных (Big Data)

Основными целями разработки Концепции являются:

• определение общих требований к автоматизированной системе;
• определение информационных компонентов и интеграционной архитектуры;
• определение основных шагов и приоритетов при внедрении системы

В настоящее время существует несколько источников данных, содержащих информацию о солдатах СССР, участвовавших в Великой Отечественной войне, как открытых, например интернетпорталов http://podvignaroda.ru/, https://pamyat-naroda.ru/, так и документов центрального архива Министерства обороны и архива ФСБ России, касающихся перемещений личного состава армии и флота, а также документов о военнопленных, находящихся в «Саксонском мемориале» и Deutsche Deinststelle

Существующие информационные системы, порталы и сайты, предоставляющие информацию о солдатах, воевавших в Великой Отечественной войне, содержат сведения о наградах и документах военнослужащих, местоположении событий и боевых операциях, воинских захоронениях, воинских частей и их документах, а также другую информацию. При этом для целей определения перемещений и места гибели солдат этой информации недостаточно, поскольку значительная часть официальных данных, а также информации из личных архивов (воспоминания, письма) находится в рукописном виде и не обработана, отсутствует единая информационная база, включающая данные архивов Министерства обороны и ФСБ России, отсутствует система интеллектуального анализа и поиска информации.

На основе анализа имеющихся информационных ресурсов, а также существующих запросов как официальных органов власти, так и родственников солдат, погибших в Великой отечественной войне, по уточнению предположительных мест их гибели, формулируются основные цели создания Автоматизированной системы:

− унификация сведений о гражданах СССР, солдатах, погибших в Великой Отечественной войне 1941–1945 гг.;
− облегчение поиска информации о перемещении личного состава армии и флота;
− уточнение предположительных мест гибели солдат, значащихся пропавшими без вести, и идентификация захороненных в могилах неизвестных солдат.

В соответствии с вышеперечисленными целями, основными задачами Автоматизированной системы являются следующие:

− сбор и интеграция структурированной и неструктурированной информации о военнослужащих из различных существующих источников;
− обработка и упорядочивание информации о военнослужащих и их перемещении во время Великой Отечественной войны;
− анализ информации и определение предполагаемого места гибели солдат;
− визуализация перемещений воинских подразделений и отдельных солдат на основе загруженной информации и её анализа;
− предоставление аналитической отчётности с детализацией информации до каждого военнослужащего на основе загруженной информации;
− обмен и обогащение информации о военнослужащих через специализированную социальную сеть;
− доступ к информации Системы через открытый портал в сети Интернет, с разграничением доступа.

С учётом того, что для реализации Системы предполагается использование технологий Big Data и искусственного интеллекта, значительное внимание должно быть уделено таким этапам проекта как анализ существующих данных, проектирование архитектуры системы в том числе с учётом требований по быстродействию обработки и поиска информации, построение и обучение алгоритмов интеллектуального анализа и поиска информации (нейронных сетей)

Направления работ:

1. выбор и адаптация платформы для сканирования, распознавания и оцифровки рукописных и печатных документов;
2. построение экосистемы Big Data для загрузки, хранения и обработки данных по военнослужащим и их перемещениям;
3. разработка и обучение интеллектуальных алгоритмов с использованием технологий искусственного интеллекта;
4. построение информационного портала с визуализацией информации;
5. реализация специализированной социальной сети

Этапы реализации автоматизированной системы:

1. сбор, формализация и анализ требований;
2. проектирование архитектуры и уточнение программных компонентов Системы и их интеграции;
3. разработка подсистем, в том числе обучение интеллектуальных алгоритмов поиска и анализа информации;
4. тестирование подсистем, как компонентное, так и интеграционное, а также нагрузочное тестирование;
5. подключение источников данных для выполнения первоначальной загрузки информации для наполнения BigData хранилища;
6. опытная эксплуатация Системы и принятие решения о переводе в промышленную эксплуатацию;
7. сопровождение, включая обеспечение наполнения поступающей информации из существующих и новых текстовых источников.

Архитектура Автоматизированной системы

Автоматизированная система должна:
− обеспечивать загрузку большого количества информации (до 40 миллионов записей) о военнослужащих СССР, участвовавших в Великой Отечественной войне из различных источников данных;
− иметь функционал распознавания печатных и рукописных текстов;
− хранить как структурированную, так неструктурированную информацию о военнослужащих;
− обладать интеллектуальными алгоритмами объединения информации о перемещениях военнослужащих, с целью определения предполагаемого места их гибели, а также функционал визуализации данной информации на географических картах;
− обеспечивать функционал социальной сети для обмена информацией между пользователями Автоматизированной системы и уточнения содержащейся информации по военнослужащим, их перемещениям и предполагаемом месте их гибели; − обладать функционалом поисковых и аналитических запросов.

Источники информации

Таким образом, концептуальная архитектура Автоматизированной системы выглядит следующим образом:

С учётом приведённых требований, а также с учётом приоритетности использования отечественных и/или open source продуктов, предлагается использовать следующие программные платформы для реализации Системы: Arenadata Hadoop в качестве Big Data платформы для загрузки, хранения и обработки информации; платформу Abbyy для распознавания текстов; открытые картографические сервисы (например, OpenStreetMap); платформы для интеллектуального поиска текстовых данных (например, ElasticSearch или SOLR) и его обработки с помощью технологий глубокого машинного обучения/нейронных сетей (например на основе библиотеки Tensorflow Python).

Информационный портал

хранилище о военнослужащих и их передвижениях

Big Data

Подсистема распознования текстов

Подсистема загрузки информации

Специализированная социальная сеть

Подсистема визуализации о передвижениях

Информационно-аналитическая подсистема

Подсистема интеллектуального анализа текстовой информации

Подсистема поиска информации о передвижениях

Поскольку Система должна обрабатывать большое количество информации, а также предоставлять пользовательские интерфейсы для анализа и визуализации информации, то видится важным организовать службу сопровождения Системы, основными задачами которой будут следующие:

Таким образом, в службу сопровождения должны входить специализированные аналитики по Системе, разработчики и инженеры Big Data, а также специалисты по машинному обучению.
Развитие Системы предполагается, как с точки зрения подключения новых источников информации, таких как «Саксонский мемориал» и Deutsche Deinststelle, так и с точки зрения развития модели данных хранилища, расширения аналитических возможностей платформы и визуализации информации, в зависимости от потребностей.

Обеспечение бесперебойного, в рамках согласованного SLA, функционирования Системы

01

Загрузка вновь поступающей информации в дополнение к изначально загруженной в Big Data хранилище

02

Контроль работы интеллектуальных алгоритмов и дополнительное их обучение

03

Модерирование специализированной социальной сети и обработка поступающей через неё информации

04

Приём заявок пользователей по функционированию Системы, их анализ и корректировка программного обеспечения Системы при необходимости

05

Предварительный анализ поставленных перед Автоматизированной системой целей и задач показывает, что использование технологий Big Data и искусственного интеллекта позволит объединить разрозненную информацию о военнослужащих, в том числе погибших в период Великой отечественной войны, в единое информационное пространство. Тем самым Система даст возможность существенным образом повысить точность определения места гибели без вести пропавших солдат Великой отечественной войны, идентифицировать захороненных в братских могилах неизвестных солдат, а также создаст сообщество, объединяющее родственников погибших солдат, однополчан, военных историков и других заинтересованных групп людей.