В СПбГУПТД разработали программу на основе искусственного интеллекта, которая помогает восстанавливать поврежденные архивные документы. Технология предназначена для случаев, когда в старых материалах утрачены части текста, нарушена структура страницы или ухудшилось качество изображения.
Система состоит из двух основных модулей. Визуальный отвечает за диагностику повреждений и подготовку скана, а лингвистический занимается распознаванием символов и восстановлением содержания с учетом исходного контекста и стиля.
По данным ТАСС, одной из особенностей программы стала работа с многоколоночными архивными изданиями. Для этого ученые обучили языковую модель учитывать расположение разных блоков на странице и корректно определять последовательность текста.
Дополнительное обучение проводилось на газете «Кадры стране» за 1968 год, выпускавшейся Ленинградским институтом текстильной и легкой промышленности имени С. М. Кирова. Благодаря этому система лучше распознает типографские особенности той эпохи, характерные дефекты печати, сокращения и старые орфографические нормы.
Перед распознаванием программа очищает изображение: повышает контрастность, устраняет мелкие разрывы и отделяет текст от пожелтевшего фона. Затем OCR-движок распознает символы, а языковая модель восстанавливает слова, поврежденные физически или разделенные дефисами.
Разработка ориентирована на архивы, библиотеки и исследователей, работающих с массовой оцифровкой исторических фондов. В дальнейшем технологию планируют адаптировать для восстановления поврежденных договоров, завещаний, писем и страховых документов.