IBM и Евросоюз сотрудничают в проекте по созданию технологии для крупномасштабной оцифровки европейских исторических текстов / Видео

Исследовательский проект IMPACT, финансируемый Евросоюзом, сочетает в себе возможности нового инновационного Web-ориентированного программного обеспечения для адаптивного оптического распознавания символов (OCR) с мощью технологии "crowd computing" – быстроразвивающейся концепции, основанной на совместном использовании коллективных знаний, навыков и опыта многочисленных групп людей (или «толп» людей) для расширения, углубления и совершенствования процесса или продукта с целью коренного улучшения его качества и эффективности. Объединение этих технологий позволит заинтересованным сторонам впервые адаптировать процедуры оцифровки и распознавания текста к особенностям древних шрифтов, к искажениям и аномалиям, и даже к специфическим терминологиям и лексиконам – при сокращении показателей частоты появления ошибок на 35% и частоты замещений и подстановок символов и сочетаний символов на 75%.

«IMPACT замечателен тем, что он не только дает этим знаменитым культурным центрам возможность поближе познакомить людей с редчайшими историческими текстами, которых они, возможно, никогда не видели раньше, но также реально позволяет этим людям стать частью процесса сохранения этого наследия, — считает доктор Тал Дрори (Tal Drory), руководитель группы обработки документов в отделении IBM Research в Хайфе. — IMPACT предлагает первую в своем роде систему преобразования текста в цифровую форму, которая сочетает мощь технологии "crowd computing" и адаптивного OCR-решения для распознавания и корректуры оцифрованного текста. Такая комбинация позволяет достичь выдающихся результатов для всех видов исторических документов, от 15 века до 19 века».

OCR-технологии сегодня прекрасно справляются с современными печатными текстами, однако старые выцветшие чернила и типографская краска, необычная форма древних шрифтов способны снизить показатели распознавания текста до 50%, что потребует большого объема последующих ручных операций вычитки и правки. Следовательно, для крупномасштабных проектов подобно этому, эффективность последующей обработки оцифрованного текста является критически важным условием. «Единственным путем осуществления крупномасштабного проекта по преобразованию текстов в цифровую форму является коренное улучшение качества первоначального оптического распознавания текста и максимально возможное сокращение последующей ручной обработки, — подчеркнула Хильделиз Балк (Hildelies Balk), руководитель отдела европейских проектов Национальной библиотеки Нидерландов (Koninklijke Bibliotheek) и координатор проекта IMPACT. — С помощью IMPACT мы надеемся достичь значимого улучшения продуктивности процесса оцифровки текстов».

В основе проекта оцифровки лежит уникальная система коллективной корректуры, разработанная исследователями IBM, которая через интерактивный Web-интерфейс облегчает большим группам добровольцев-корректоров со всего континента проверку правильности обработки текста и исправление ошибок оптического распознавания. Кроме того, система обладает способностью «обучаться» на обнаруженных OCR-ошибках и автоматически адаптироваться к специфике шрифтов. 

Технология IMPACT оптимизирует, упрощает и ускоряет процесс исследования отсканированного текста и отбора спорных (сомнительных) участков, предоставляя корректорам возможность эффективно править текст. Вместо отображения полного текста оцифрованной страницы корректоры видят только буквы или слова, помеченные как спорные. Например, комбинация букв "r"  и  "n" ("rn") может быть неотличима от буквы "m". В подобных случаях система отбирает многие встречающиеся в тесте варианты использования буквы "m" и размещает эти примеры рядом со «спорными» буквами. Данная методика существенно облегчает правильное определение букв в словах текста.

В случаях, когда неочевидным является целое слово, оно добавляется в специальный словарь спорных выражений, которые отсортировываются в алфавитном порядке. Добровольным корректорам нужно лишь «одним щелчком мыши» принять или отвергнуть предлагаемые замены-подставновки. Кроме того, система использует метод адаптивного расширения словаря, когда новые слова добавляются в основной словарь на основе кросс-идентификации и правки другими пользователями.

Так, например, текст небольшой книжки, который «набивается» вручную на компьютере, в среднем, за четыре часа, можно оцифровать с помощью стандартной OCR-технологии и вручную откорректировать за час. Внедрение новой технологии коллективной корректуры сокращает этот процесс до 30 минут. Исследователи IBM отмечают, что новая адаптивная система оптического распознавания текста может дополнительно снизить это время еще на 15 минут.     

Исследователи IBM Research из Хайфы обладают опытом разработки уникальных методик OCR, эффективность которых подтверждена годами использования – от инструментов, помогающих отслеживать, классифицировать и категоризировать сообщения и пакеты крупных почтовых служб, до решений по оптимизации считывания символов на номерных знаках автомобилей в системах дорожных сборов как меры борьбы с транспортными перегрузками в крупных городах (congestion pricing). IMPACT, вероятно, является первой реальной попыткой разработать адаптивный механизм оптического распознавания текста, специально предназначенный для создания массовых цифровых библиотек.

О консорциуме IMPACT

В консорциум партнеров проекта IMPACT входят, среди прочих, следующие организации: исследовательский центр IBM в Хайфе, Израиль (IBM Research – Haifa); Национальная библиотека Нидерландов (Koninklijke Bibliotheek); Британская библиотека (British Library); Австрийская национальная библиотека (Österreichische Nationalbibliothek); Университет города Инсбрук, Австрия (Universität Innsbruck); Немецкая национальная библиотека (Deutsche Nationalbibliothek); Баварская государственная библиотека (Bayerische Staatsbibliothek); Государственная и университетская библиотека города Геттинген (Staats- und Universitätsbibliothek Göttingen), Германия; компания ABBYY Production; Институт лексикологии в Лейдене (Instituut voor Nederlandse Lexicologie), Нидерланды; Национальный научно-исследовательский центр "Demokritos" (National Centre for Scientific Research "Demokritos") в Афинах, Греция; Центр информационной и языковой обработки текста (Centrum für Informations- und Sprachverarbeitung) при Мюнхенском университете (University of Munich), Германия; Университет города Бат (University of Bath), Великобритания; Университет города Солфорд (University of Salford), Великобритания; Национальная Библиотека Франции (Bibliothèque Nationale de France); Национальная библиотека Испании (Biblioteca Nacional de España); и Центр высокопроизводительных вычислений и сетей города Познань (Poznan Supercomputing and Networking Center), Польша.