Добрый день.

Наверное, каждый из нас сталкивался с задачей, когда нужно перевести бумажный документ в электронный вид. Особенно это часто нужно делать тем кто учиться, работает с документацией, переводит тексты при помощи электронных словарей и т.д.

В этой статье мне хотелось бы поделиться некоторыми азами этого процесса. Вообще, сканирование и распознавание текста —  довольно трудоемко, так, как большинство операций придется делать вручную. Мы попытаемся разобраться по шагам, что, как и почему.

Не все сразу понимают одну вещь. После сканирования (пригона всех листов на сканере) у вас будут картинки формата BMP, JPG, PNG, GIF (могут быть и другие форматы). Так вот с этой картинки нужно получить текст — это процедура называется распознаванием. В таком порядке и будет изложение ниже.

1. Что нужно для сканирования и распознавания?

1) Сканер

Для перевода печатных документов в текстовый вид, вам для начала нужен сканер и соответственно, «родные» программы и драйверы, которые с ним шли. При помощи них можно будет сканировать документ и сохранить его для дальнейшей обработки.

Можно воспользоваться и другими аналогами, но софт, который шел со сканером в комплекте, обычно работает быстрее и имеет больше опций.

В зависимости от того, какой у вас сканер — скорость работы может существенно различаться. Есть сканеры, которые могут получить картинку с листа за 10 сек., есть которые будут получать за 30 сек. Если сканируете книгу  на 200-300 листов — думаю, не трудно подсчитать во сколько раз будет разница во времени?

2) Программа для распознавания

В нашей статье я буду показывать вам работу в одной из лучших программ для сканирования и распознавания абсолютно любых документов — ABBYY FineReader. Т.к. программа платная, то сразу дам ссылку и на другую — ее бесплатный аналог Cunei Form. Правда, я бы не стал их сравнивать, ввиду того, что FineReader выигрывает по всем параметрам, рекомендую все же попробовать именно ее.

ABBYY FineReader 11

Официальный сайт: http://www.abbyy.ru/

Одна из лучших программ в своем роде. Она предназначена для того, чтобы распознать текст на картинке. Встроено множество опций и функций.

Может разобрать кучу шрифтов, поддерживает даже рукописные варианты (правда, лично не пробовал, думаю, хорошо вряд ли будет распознавать рукописный вариант, если только у вас не идеальный каллиграфический почерк).

Более подробно о работе с ней будет рассказано ниже. Здесь же отметим, что в статье будет рассказано о работе в программе 11 версии.

Как правило, разные версии  ABBYY FineReader не сильно отличаются друг от друга. Вы без труда сделаете то же самое и в другой. Главные отличия могут быть в удобстве, быстроте работы программы и ее возможностях. Например, более ранние версии отказываются открывать документ PDF и DJVU…

3) Документы для сканирования

Да, вот так вот, решил вынести документы отдельной графой. В большинстве случаев сканируют какие-нибудь учебники, газеты, статьи, журналы и пр. Т.е. те книги и ту литературу которая пользуется спросом.

Я это к чему веду? Из личного опыта могу сказать, что многое, что вы захотите сканировать — возможно уже есть в сети!  Сколько раз лично я экономил время, когда находил ту или иную книгу уже сканированную в сети.

Мне оставалось только скопировать текст в документ и продолжить с ним работу.

Из этого простой совет — прежде чем что-то сканировать, проверьте, может уже кто-то отсканировал и вам не нужно терять свое время.

2. Параметры сканирования текста

Здесь я не будут рассказывать о ваших драйверах для сканера, программах, которые вместе с ним шли, ибо все модели сканеров разные, ПО тоже везде разное и угадать и тем более показать наглядно как выполнять операцию — нереально.

Но во всех сканерах есть одни и те же настройки, которые сильно могут повлиять на скорость и качество вашей работы. Вот о них таки как раз и поговорим здесь. Буду перечислять по порядку.

1) Качество сканирования — DPI

Во-первых, качество сканирования поставьте в опциях не ниже 300 DPI. Желательно даже выставить побольше, если это возможно. Чем выше показатель DPI — тем четче получиться ваша картинка, ну и тем самым, быстрее пройдет дальнейшая обработка. К тому же чем выше качество сканирования — тем меньше ошибок вам в последствии придется исправлять.

• Оптимальный вариант обеспечивает, обычно, 300-400 DPI.
• 2) Цветность
• Этот параметр очень сильно влияет на время сканирования (кстати, DPI тоже влияет, но те так сильно, и только когда пользователь ставит высокие значения).
• Обычно выделяют три режима:
• — черно-белый (отлично подойдет для простого текста);
• — серый ( подойдет для текста с таблицами и картинками);
• — цветной (для цветных журналов, книг, в общем, документов, где важна цветность).
• Обычно от выбора цветности зависит время сканирования. Ведь если документ у вас большой, то даже лишние 5-10 секунд на странице в целом выльются в приличное время…
• 3) Фотографии

Документ вы можете получить не только сканированием, но и сфотографировав его. Как правило, в этом случае у вас будут некоторые другие проблемы: искажение картинки, смазанность. Из-за этого может потребоваться более длительная дальнейшая правка и обработка полученного текста. Лично я не рекомендую пользоваться фотоаппаратами для этого дела.

Важно отметить, что не каждый такой документ получится распознать, т.к. качество сканирования у него может быть крайне низким…

3. Распознавание текста документа

Будем считать, что заветные сканированные страницы вы получили. Чаще всего они представляют собой форматы: tif, bmb, jpg, png. В общем-то, для ABBYY FineReader — это не сильно важно…

После открытия в ABBYY FineReader картинки, программа, как правило, на автомате начинает выделять области и распознавать их. Но иногда она делает это не правильно. Для этого-то мы и рассмотрим выделение нужных областей вручную.

Важно! Не все сразу понимают, что после открытия документа в программе, слева в окне отображается исходный документ, в котором вы и выделяете различные области. После нажатия на кнопку «распознавания» программа в окне справа выведет вам готовый текст. После распознавания, кстати, целесообразно проверить текст на ошибки в том же самом FineReader.

3.1 Текст

Эта область используется для выделения текста. Картинки и таблицы нужно исключать из нее. Редкие и необычный шрифты придется вводить вручную…

Для выделения текстовой области, обратите внимание на панель в верхней части FineReader. Там есть кнопка «Т» (см. скриншот ниже, указатель мышки как раз на этой кнопке).

Щелкаете по ней, затем на картинке ниже выделяете аккуратно прямоугольную область, в которой располагается текст. Кстати, в некоторых случаях нужно создавать текстовых блоков по 2-3, а иногда по 10-12 на страницу, т.к.

форматирование текста может быть разным и одним прямоугольником всю область не выделить.

Важно отметить, что в текстовую область не должны попадать картинки! В дальнейшем это вам сэкономит кучу времени…

3.2 Картинки

Используется для выделения картинок и тех областей, которые тяжело распознать из-за плохого качества, или необычности шрифта.

На скриншоте ниже указатель мышки находится на кнопке, используемой для выделения области «картинка». Кстати, в эту область можно выделить абсолютно любую часть страницы, а FineReader вставит ее потом в документ как обычную картинку. Т.е. просто «тупо» скопирует…

Обычно эту область используют для выделения плохо отсканированных таблиц, для выделения нестандартного текста и шрифта, само-собой картинок.

3.3 Таблицы

На скриншоте ниже показана кнопка для выделения таблиц. Вообще, лично я ее использую крайне редко.

Дело в том, что вам придется довольно рутинно рисовать (фактически) каждую линию на таблице и показывать что и как программе.

Если таблица небольшая и в не очень хорошем качестве, я рекомендую для этих целей использовать область «картинка». Тем самым сэкономите кучу времени, а таблицу можно потом в Word сделать быстренько на основе картинки.

3.4 Ненужные элементы

Важно отметить. Иногда на странице есть ненужные элементы, которые мешают распознать текст, или вообще не дают вам выделить нужную область. Их можно при помощи «ластика» удалить вовсе.

Для этого переходим в режим редактирования изображения.

Выбираем инструмент «ластик» и выделяем ненужную область. Она сотрется и на ее месте будет белый лист бумаги.

Кстати, рекомендую использовать вам эту опцию как можно чаще. Старайтесь все текстовые области которые вы выделили, где вам не нужен кусок текста, или присутствуют любые ненужные точки, размытости, искажения — удалять ластиком. Благодаря этому распознавание будет быстрее!

4. Распознавание файлов PDF/DJVU

Вообще, этот формат распознавания не будет отличаться ничем другим от остальных — т.е. работать с ним можно так же как с картинками. Единственное, программа не должна быть слишком старой версии, если файлы PDF/DJVU у вас не открываются — обновите версию до 11.

Небольшой совет. После открытия документа в FineReader — он автоматически начнет распознавать документ. Часто в файлах PDF/DJVU определенная область страницы не нужна во всем документе! Чтобы удалить такую область на всех страницах сделайте следующее:

1. Зайдите в раздел редактирования изображения.

2. Включите опция «обрезки».

3. Выделите область, нужную вам на всех страницах.

4. Нажмите применить ко всем страницам и обрежьте.

5. Проверка ошибок и сохранение результатов работы

Казалось бы, какие еще могут быть проблемы, когда все области были выделены, затем распознаны — бери да сохраняй… Не тут то было!

Во-первых, нужна проверка документа!

Чтобы ее включить, после распознавания, в окне справа, будет кнопка «проверка», см. скриншот ниже. После ее нажатия программа FineReader будет автоматически показывать вам те области, где у программы возникли ошибки и она не смогла достоверно определить тот или иной символ. Вам останется только выбирать, либо вы согласны с мнением программы, либо вводите свой символ.

Кстати, в половине случаев, примерно, программа будет вам предлагать готовое правильное слово — вам останется толкьо мышкой выбрать нужный вариант.

Во-вторых, после проверки вам нужно выбрать формат, в который вы сохраните результат своей работы.

Здесь FineReader дает вам развернуться на полную катушку: можно просто передать информацию в Word один в один, а можно сохранить ее в одном из десятков форматов. Но хотелось бы выделить другой важный аспект. Какой формат бы не выбрали, более важно выбрать тип копии! Рассмотрим самые интересные варианты…

 Точная копия

Все области, которые вы выделяли на странице в распознанном документе будут соответствовать точь в точь исходному документу. Очень удобный вариант, когда вам важно не потерять форматирование текста. Кстати, шрифты так же будут очень похожи на оригинал. Рекомендую при таком варианте передавать документ в Word, чтобы уже там продолжить дальнейшую работу.

Редактируемая копия

Этот вариант хорош тем, что вы получите уже форматированный вариант текста. Т.е. отступов с «километр», которые возможно были в исходном документе — вы не встретите. Полезная опция, когда вы будете значительно редактировать информацию.

Правда, не стоит выбирать, если вам важно сохранить стилистику оформления, шрифты, отступы. Иногда, если распознавание прошло не очень успешно — ваш документ может «перекосить» из-за измененного форматирования. В этом случае целесообразно выбрать точную копию.

Простой текст

Вариант для тех, кому нужен просто текст со странице без всего остального. Подойдет для документов без картинок и таблиц.

На этом статья по сканированию и распознаванию документа подошла к концу. Надеюсь, что при помощи этих простых советов вы сможете решить свои задачи…

Удачи!

Распознавание документов: как уменьшить бухгалтерскую рутину

Почему у бухгалтеров так много рутины? Как увеличить скорость работы с помощью сервиса 100%-ного распознавания документов от Directum? Какие документы способен распознать интеллектуальный сервис?

Подруга моей мамы, Ольга Юрьевна, работает бухгалтером в крупной производственной компании. Отличная зарплата, хороший коллектив, карьерный рост… Картину маслом портит один-единственный факт — в работе много рутины.

В месяц отдел бухгалтерии обрабатывает около 10 000 документов, то есть в день по 95. На обработку и занесение в учетную систему одного комплекта (счет-фактура, товарная накладная, счет на оплату) Ольга Юрьевна тратит 12 минут.

Суммарно коллективу бухгалтеров нужно 19 часов только на обработку входящей первички. Прибавьте ко всему исправление опечаток, ошибок и других неточностей, которые всплывают при занесении, и получите еще несколько часов сверху.

Объем документов с годами только увеличивается, а быстрее работать Ольга Юрьевна не может. Ее физический потолок это 120 документов в день, но и то на пределе возможностей.

https://www.youtube.com/watch?v=OgE1idUwcBY\u0026pp=ygVI0JrQsNC6INGA0LDRgdC_0L7Qt9C90LDRgtGMINGC0LXQutGB0YIgLSDQntGC0LLQtdGCINCR0YPRhdCz0LDQu9GC0LXRgNCw

История грустная и типичная для бухгалтеров, но не безнадежная. В статье рассказываю, почему.

Приятно познакомиться: интеллектуальное распознавание бухгалтерских документов

Качественно и в срок обработать 10 000 первичных документов в месяц — это реально. Но не без помощи сервисов распознавания. Как раз об одном из них — сервисе 100%-ного распознавания от Directum — я расскажу.

Основная задача этого инструмента — сэкономить время сотрудника и сократить финансовые затраты компании на занесение документов в информационные системы. Другими словами, это интеллектуальный помощник специалиста, который работает 24 часа в сутки, не уходит на больничный или в отпуск, не просит повышения зарплаты.

Оценят «дружбу» с сервисом 100%-ного распознавания все те сотрудники, которые регулярно сталкиваются с рутиной по вводу документов:

• бухгалтеры и специалисты, работающие с первичной документацией;
• секретари приемных и делопроизводители, принимающие входящую корреспонденцию;
• юристы и специалисты договорного отдела, занимающиеся вводом в систему и обработкой договоров;
• менеджеры, коммуницирующие с контрагентами и получающие от них документы разных форматов.

Благодаря интеллектуальному помощнику специалисты в 2-3 раза сокращают трудозатраты на занесение документов и избавляются от ошибок/опечаток, которые ранее были возможны по причине человеческого фактора.

Что еще умеет сервис 100%-ного распознавания:

• идентифицировать вид документа и извлекать из него реквизиты;
• проверить комплектность документов;
• проверить наличие необходимого количества печатей и подписей;
• сопоставлять номенклатуру с заказом;
• предсказывать статью затрат.

Какие документы распознаёт сервис?

Любые. И не важно, формализованные они или нет. Вот лишь краткий перечень:

• счета на оплату;
• товарные накладные;
• акты выполненных работ;
• УПД;
• счета-фактуры;
• бухгалтерский баланс;
• договоры и дополнительные соглашения;
• письма;
• приказы;
• обращения граждан.

Важная отличительная особенность сервиса в том, что он обрабатывает даже рукописные или нестандартные виды документов, например, договоры с нетиповым составом полей или чертежи. При необходимости можно настроить распознавание под индивидуальные требования компании, указав список извлекаемых реквизитов в зависимости от документа.

Собрал самые распространенные форматы и типы документов, с которыми умеет работать сервис 100%-ного распознавания:

• PDF, в том числе многостраничные;
• одностраничные и многостраничные изображения в формате TIFF;
• фотографии и скан-копии в формате JPEG, PNG, BMP;
• документы Word, Excel, OpenDocument;
• архивы в формате ZIP, RAR, 7ZIP, в которых содержатся файлы указанных выше форматов.

Как работает сервис?

Не буду грузить сложными терминами и техническими подробностями. Расскажу простыми словами.

Всё начинается с того, что документ приходит в организацию. Если он поступает в бумажном виде, сначала его сканируют (вручную). Если по электронной почте или через системы обмена (например, Диадок, СБИС) — то внутренние сервисы автоматически забирают документы на распознавание.

Обработка идет по этапам:

1. Интеллектуальные механизмы распознают текст, классифицируют документы по типам и извлекают из содержимого факты.

2. На основании обработанной информации формируется и отправляется задание на проверку верификаторам.

3. Верификаторы проверяют результаты машинной обработки и при необходимости дозаполняют нераспознанные реквизиты. В целях безопасности они не видят всего объема данных, так как информация передается им частями.

4. Через интеграцию полностью распознанные документы передаются в учетную систему. Схематично обработка документа в сервисе 100%-ного распознавания выглядит так:

Как подключиться к сервису?

Есть два способа.

1. Если вы — пользователь системы Directum RX, то ваш вариант — готовый коннектор для подключения к сервису. Коннектор бесплатный, его настройка занимает 1-2 часа.
2. Если вы используете другую систему электронного документооборота, ваш вариант — настройка интеграции. Для этого есть отдельная инструкция. Благодаря открытому API, сервис интегрируется с учетной системой. Сотрудники продолжают работать в привычном интерфейсе, не затрачивая дополнительные усилия на перенос данных из одной системы в другую.

Как будет выглядеть работа бухгалтера при использовании сервиса?

При использовании сервиса 100% распознавания работа сотрудника будет выглядеть так.

№
Кто делает
Что делает
Сколько времени тратит*

1	Специалист/секретарь/кладовщик/менеджер	Принимает входящий пакет документов по товарно-материальным ценностям (счет-фактура, товарная накладная, акт приема-передачи) и направляет его в финансовую службу.	1 минута
2	Бухгалтер	Убирает лишние скрепки, кладет пакет документов в поточный сканер, запускает сканирование.	2 минуты
3	Сервис 100%-ного распознавания	Классифицирует, извлекает реквизиты, проверяет суммы, формирует комплекты.	3 минуты
4	Бухгалтер	Получает в системе электронного документооборота карточки всех 3 документов с заполненными реквизитами и связанные между собой. Отправляет эти документы на оприходование.	1 минута

• *Перемещение документов между отделами составляет от 10 мин до 1 недели — это время в расчетах не учитываем, но не забываем о нем.
• ***
• Получается, что сервис 100%-ного распознавания как вишенка на торте бухгалтерского документооборота, важный штрих в обработке первички.

Благодаря ему сотрудник избавляется от рутины по занесению документов в систему. Компания тоже получает ценность — пока распознаванием документов занимается сервис, бухгалтерия выполняет действительно важные задачи, в том числе влияющие на прибыль.

Автор фото: wirestock — ru.freepik.com.

Чтобы прочитать эту статью до конца, авторизуйтесь или зарегистрируйтесь

7 инструментов для распознавания текста онлайн и офлайн — Лайфхакер

16 декабря 2020 Ликбез Технологии Эти сайты и программы помогут извлечь текстовое содержимое изображений и бумаг, чтобы вам было удобнее с ним работать.

• Платформы: Android, iOS, Windows.
• Распознаёт: снимки камеры.
• Сохраняет: DOCX, PPTX, PDF.

Этот сервис от компании Microsoft превращает камеру смартфона или ПК в бесплатный сканер документов. С помощью Office Lens вы можете распознать текст на любом физическом носителе и сохранить его в одном из «офисных» форматов или в PDF. Итоговые текстовые файлы доступны для редактирования в Word, OneNote и других сервисах Microsoft, интегрированных с Office Lens.

К сожалению, с русским языком программа справляется не так хорошо, как с английским.

appbox fallback https://www.microsoft.com/ru-ru/store/p/app/9wzdncrfj3t8

2. Adobe Scan

• Платформы: Android, iOS.
• Распознаёт: снимки камеры.
• Сохраняет: PDF.

Adobe Scan тоже использует камеру смартфона, чтобы сканировать бумажные документы, но сохраняет их копии только в формате PDF. Приложение полностью бесплатно.

Результаты удобно экспортировать в кросс‑платформенный сервис Adobe Acrobat, который позволяет редактировать PDF‑файлы: выделять, подчёркивать и зачёркивать слова, выполнять поиск по тексту и добавлять комментарии.

3. FineReader

• Платформы: веб, Android, iOS, Windows.
• Распознаёт: JPG, TIF, BMP, PNG, PDF, снимки камеры.
• Сохраняет: DOC, DOCX, XLS, XLSX, ODT, TXT, RTF, PDF, PDF/A, PPTX, EPUB, FB*2.

FineReader славится высокой точностью распознавания.

Увы, бесплатные возможности инструмента ограниченны: после регистрации вам позволят отсканировать всего 10 страниц. Зато каждый месяц будут начислять ещё по пять страниц в качестве бонуса.

Подписка стоимостью 129 евро позволяет сканировать до 5 000 страниц в год, а также открывает доступ к десктопному редактору PDF‑файлов.

Перейти на сайт FineReader →

4. Online OCR

• Платформы: веб.
• Распознаёт: JPG, GIF, TIFF, BMP, PNG, PCX, PDF.
• Сохраняет: TXT, DOC, DOCX, XLSX, PDF.

Веб‑сервис для распознавания текстов и таблиц.

Без регистрации Online OCR позволяет конвертировать до 15 документов в час — бесплатно. Создав аккаунт, вы сможете отсканировать 50 страниц без ограничений по времени и разблокируете все выходные форматы.

За каждую дополнительную страницу сервис просит от 0,8 цента: чем больше покупаете, тем ниже стоимость.

Перейти на сайт Online OCR →

5. img2txt

• Платформы: веб.
• Распознаёт: JPEG, PNG, PDF.
• Сохраняет: PDF, TXT, DOCX, ODF.

Бесплатный онлайн‑конвертер, существующий за счёт рекламы.

img2txt быстро обрабатывает файлы, но точность распознавания не всегда можно назвать удовлетворительной.

Сервис допускает меньше ошибок, если текст на загруженных снимках написан на одном языке, расположен горизонтально и не прерывается картинками.

Перейти на сайт img2txt →

6. Microsoft OneNote

• Платформы: Windows, macOS.
• Распознаёт: популярные форматы изображений.
• Сохраняет: DOC, PDF.

В настольной версии популярного блокнота OneNote тоже есть функция распознавания текста, которая работает с загруженными в заметки изображениями.

Если кликнуть правой кнопкой мыши по снимку документа и выбрать в появившемся меню «Копировать текст из рисунка», то всё текстовое содержимое окажется в буфере обмена. Программа доступна бесплатно.

Скачать Microsoft OneNote →

7. Readiris 17

• Платформы: Windows, macOS.
• Распознаёт: JPEG, PNG, PDF и другие.
• Сохраняет: PDF, TXT, PPTX, DOCX, XLSX и другие.

Мощная профессиональная программа для работы с PDF и распознавания текста.

С высокой точностью конвертирует документы на разных языках, включая русский. Но и стоит Readiris 17 соответственно — от 49 до 199 евро в зависимости от количества функций. Вы можете установить пробную версию, которая будет работать бесплатно 10 дней.

Для этого нужно зарегистрироваться на сайте Readiris, скачать программу на компьютер и ввести в ней данные от своей учётной записи.

Скачать Readiris 17 →

Как нейросети и люди распознают документы с точностью 99% и в 2–3 раза дешевле штатных сотрудников — Сервисы на vc.ru

Самые крутые нейросети распознают до 96% полей в документе. Если текст рукописный, точность может упасть до 20%: нейросети не сильны в военных билетах, трудовых книжках и извещениях о ДТП.

{«id»:201334,»gtm»:null}

Рассказываю, как работают два гибридных решения, Dbrain и «Биорг», где часть работы по распознаванию достается людям, кому они будут полезны и что там с безопасностью.

Так начинается типичное заявление на ипотеку, в котором заемщику надо заполнить десятки полей не нескольких страницах:

Анкету нужно распечатать, расписаться, сфотографировать или отсканировать. Потом отправить в банк вместе с согласием об обработке персональных данных, справками с работы и другими документами. Это десятки страниц с данными, которые каким-то образом должны попасть в систему банка.

В 2020 году российские банки выдали больше 1,7 млн ипотечных кредитов, потребительских — на порядок больше. Страховые компании оформили миллионы полисов, по одному только ОСАГО они отработали примерно 2 млн заявлений на возмещение ущерба.

Белый бизнес официально оформил на работу миллионы сотрудников с их паспортами, ИНН, трудовыми книжками, СНИЛС, дипломами и свидетельствами. Ритейл разбирался с миллионами бумажных счетов, накладных и поручений.

В магазинах заполнили миллионы анкет в обмен на карту лояльности.

Каждый случай — это масса полей с текстом, которые нужно перенести в систему компании: имя, город, марка автомобиля, адрес регистрации, название поставщика, предложения по улучшению обслуживания в свободной форме. Надеюсь, вы представили масштаб проблемы.

Есть разные варианты импорта данные от клиентов, контрагентов и сотрудников.

1. Ручная классика. Большие компании содержат сто, двести, триста человек, чья работа — восемь часов в день перебивать цифры и слова в базы компании. Допустим, оператор обрабатывает комплект документов одного клиента за 40 минут — компании это обойдется примерно в 200 рублей с учетом всех расходов. Если компания растет, придется нанимать больше операторов и расширять офис.

Импорт бухгалтерских документов — отдельная история. Для многих бухгалтерий конец отчетного периода — время жестких переработок, потому что не все контрагенты работают через электронный документооборот (ЭДО).

2. ИИ + сотрудники компании. Нейросети с компьютерным зрением (OCR) распознают и импортируют данные. Сотрудникам остается сканировать бумажные документы для нейросетей и разбираться со сложными случаями. Хорошее IT-решение распознает до 96% полей в документах, пока это вроде потолка. Если нужно распознать текст от руки, идеал — 70–75% точности. В исключительных случаях 80%.

То есть сотрудники берут на себя всего 5–30% рутины. Это в среднем по больнице, но в любом случае компании уже нет смысла содержать такой большой штат, как при 100-процентном ручном вводе. И офис нужен не такой большой.

Проблема в том, что сотрудники не всегда могут моментально отреагировать, когда нужно вмешаться, ведь их теперь мало.

Это значит, к примеру, что компания не может гарантировать клиентам: «мы примем решение по вашему страховому случаю всего за 15 минут».

Возможно, в первый раз разбираться, что такое «Шруслер», придется сотруднику страховой компании. Потом нейросеть дообучится и справится сама — в базу попадет единственно возможный вариант Chrysler (фото: car72.ru)

3. ИИ + люди как часть IT-решения. В этом случае компания полностью передает распознавание изображений на аутсорсинг — чаще всего нужен только сканировщик, если есть бумажные документы. Точность распознавания выше 99%, независимо от того, печатный текст или рукописный. Скорость занесения данных из документов в системы компании — от 5 секунд до получаса.

На рынке есть несколько решений, обрабатывающих документы по такой схеме. На примере двух из них покажу, как это работает. В первом случае разметчики данных (будем называть их операторами) находятся в огромной внешней краудсорсинговой платформе, во втором — почти в штате разработчика и их в 100 раз меньше.

Общая схема работы решения на сайте Dbrain.io

Кто такие? Dbrain автоматизирует работу с документами с 2017 года. За плечами команды несколько продуктов на основе нейросетей — от чат-бота Icon8, моментально обрабатывающего фотографии, до приложения, контролирующего качество выпекания додо-пиццы. Год назад стартап прошел в Y Combinator, и основатели рассказали читателям VC.ru, как им это удалось.

Проект с распознаванием документов начался, когда команда поняла, что на рынке не хватает ИИ-решений, которые решают проблему импорта данных. А главная беда существующих решений — низкая точность распознавания сканов и фотографий плохого качества.

Клиенты редко присылают идеальные фотографии документов.

Блики, тени, размытости, не тот угол, обрезанные края, плохой почерк (особенно в извещениях о ДТП) мешают нейросетям распознать документ, и приходится подключать сотрудников.

Вроде польза от решения есть, но ожидание с реальностью не совпадают. Dbrain решил сделать продукт, который минимизирует участие клиента в процессе оцифровки документов.

Что обрабатывают? Основной документ Dbrain — паспорт России и стран ближнего зарубежья. Плюс еще три десятка документов, включая СНИЛС, патент на работу, счет-фактуру (вот полный список документов). Решение работает как в IT-контуре заказчика, так и в облаке.

Для кого? Будет полезно, если нужно:

• ускорить регистрацию заявок клиентов. Например, при открытии банковского счета или подключении абонентов.
• исключить опечатки при ручном вводе данных в систему.
• радикально сократить время на решение по заявке клиента. Например, в крупной страховой компании с ручным вводом данных на урегулирование убытка уходило 3 дня, сейчас — 15 минут.
• быстрее оформлять на работу, в том числе мигрантов. Особенно актуально для торговых сетей с высокой текучкой линейного персонала. Или для сервисов доставки, которые массово нанимают курьеров.

• высокая точность распознавания некачественных изображений в разных форматах: сканы, фотографии с дешевых смартфонов, jpg.
• может одновременно обрабатывать 500 пакетов документов без потери скорости и качества.
• проверяет документы на подлинность, вычисляет фотошоп и сверяет фотографию в паспорте с селфи клиента.

1. Документ в электронном виде попадает в каскад нейросетей. Первая нейросеть определяет границы документа и его положение. Если нужно, выравнивает и вырезает по границе.

2. Вторая нейросеть классифицирует тип документа: паспорт, водительское удостоверение или просто картинка из интернета. Последнее отбраковывается.

3. Нейросеть находит поля с атрибутами, которые надо извлечь из документа: ФИО, место жительства, образование, адрес регистрации, марка автомобиля и так далее.

4. Нейросеть распознает («читает») данные из этих полей. Это ключевая процедура — до этого нейросети готовили документ к прочтению. Если сложностей с прочтением нет, пакет документов проходит весь каскад за секунды.

5. Если данные в поле не удалось распознать, поле отправляется в Яндекс.Толоку в виде задания. Обычно это рукописный текст. За задание параллельно берутся два человека, это нужно для повышения точности.

Оператору в Яндекс.Толоке достаточно ввести несколько букв и выбрать подсказку

Если оба распознали текст с одинаковым результатом, дело сделано. Когда есть разночтения, доступ к заданию получает еще один человек — и так до тех пор, пока не будет консенсуса. Нейросеть обучается на основе решений людей, через какое-то время она сама справится с аналогичным текстом.

В Яндекс.Толоке пакет документов находится от 3 до 15 минут.

6. Все распознанные поля склеиваются в единый документ, который поступает в систему клиента либо благодаря API (чаще всего), либо с помощью RPA от вендоров UiPath, Robin или PIX.

Что с безопасностью? В Яндекс.Толоку поступают разрозненные данные: кому-то достанется только имя, кому-то — только госномер автомобиля. Склеить их вместе пользователи Яндекс.Толоки не смогут. Когда распознанный документ поступает в систему заказчика, каждое поле этого документа удаляется из облака.

Все данные передаются по протоколам с криптозащитой, обрабатываются на серверах Selectel, отвечающим требованиям 152-ФЗ.

Кто такие? Позиционируют себя в качестве лидера оцифровки и распознавания персональных данных на российском рынке. За 2019 год обработали 30 млн документов. Первый проект — в 2017 году.

Работают с тяжелыми кастомными проектами. Берутся за то, от чего другие скорее всего вежливо откажутся.

Например, оцифровали архивы ЗАГСов нескольких регионов, расшифровывая записи времен Великой Отечественной, сделанные химическим карандашом на газетах (бумага была дефицитной), а на Сахалине пришлось работать с документами на японском языке. Для «Теле2» за 2,5 месяца оцифровали бумажный 15-тонный архив.

Что обрабатывают? Проще сказать, что не обрабатывают, но в общем объеме негосударственных проектов лидируют анкеты клиентов, кадровая и бухгалтерская документация. Научили нейросети распознавать рукописный текст с точностью до 75%.

Работают со сложными для нейросетей документами — трудовой книжкой и военным билетом, где нормальному распознаванию мешают штампы поверх текста и звезды.

Пятиконечные звезды, которые почти на каждой странице, «слепят» нейросети. Точность автоматического распознавания военного билета обычно не выше 20–30% (фото: «Тинькофф-журнал»)

Для кого? Решение нужно компаниям, которые имеют дело с большим объемом первички, анкет от клиентов и документов от новых сотрудников. Например, будет полезно, когда нужно оформлять тысячи новых сотрудников — система в разы быстрее обрабатывает комплекты документов, делает это точнее и дешевле людей.

Похожий расчет экономического эффекта и у Dbrain: затраты на обработку документов, не только кадровых, снижаются в 2–3 раза (источник: beorg.ru)

Наиболее популярная услуга, если судить по проектам, — обработка анкетных данных в рамках программ лояльности и исследований рынка. За этим обращались, в частности, S7, IKEA, «Вкусивилл», «Пятерочка», «Лента», «Окей», «Адамас», «Детский мир», Natura Siberica, «Якитория».

• высокая производительность: способны обработать до 5 млн документов в сутки.
• собственная краудсорсинговая платформа, объединяющая 60 тысяч операторов, которые работают по ГПХ или в качестве самозанятых. Компания часто отмечает, что ведет социально ответственный бизнес.
• все задачи у операторов узкоспециализированные. Для каждого проекта формируется команда, ее обучают с учетом специфики задач клиента.
• «Биорг» гарантирует не более одной ошибки на 100 полей с данными и фиксирует это в договоре. За каждую ошибку вне гарантии выплачивает фиксированную сумму или процент от стоимости распознавания документа.

1. От заказчика в систему поступает скан документа. Или клиент заказчика напрямую загружает фотографию документа через приложение на Android.

2. Дальше за дело берутся 4 нейросети. Они определяет вид документа, выравнивают, нарезают на поля с текстом и распознают этот текст.

3. Если нет 99% уверенности в том, что поле распознано верно, его отправляют минимум двум операторам, которые должны прийти к единому мнению. Если консенсуса нет, подключается модератор, который выбирает один из предложенных вариантов или пишет третий.

В среднем операторы получают 4 млн заданий ежедневно. Одно задание — одно поле. Данные, которые проверили и распознали операторы, используются для дообучения нейросети.

4. Распознанный документ поступает заказчику в 1С, SAP, MS Dynamics и другие системы. Максимальное время обработки комплекта документов — 20 минут, но обычно 10–15 минут.

Что с безопасностью? «Биорг» использует облачные хранилища на территории России, от Mail.ru и Яндекса. Есть лицензии ФСТЭК и ФСБ на обработку и хранение информации.

Лицензия ФСТЭК действует бессрочно

Компания страхует свою ответственность перед клиентами в «Росгосстрахе». Если будет претензия от третьих лиц за разглашение персональных данных — заказчик получит компенсацию 0,5 млн рублей. Пока таких случаев не было.

1. Полезны крупным компаниям, которые обрабатывают тысячи документов в сутки: бухгалтерские, кадровые, банковские, страховые, анкеты.

2. Подходят для ускоренной оцифровки бумажных архивов.

3. В 2–3 раза снижают стоимость импорта данных из бумаги, сканов и фотографий в учетные и другие системы.

4. Работают круглосуточно и без выходных, производительность в 5–7 раз выше, чем у штатных операторов.

5. Умеют распознавать печатный, рукопечатный и рукописный текст.

6. Ошибаются реже штатных сотрудников: точность распознавания выше 99% независимо от качества документа.

Автор — руководитель Центра корпоративных инноваций компании «Первый Бит».

#ии #нейросети #ocr #dbrain #beorg #распознавание