Распознавание старых книг

[evgajukov]

Возникла задача перевести в электронный вид несколько дореволюционных книг, где еще используется старый алфавит. Имеется ли у кого-нибудь опыт в этом деле? Есть ли специальный софт, т.к. мой FineReader напрочь отказывается правильно понимать некоторые символы.

[Chet]

evgajukov, а в режиме обучения с добавлением символов из ижицы?...
ЗЫ. тема для обговора... не совсем по теме вопрос... перенсу в "Курилку"

[kovserg]

Распозновали старые книги FineReader-ом 7 в нём есть такая возможность.

[LSS]

Цитата: Сообщение от kovserg Распозновали старые книги FineReader-ом 7 в нём есть такая возможность.

С ятями?
А можно по-подробней?
Заранее спасибо.

[Chet]

Цитата: Сообщение от LSS С ятями?

а че, проблема? когда-то сканил книгу по старославянскому: взял шрифт языка и дал обучение (муторное, конечно, дело).
Но получилось просто долго нужно сидеть и каждую буковку подбирать, несколько часов изначально убивается.

бубен по этому поводу много отзвонит -

Цитата: язык старославянский finereader

или - http://www.abbyy.ru/finereader/

[telenin20]

Для этой цели есть специяльная рускоязычная программа AfterScan Express

http://www.afterscan.com/

вот пимер, взят с сайта

Ошибки распознавания

Вот пример текста, распознанного одной из ведущих программ распознавания. Старорусская орфография и плохое качество исходного документа сильно повлияли на количество ошибок. Красным цветом выделены слова которые требуют исправления:

Августъ (Кай Юл1й Цеэарь Октав1анъ)- порвый римск1й иМператОръ, первсначально на-зыв. Кай Октав1й, сынъ Кая Октав1я и Ат!и, дочери Юл1и, младшей сестры Юл\u1103я Цезаря, род. 23 сент. 63 г. до Р. X. Фамил1я Октав1-евъ принаддежала къ богагому и знагному роду. Отецъ Октав1я, бывшш сначала преторомъ, а потомъ правителемъ Македоши, умеръ, когЛа сыпу его быдо лишь 4 года. Тъмъ не менъе, благоларя заботамъ свеей матери и ея втораго муэка Люц!я Марвдя Филиппа, Окт. получидъ тщательное воспиташе. Своимн талаптами онъ сксро заслужилъ любонь Юл1я Цезаря, прихо*див-шагося ему двоюроднымъ дядей, такъ что послъдшй въ 45 г. усыновилъ его и въ своемъ завещании назначилъ главнымъ своимъ наслъд-никомъ. Когда Цезарь былъ убить (15 марта 44 г.) Августъ находился въ Аполлоны, въ Эпиръ. Онъ сейчасъ же поспъшилъ при этомъ изв^ст1и въ Итал1ю и, узнавъ при Брундиз1умЬ о содержаши завъ1цан1я, ръшплся вмъсгЬ съ наслъдствомъ принять и имя Цезаря, и въ то же время стремиться къ унаслъдовашю его власти, не высказывая, впрочемъ, открыто этего послъдняго желашя. Въ то время въ Римъ бо*ролись двй партш: республиканская, свергнув*шая Цезаря, и парт1я Антон!я (см. это сл.) и Лепида (см. это сл.), которая, подъ преддо-гомъ мести за смерть Ц., сгремилась лишЬ за*хВатить влаСть въ собственпыя руки.

В этом тексте 198 слов из которых 114 содержат ошибки распознавания или старорусское написание, которое нужно исправлять на современное. Текст практически нечитаемый и его проще набрать заново, чем исправлять. Обработаем этот текст программой AfterScan Antique. Всего за 21 секунду мы получим следующий текст:

Август (Кай Юлий Цезарь Октавиан) — первый римский император, первоначально на-зыв. Кай Октавий, сын Кая Октавия и Атии, дочери Юлии, младшей сестры Юлія Цезаря, род. 23 сент. 63 г. до Р. X. Фамилия Октавиев принадлежала к богатому и знатному роду. Отец Октавия, бывший сначала претором, а потом правителем Македонии, умер, когда сыну его было лишь 4 года. Тем не менее, благодаря заботам своей матери и ее второго мужа Люция Марвдя Филиппа, Окт. получил тщательное воспитание. Своими талантами он скоро заслужил любовь Юлия Цезаря, приходившегося ему двоюродным дядей, так что последний в 45 г. усыновил его и в своем завещании назначил главным своим наследником. Когда Цезарь был убить (15 марта 44 г.) Август находился в Аполлоны, в Эпир. Он сейчас же поспешил при этом известии в Италию и, узнав при Брундизиуме о содержании завещания, решился вместе с наследством принять и имя Цезаря, и в то же время стремиться к унаследованию его власти, не высказывая, впрочем, открыто этого последнего желания. В то время в Рим боролись две партии: республиканская, свергнувшая Цезаря, и партия Антония (см. это сл.) и Лепида (см. это сл.), которая, под предлогом мести за смерть Ц., стремилась лишь захватить власть в собственные руки.

Программа не смогла распознать четыре слова, которые на самом деле ошибок не содержат. Программа автоматически сделала в этом тексте 171 исправление.


успехов

[Gali]

Не знала где спросить, но эта тема немного подходит - если кто-то может посоветовать програмку распознающую китайский и японский текст, заранее благодарна...

[Chet]

Gali,

Цитата: Компания ABBYY представила расширенную версию системы оптического распознавания текста ABBYY FineReader 9.0 с поддержкой иврита, китайского (традиционного и упрощенного написания), японского и тайского языков. Система оптического распознавания теперь поддерживает 184 языка – европейских, азиатских, африканских и ближневосточных. Включение в ABBYY FineReader 9.0 дополнительных языков позволит расширить пользовательскую аудиторию системы на 2 миллиарда человек.

http://www.abbyy.ru/press/?param=144349

[Gali]

Chetiki, спасибо, я не знала про новую версию, у нас на 6-м нет китайского.

[Chet]

Цитата: Сообщение от Gali у нас на 6-м нет китайского.

как я Вас, Gali, понимаю!.. у меня в 4-й даже украинского не было

[Майкопчанин]

Кто занимался вычиткой текста в старой орфографии, тот поймет меня. Конвертация в новую представляется необходимым и оправданным решением. С этой целью я написал небольшой макрос, который текст из старой орфографии переводит в новую. Однако, от простого макроса не стоит ждать чудес, возможны неверные срабатывания, а также за бортом остается большое количество слов, написание которых со временем изменилось, например: стратиг и стратег, литтература и литература. Такие слова придется править вручную.


Скопируйте текст макроса и вставьте его в свой normal.dot :ex:

Sub КонвертацияИзСтаройОрфографии()

' КонвертацияИзСтаройОрфографии Макрос
' Конвертация старой орфографии в современную.
' Текст должен быть распознан программой Fine Reader, в которой
' для старой орфографии используется шрифт Cabria.
' Макрос ориентирован на использование этого шрифта.

'---------------------------------------------
' Переменные
' Символы означающие конец слова
EndOfWortString = " .,:;!?-)"
'Шипящие
Hiss = "шщч"
'Звонкие
Sonorous = "бвгджзйльнр"
'Глухие
Deaf = "пфкешсхцчщ"
'---------------------------------------------
' Убираем буквы "ять", "i", "фита"

Dim Simv(1 To 6, 1 To 2) As String

' Заменяем букву "ять"
Simv(1, 1) = ChrW(1123)
Simv(1, 2) = "е"
Simv(2, 1) = ChrW(1122)
Simv(2, 2) = "Е"
' Заменяем букву "i"
Simv(3, 1) = ChrW(1110)
Simv(3, 2) = "и"
Simv(4, 1) = ChrW(1030)
Simv(4, 2) = "И"
' Заменяем букву "фита"
Simv(5, 1) = ChrW(1139)
Simv(5, 2) = "ф"
Simv(6, 1) = ChrW(1138)
Simv(6, 2) = "Ф"

For i = 1 To 6
With Selection.Find
.Text = Simv(i, 1)
.Replacement.Text = Simv(i, 2)
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = True
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
Next
'---------------------------------------------
'Конечная буква Ъ
For i = 1 To Len(EndOfWortString)
With Selection.Find
.Text = "ъ" + Mid(EndOfWortString, i, 1)
.Replacement.Text = Mid(EndOfWortString, i, 1)
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
Next
'---------------------------------------------
'Замена окончаний прилагательные и причастия аго (яго) на ого (его)
' возможны неправильные срабатывания
Dim EndS(1 To 2, 1 To 2)
EndS(1, 1) = "аго"
EndS(1, 2) = "ого"
EndS(2, 1) = "яго"
EndS(2, 2) = "его"

For j = 1 To Len(EndOfWortString)
For i = 1 To 2
With Selection.Find
.Text = EndS(i, 1) + Mid(EndOfWortString, j, 1)
.Replacement.Text = EndS(i, 2) + Mid(EndOfWortString, j, 1)
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
Next
Next
' исправим косяки - "его" после шипящих
For k = 1 To Len(Hiss)
For j = 1 To Len(EndOfWortString)
With Selection.Find
.Text = Mid(Hiss, k, 1) + "ого" + Mid(EndOfWortString, j, 1)
.Replacement.Text = Mid(Hiss, k, 1) + "его" + Mid(EndOfWortString, j, 1)
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
Next
Next
'---------------------------------------------
'Замена окончаний - родительный падеж, прилагательные, множественное число, женский род
' ыя (ия) на ые (ие)
For j = 1 To Len(EndOfWortString)
With Selection.Find
.Text = "ыя" + Mid(EndOfWortString, j, 1)
.Replacement.Text = "ые" + Mid(EndOfWortString, j, 1)
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
Next
'окончание ия напрямую не заменяем, будет путаться с существительными
'но нам помогут суффикусы прилагательных
' -- ащ, ющ, ш, ск
Dim Suffix(1 To 3)
Suffix(1) = "ш"
Suffix(2) = "щ"
Suffix(3) = "ск"

For j = 1 To Len(EndOfWortString)
For i = 1 To 3
With Selection.Find
.Text = Suffix(i) + "ия" + Mid(EndOfWortString, j, 1)
.Replacement.Text = Suffix(i) + "ие" + Mid(EndOfWortString, j, 1)
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
Next
Next

'но а теперь проделаем тоже самое, но учтем суффик -ся
For j = 1 To Len(EndOfWortString)
With Selection.Find
.Text = "ыяся" + Mid(EndOfWortString, j, 1)
.Replacement.Text = "ыеся" + Mid(EndOfWortString, j, 1)
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
Next
For j = 1 To Len(EndOfWortString)
With Selection.Find
.Text = "ияся" + Mid(EndOfWortString, j, 1)
.Replacement.Text = "иеся" + Mid(EndOfWortString, j, 1)
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
Next
' сюда же добавим прилагательные оканчивающиеся на ия, но не обработанные выше
Dim Repl(1 To 10, 1 To 2)

Repl(1, 1) = "древния"
Repl(1, 2) = "древние"
Repl(2, 1) = "средния"
Repl(2, 2) = "средние"
Repl(3, 1) = "какия"
Repl(3, 2) = "какие"
Repl(4, 1) = "другия"
Repl(4, 2) = "другие"
Repl(5, 1) = "мелкия"
Repl(5, 2) = "мелкие"
Repl(6, 1) = "многия"
Repl(6, 2) = "многие"
Repl(7, 1) = "последния"
Repl(7, 2) = "последние"
Repl(8, 1) = "высокия"
Repl(8, 2) = "высокие"
Repl(9, 1) = "дальния"
Repl(9, 2) = "дальние"
Repl(10, 1) = "низкия"
Repl(10, 1) = "низкие"

For j = 1 To Len(EndOfWortString)
For i = 1 To 10
With Selection.Find
.Text = Repl(i, 1) + Mid(EndOfWortString, j, 1)
.Replacement.Text = Repl(i, 2) + Mid(EndOfWortString, j, 1)
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
Next
Next
'---------------------------------------------
' Замена местоимений: оне, одне, однех, однемъ, однеми на они, одни, одних, одним, одними;
' написание с учетом того, что яти и твердые знаки уже убраны
' Замена местоимений: ея (нея) - на её (неё).

Dim Pronout(1 To 7, 1 To 2)

Pronout(1, 1) = "оне"
Pronout(1, 2) = "они"
Pronout(2, 1) = "одне"
Pronout(2, 2) = "одни"
Pronout(3, 1) = "однех"
Pronout(3, 2) = "одних"
Pronout(4, 1) = "однем"
Pronout(4, 2) = "одним"
Pronout(5, 1) = "однеми"
Pronout(5, 2) = "одними"
Pronout(6, 1) = "ея"
Pronout(6, 2) = "её"
Pronout(7, 1) = "нея"
Pronout(7, 2) = "неё"

For j = 1 To Len(EndOfWortString)
For i = 1 To 7
With Selection.Find
.Text = " " + Pronout(i, 1) + Mid(EndOfWortString, j, 1)
.Replacement.Text = " " + Pronout(i, 2) + Mid(EndOfWortString, j, 1)
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
Next
Next
'---------------------------------------------
' приставки на З
' без-(бес-), вз-(вс-), воз-(вос-), из-(ис-), низ-(нис-), раз-(рас-), роз-(рос-), через-(черес-)
Dim Prefix(1 To 9, 1 To 2)

Prefix(1, 1) = " без"
Prefix(1, 2) = " бес"
Prefix(2, 1) = " вз"
Prefix(2, 2) = " вс"
Prefix(3, 1) = " воз"
Prefix(3, 2) = " вос"
Prefix(4, 1) = " из"
Prefix(4, 2) = " ис"
Prefix(5, 1) = " низ"
Prefix(5, 2) = " нис"
Prefix(6, 1) = " раз"
Prefix(6, 2) = " рас"
Prefix(7, 1) = " роз"
Prefix(7, 2) = " рос"
Prefix(8, 1) = " через"
Prefix(8, 2) = " черес"
Prefix(9, 1) = " обез"
Prefix(9, 2) = " обес"

' перед глухой - з меняем на с
For i = 1 To 9
For j = 1 To Len(Deaf)
With Selection.Find
.Text = Prefix(i, 1) + Mid(Deaf, j, 1)
.Replacement.Text = Prefix(i, 2) + Mid(Deaf, j, 1)
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
Next
Next
' исправим косяк: образования от слова "низ" - низший, низкий и т.д.
With Selection.Find
.Text = " нисш"
.Replacement.Text = " низш"
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
With Selection.Find
.Text = " ниск"
.Replacement.Text = " низк"
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll
' а теперь исправим вновь созданный косяк - нисколько
With Selection.Find
.Text = "низколько"
.Replacement.Text = "нисколько"
.Forward = True
.Wrap = wdFindAsk
.Format = False
.MatchCase = False
.MatchWholeWord = False
.MatchWildcards = False
.MatchSoundsLike = False
.MatchAllWordForms = False
End With
Selection.Find.Execute Replace:=wdReplaceAll

End Sub

[Макушка]

Может кто знает, есть какие-нибудь варианты по распознаванию арабского текста?