shutnik

Проверь, пожалуйста, и код Infocatcher.

Нет, выдранной базы нет.

Вроде бы /[^а-яё -]/i тоже работает:
javascript: var t='1vR({}абвПРЁё23'; var r[^а-яё -]/ig; alert(t.replace(r, ''));

Отредактировано Infocatcher (09-08-2007 20:49:58)

TLemur
А смысл разбиения на буквы (крме того что так сделали в вики разделы)?

Infant

я так думаю, что в словарь на этапе его разработки слова новые будут добавлять люди. А людям так удобнее, когда по буквам. Или есть другие варианты? Готов выслушать.

shutnik

Надо опустить этап "я соединил все файлы в один", повторив все сначала.
Или если это легче, разбить файл words.rar по буквам.

shutnik

Да я не тороплю...

shutnik

Спасибо.

Открепляю.

PiVV

Обещают, что успеют.

Возник у меня вот такой вопрос: Кто-то пробовал создавать свой словарь или всё остановилось на:

переводе документации (которая к настоящему моменту несколько устарела) и созданием списка слов из Викисловаря?

Это собственно предвопрос к главному: А нужен ли нам вообще русский словарь hunspell? Настолько ли он лучше существующих для myspell, которые и так поддерживаются?

К вызывавшимся курировать проект есть только один вопрос: в чём была (возможно осталась до сих пор) идея создания словаря через вики? Только если можно более подробно чем: «слова помещаются в вики, все желающие пишут правила». Собственно сами правила написания правил меня и интересуют. Никаких примеров, образцов выдано не было. А ведь от этого сильно зависит сама структура файлов словаря и аффиксов.

P.S. Хотелось бы увидеть какое-то подобие дискуссии, а не только мои единственные сообщения.

Всё время забываю само собой разумеющиеся, для меня, факты. Поэтому в вопросе подразумевалось не отсутствие необходимости в новом словаре под свободной лицензией, а нужен ли он именно на движке hunspell. А может на старом myspell или вообще на каком-то другом созданном специально для русского языка.

Из моего опыта, движок hunspell также не блещет качеством предположений. Что впрочем может быть связано с выбранной мною структурой построения словаря. Именно поэтому интересно обменяться мнениями с кем-то кто также пытался создать словарь.

Infant

Я пытался написать часть словаря, поскольку собирался курировать его создание.
Основную сложность составляло то, что в русском языке есть немало слов с беглыми гласными (день - дня, днями).
И есть варианты окончаний в пределах одного склонения.

Вот исходя из таких рассуждений (появление класса приставок, двойная суффиксальная замена) формат hunspell действительно кажется более удобным и пригодным для построения нового словаря. Да, как-то упустил в предыдущем сообщении, движок hunspell поддерживает словари формата myspell. Что достаточно разумно со стороны автора, поскольку не все языки могут себе позволить обзавестись новыми словарями в одно мгновение.
В принципе, если разобраться с форматом имеющегося myspell словаря, то его можно было бы переделать под формат hunspell. Вот только это займёт достаточно много времени. И ещё не известно что будет быстрее: создать абсолютно новый или переделать старый.
Попробовав создать небольшой словарь я столкнулся со следующей проблемой. Если из именительного падежа единственного имени существительного создать правило для всех остальных падежей достаточно несложно, то как при этом учесть и все остальные словоформы (прилагательные, глаголы) с приставками и суффиксами? Во всей красе выросла проблема словарной базы. И простой список, как предлагалось в вики, совсем её не решал. Рядом выросла и другая — использование в файле словаря полной формы слова в качестве основы влечёт за собой введение основы для каждой части речи.
Таким образом возник второй вариант. Слова будут конструироваться по следующему принципу: приставка+корень+суффикс+окончание. Возможны различные сочетания. Здесь уже требовалась проверка каждого правила, поскольку имеющееся описание формата не отвечало на все вопросы. Поддержки hunspell в Firefox 3.0 всё ещё не было и словарь был благополучно заброшен где-то до середины лета.
Тем временем пытался разрешить вопрос со словарной базой. Нигде ничего готового найти не удалось и было принято Соломоново решение: взять имеющийся компакт-диск электронной библиотеки и на его основе создать общий список слов. Получилось общее количество около 1 миллиона слов. Практически сразу после получения такого количества появился вопрос какие слова включать в словарь в первую очередь? Так что пришлось ещё и список по частоте сделать. Я конечно понимаю, что выборка не слишком репрезентативная, но для начальной точки вполне подойдёт. В процессе дальнейшей работы обнаружился ещё один недостаток: слова которые переносились с одной строки на другую оказались разбитыми на две части. Иными словами в базе оказалось много мусора из начал и концов слов.

Добавлено Mon Dec 31 15:23:09 2007 :
После появления возможности проверки работы словаря непосредственно в Firefox вторая версия стала наполняться словами. Из общего списка выбирались однокоренные слова, разделялись на составляющие по приведенной выше формуле — приставка+корень+суффикс+окончание — и затем на основе этого списка однокоренных слов составлялись правила для окончаний, суффиксов и приставок. Сначала пытался объединять правила, но потом (некоторые объединённые ранее правила пришлось опять разделить) пришёл к выводу, что окончательную уборку можно будет произвести после наполнения базы аффикс-правил. Из-за этого же было выбрано цифровое представление правил. Оно позволяет иметь до 65536 различных правил.
Никаких идей по автоматизации отбора однокоренных слов из общего списка и их разбиении на составляющие у меня не возникло (их нет и сейчас), поэтому вся работа выполнялась вручную. Соответственно затраты времени оказались достаточно большими. Так что имеющийся словарь распознаёт около 10 тысяч слов из чуть более 200 корней.
Поначалу казалось, что база аффикс-правил быстро наполнится и можно будет совместными усилиями дальше расширять словарь, но оказалось что так только казалось.
Так родилась идея третьего варианта. Что собственно представляет собой словарь? Это связка dic и aff файла, в aff-файле описаны правила составления новых слов на основе тех, что имеются в dic-файле. В таком случае можно считать словарём и простой список всех словоформ в dic файле, при этом в aff-файле будет содержаться только необходимая служебная информация (кодировка, язык). Недостаток такого словаря — большой объём dic-файла. Собственно для его уменьшения и служит aff-файл. Общий список занимает около 11 мегабайт, то есть слишком объёмный. Для уменьшения размера можно взять список слов по частоте и обрезать его до количества в 100 или 50 тысяч наиболее употребительных слов и затем на его основе опять таки строить правила. То ли я уже так втянулся во второй вариант, то ли сказывается отсутствие правил, но третий вариант тоже пришлось отбросить. Хотя он даже без единого правила определяет больше слов, чем имеющийся сейчас второй вариант.