"Вы имели в виду" функцию в базе данных словарей
У меня есть таблица строк ~300 000; которая включает технические термины; запрашивается с использованием PHP и MySQL + ПОЛНОТЕКСТОВЫЕ индексы. Но когда я ищу неправильно введенный термин; например, "гиперпекст"; естественно, не дает никаких результатов.
Мне нужно "исправить" небольшие ошибки при написании и получить ближайшую запись из базы данных. Как я могу достичь такой цели? Я знаю (на самом деле, узнал сегодня) об алгоритмах расстояния Левенштейна, Soundex и Metaphone, но в настоящее время не имею четкой идеи для реализации это относится к запросам к базе данных.
С наилучшими пожеланиями. (Извините за мой плохой английский, я стараюсь изо всех сил)
4 answers
Смотрите эту статью, чтобы узнать, как вы могли бы реализовать расстояние Левенштейна в сохраненной функции MySQL.
Для потомков автор предлагает сделать следующее:
CREATE FUNCTION LEVENSHTEIN (s1 VARCHAR(255), s2 VARCHAR(255))
RETURNS INT
DETERMINISTIC
BEGIN
DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;
DECLARE s1_char CHAR;
DECLARE cv0, cv1 VARBINARY(256);
SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;
IF s1 = s2 THEN
RETURN 0;
ELSEIF s1_len = 0 THEN
RETURN s2_len;
ELSEIF s2_len = 0 THEN
RETURN s1_len;
ELSE
WHILE j <= s2_len DO
SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1;
END WHILE;
WHILE i <= s1_len DO
SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1;
WHILE j <= s2_len DO
SET c = c + 1;
IF s1_char = SUBSTRING(s2, j, 1) THEN SET cost = 0; ELSE SET cost = 1; END IF;
SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost;
IF c > c_temp THEN SET c = c_temp; END IF;
SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1;
IF c > c_temp THEN SET c = c_temp; END IF;
SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1;
END WHILE;
SET cv1 = cv0, i = i + 1;
END WHILE;
END IF;
RETURN c;
END
Он также предоставляет вспомогательный метод LEVENSHTEIN_RATIO, который будет оценивать соотношение разных/общих символов, а не прямое расстояние редактирования. Например, если это 60 %, то три пятых символов в исходном слове отличаются от целевого слова.
CREATE FUNCTION LEVENSHTEIN_RATIO (s1 VARCHAR(255), s2 VARCHAR(255))
RETURNS INT
DETERMINISTIC
BEGIN
DECLARE s1_len, s2_len, max_len INT;
SET s1_len = LENGTH(s1), s2_len = LENGTH(s2);
IF s1_len > s2_len THEN SET max_len = s1_len; ELSE SET max_len = s2_len; END IF;
RETURN ROUND((1 - LEVENSHTEIN(s1, s2) / max_len) * 100);
END
Из комментариев http://dev.mysql.com/doc/refman/5.0/en/udf-compiling.html
Теперь я загружаю пакет из репозитория udf mysql http://empyrean.lib.ndsu.nodak.edu /~nem/mysql/
wget http://empyrean.lib.ndsu.nodak.edu/~nem/mysql/udf/dludf.cgi?ckey=28
ll
tar -xzvf dludf.cgi\?ckey\=28
gcc -shared -o libmysqllevenshtein.so mysqllevenshtein.cc -I/usr/include/mysql/
mv libmysqllevenshtein.so /usr/lib
mysql -uroot -pPASS
mysql> use DATABASE
mysql> CREATE FUNCTION levenshtein RETURNS INT SONAME 'libmysqllevenshtein.so';
mysql> select levenshtein(w1.word,w2.word) as dist from word w1, word w2 where ETC........... order by dist asc limit 0,10;
Я предлагаю вам создать опечатки варианты ввода запроса.
Т.е. гиперпекст> {гиперпекст, гипертекст, ...} и т. Д.
Одним из них обязательно будет правильное написание (особенно для распространенных орфографических ошибок)
Способ определения наиболее вероятного соответствия заключается в том, чтобы выполнить поиск для каждого из них по индексу, который сообщает вам частоту использования термина в документе. (имеет смысл?)
Почему бы не добавить столбец таблицы для хранения слова в его альтернативной форме (например, Soundex)? таким образом, если ваш первый ВЫБОР не найдет точного соответствия, вы можете выполнить второй поиск, чтобы найти подходящие альтернативные формы.
Хитрость заключается в том, чтобы закодировать каждое слово так, чтобы варианты с ошибками в конечном итоге преобразовывались в одну и ту же альтернативную форму.