Программное извлечение ключевых слов из доменных имен

Возможно, вы захотите проверить этот вопрос SO.

Вам нужно разработать эвристику, которая будет получать вероятные совпадения из области. Я бы сделал это так, чтобы сначала найти большой корпус текста. Например, вы можете скачать Википедию.

Затем возьмите свой корпус и объедините каждые два соседних слова. Например, если ваше предложение:

quick brown fox jumps over the lazy dog

Вы создадите список:

quickbrown
brownfox
foxjumps
jumpsover
overthe
thelazy
lazydog

Каждый из них будет иметь количество единиц. Анализируя свой корпус, вы будете отслеживать частотные пары каждых двух слов. Кроме того, для каждой пары вам нужно будет отсортировать исходные два слова.

Отсортируйте этот список по частоте, а затем попытайтесь найти совпадения в вашем домене на основе этих слов.

Наконец, проверьте домен на наличие двух верхних словосочетаний, которые не зарегистрированы!

Я думаю, что такие сайты, как DomainTool, берут список слов с самым высоким рейтингом. Затем они сначала пытаются разобрать эти слова. В зависимости от цели, вы можете рассмотреть возможность использования MTurk для выполнения этой работы. Разные люди будут разбирать одни и те же слова по-разному и могут не делать этого пропорционально тому, насколько распространены эти слова.

Choosespain.com kidsexpress.com childrenswear.com dicksonweb.com

Удачи (и хорошего адвоката), если вы собираетесь попытаться проанализировать URL-адрес с помощью словаря.

Возможно, вам будет лучше, если вы сможете найти те же символы, но разделенные пробелами, на их веб-сайте.

Другие возможности: извлечение данных из ssl-сертификата; запрос сервера доменных имен верхнего уровня; Получите доступ к серверу доменных имен (TLD); или используйте один из инструментов или сервисов "whois" (просто Google "whois").

Если у вас есть список допустимых слов, вы можете перебирать строку своего домена и каждый раз пытаться отсечь допустимое слово с помощью алгоритма обратного отслеживания. Если вам удалось использовать все слова, вы закончили. Имейте в виду, что временная сложность этого не является оптимальной:)

function getwords( $string ) {
    if( strpos($string,"xn--") !== false ) {
        return false;
    }
    $string = trim( str_replace( '-', '', $string ) );
    $pspell = pspell_new( 'en' );
    $check = array();
    $words = array();
    for( $j = 0; $j < ( strlen( $string ) - 5 ); $j++ ) {
        for( $i = 4; $i < strlen( $string ); $i++ ) {
            if( pspell_check( $pspell, substr( $string, $j, $i ) ) ) {
                $check[$j]++;
                $words[] = substr( $string, $j, $i );
            }
        }
    }
    $words = array_unique( $words );
    if( count( $check ) > 0 ) {
        return $words;
    }
    return false;
}

print_r( getwords( 'ilikecheesehotels' ) );

Array
(
    [0] => like
    [1] => cheese
    [2] => hotel
    [3] => hotels
)

Как простое начало с pspell. возможно, вам захочется сравнить результаты и посмотреть, есть ли у вас основа слов без буквы "s" в конце, и объединить их.

Вам придется использовать механизм словаря против записи домена, чтобы найти допустимые слова, и запустить этот механизм словаря против результата, чтобы убедиться, что результат является допустимыми словами.