Как вы анализируете и обрабатываете HTML/XML в PHP?

Попробуйте Простой синтаксический анализатор HTML DOM

• Синтаксический анализатор HTML DOM, написанный на PHP 5+, который позволяет вам очень легко манипулировать HTML!
• Требуется PHP 5+.
• Поддерживает недопустимый HTML.
• Найдите теги на HTML-странице с помощью селекторов, таких как jQuery.
• Извлеките содержимое из HTML в одну строку.
• Скачать

Примеры:

Как получить HTML элементы:

// Create DOM from URL or file
$html = file_get_html('http://www.example.com/');

// Find all images
foreach($html->find('img') as $element)
       echo $element->src . '<br>';

// Find all links
foreach($html->find('a') as $element)
       echo $element->href . '<br>';

Как изменить элементы HTML:

// Create DOM from string
$html = str_get_html('<div id="hello">Hello</div><div id="world">World</div>');

$html->find('div', 1)->class = 'bar';

$html->find('div[id=hello]', 0)->innertext = 'foo';

echo $html;

Извлечение содержимого из HTML:

// Dump contents (without tags) from HTML
echo file_get_html('http://www.google.com/')->plaintext;

Соскабливающая косая черта:

// Create DOM from URL
$html = file_get_html('http://slashdot.org/');

// Find all article blocks
foreach($html->find('div.article') as $article) {
    $item['title']     = $article->find('div.title', 0)->plaintext;
    $item['intro']    = $article->find('div.intro', 0)->plaintext;
    $item['details'] = $article->find('div.details', 0)->plaintext;
    $articles[] = $item;
}

print_r($articles);

Просто используйте DOMDocument->loadHTML() и покончите с этим. алгоритм синтаксического анализа HTML libxml довольно хорош и быстр, и, вопреки распространенному мнению, не задыхается от искаженного HTML.

Почему вы не должны и когда вы должны использовать регулярные выражения?

Во-первых, распространенное неправильное название: Регулярные выражения не предназначены для " синтаксический анализ" HTML. Однако регулярные выражения могут " извлечь" данные. Извлечение - это то, для чего они созданы. Основным недостатком извлечения регулярных выражений HTML по сравнению с надлежащими наборами инструментов SGML или базовыми синтаксическими анализаторами XML являются их синтаксические усилия и различная надежность.

Учтите, что создание несколько надежного HTML регулярное выражение извлечения:

<a\s+class="?playbutton\d?[^>]+id="(\d+)".+?    <a\s+class="[\w\s]*title
[\w\s]*"[^>]+href="(http://[^">]+)"[^>]*>([^<>]+)</a>.+?

Намного менее читаем, чем простой эквивалент phpQuery или QueryPath:

$div->find(".stationcool a")->attr("title");

Однако существуют конкретные случаи использования, в которых они могут помочь.

• Многие интерфейсы обхода DOM не раскрывают HTML-комментарии <!--, которые, однако, иногда являются более полезными якорями для извлечения. В частности, псевдо-HTML-вариации <$var> или остатки SGML легко укротить с помощью регулярных выражений.
• Часто регулярные выражения могут сэкономить на последующей обработке. Однако HTML-объекты часто требуют ручного ухода.
• И, наконец, для e чрезвычайно простых задач , таких как извлечение

Иногда даже рекомендуется предварительно извлечь фрагмент HTML с помощью регулярных выражений /<!--CONTENT-->(.+?)<!--END-->/ и обработать оставшуюся часть с помощью более простого синтаксического анализатора HTML интерфейсы.

Примечание: На самом деле у меня есть это приложение, где я использую синтаксический анализ XML и регулярные выражения в качестве альтернативы. Только на прошлой неделе синтаксический анализ PyQuery прервался, и регулярное выражение все еще работало. Да, странно, и я сам не могу этого объяснить. Но так оно и случилось.
Поэтому, пожалуйста, не отвергайте соображения реального мира только потому, что это не соответствует мему regex= зло. Но давайте также не будем слишком сильно голосовать за это. Это просто дополнительная заметка к этой теме.

PhpQuery и Путь запроса чрезвычайно похожи в репликации API fluent jQuery. Именно поэтому они являются двумя из самых простых подходов к правильному анализу HTML в PHP.

Примеры для пути запроса

В основном вы сначала создаете запрашиваемое дерево DOM из строки HTML:

 $qp = qp("<html><body><h1>title</h1>..."); // or give filename or URL

Результирующий объект содержит полное древовидное представление HTML-документа. Его можно обойти с помощью методов DOM. Но в общий подход заключается в использовании селекторов CSS, как в jQuery:

 $qp->find("div.classname")->children()->...;

 foreach ($qp->find("p img") as $img) {
     print qp($img)->attr("src");
 }

В основном вы хотите использовать простые #id и .class или DIV селекторы тегов для ->find(). Но вы также можете использовать операторы XPath, которые иногда работают быстрее. Также типичные методы jQuery, такие как ->children() и ->text(), и особенно ->attr(), упрощают извлечение правильных фрагментов HTML. (И уже расшифровали их сущности SGML.)

 $qp->xpath("//div/p[1]");  // get first paragraph in a div

Путь запроса также позволяет вводить новые теги в поток (->append), а затем выведите и обновите обновленный документ (->writeHTML). Он может не только анализировать искаженный HTML, но и различные диалекты XML (с пространствами имен) и даже извлекать данные из микроформатов HTML (XFN, vCard).

 $qp->find("a[target=_blank]")->toggleClass("usability-blunder");

.

PhpQuery или путь к запросу?

Как правило, путь запроса лучше подходит для работы с документами. В то время как phpQuery также реализует некоторые псевдо-методы AJAX (просто HTTP-запросы), чтобы больше походить на jQuery. Говорят, что phpQuery часто работает быстрее чем QueryPath (из-за меньшего количества общих функций).

Для получения дополнительной информации о различиях см. это сравнение на машине обратного пути из tagbyte.org . (Исходный источник пропал, так что вот ссылка на интернет-архив. Да, вы все еще можете найти недостающие страницы, люди.)

И вот подробное введение в путь запроса.

Преимущества

• Простота и надежность
• Простые в использовании альтернативы ->find("a img, a object, div a")
• Правильное удаление данных (по сравнению с захватом регулярных выражений)

Простой HTML DOM - отличный анализатор с открытым исходным кодом:

Простой мир.источник

Он обрабатывает элементы DOM объектно-ориентированным способом, и новая итерация имеет большой охват для несоответствующего кода. Есть также некоторые замечательные функции, подобные тем, которые вы видите в JavaScript, такие как функция "найти", которая возвращает все экземпляры элементов с этим именем тега.

Я использовал это в ряде инструментов, тестируя его на многих различных типах веб-страниц, и я думаю, это отлично работает.

Один общий подход, о котором я здесь не упоминал, заключается в том, чтобы запускать HTML через Tidy, который можно настроить так, чтобы он выдавал гарантированно допустимый XHTML. Затем вы можете использовать на нем любую старую библиотеку XML.

Но для вашей конкретной проблемы вам следует взглянуть на этот проект: http://fivefilters.org/content-only / -- это модифицированная версия алгоритма удобочитаемости, который предназначен для извлечения только текстового содержимого (не верхних и нижних колонтитулов) со страницы.

Для 1a и 2: Я бы проголосовал за новый класс компонентов Symfony DomCrawler (DomCrawler ). Этот класс позволяет выполнять запросы, аналогичные CSS-селекторам. Взгляните на эту презентацию для реальных примеров: новости из мира symfony2.

Компонент предназначен для автономной работы и может использоваться без Symfony.

Единственным недостатком является то, что он будет работать только с PHP 5.3 или новее.

Кстати, это обычно называют очисткой экрана . Библиотека, которую я использовал для этого, - это Простой синтаксический анализатор HTML Dom.

Ранее мы создали довольно много сканеров для наших нужд. В конце концов, обычно лучше всего работают простые регулярные выражения. Хотя библиотеки, перечисленные выше, хороши по той причине, по которой они созданы, если вы знаете, что ищете, регулярные выражения - более безопасный способ, так как вы можете обрабатывать также недопустимый HTML/ Структуры XHTML, которые потерпели бы неудачу, если бы были загружены через большинство анализаторов.

Я рекомендую PHP Простой синтаксический анализатор HTML DOM.

У него действительно есть приятные функции, такие как:

foreach($html->find('img') as $element)
       echo $element->src . '<br>';

Это звучит как хорошее описание задачи технологии W3CXPath. Легко выражать запросы типа "возвращайте все атрибуты href в тегах img, вложенные в теги <foo><bar><baz> elements". Не будучи любителем PHP, я не могу сказать вам, в какой форме может быть доступен XPath. Если вы можете вызвать внешнюю программу для обработки HTML-файла, вы должны иметь возможность использовать версию XPath для командной строки. Краткое введение см. в разделе http://en.wikipedia.org/wiki/XPath.

Сторонние альтернативы SimpleHtmlDom, которые используют DOM вместо синтаксического анализа строк: phpQuery, Зенд_дом, Путь запроса и Свободное владение.

Да, вы можете использовать simple_html_dom для этой цели. Однако я довольно много работал с simple_html_dom, особенно для веб-слома, и обнаружил, что он слишком уязвим. Он выполняет основную работу, но я все равно не буду его рекомендовать.

Я никогда не использовал curl для этой цели, но я узнал, что curl может выполнять эту работу гораздо эффективнее и намного надежнее.

Пожалуйста, ознакомьтесь с этой ссылкой: очистка-веб-сайтов-с-завитком

Путь запроса хорош, но будьте осторожны с "состоянием отслеживания", потому что, если вы не поняли, что это значит, это может означать, что вы тратите много времени на отладку, пытаясь выяснить, что произошло и почему код не работает.

Это означает, что каждый вызов результирующего набора изменяет результирующий набор в объекте, он не цепляется, как в jquery, где каждая ссылка представляет собой новый набор, у вас есть один набор, который является результатом вашего запроса, и каждый вызов функции изменяет этот единственный набор. набор.

Для того, чтобы получить поведение, подобное jquery, вам нужно выполнить ветвление, прежде чем выполнять операцию фильтрации/модификации, это означает, что она будет гораздо точнее отражать то, что происходит в jquery.

$results = qp("div p");
$forename = $results->find("input[name='forename']");

$results теперь содержит результирующий набор для input[name='forename'], А НЕ для исходного запроса "div p". это сильно сбило меня с толку, я обнаружил, что Путь запроса отслеживает фильтры и находит и все, что изменяет ваши результаты и сохраняет их в объекте. тебе нужно это сделать вместо этого

$forename = $results->branch()->find("input[name='forname']")

Тогда $results не будет изменено, и вы сможете повторно использовать результирующий набор снова и снова, возможно, кто-то с гораздо большими знаниями сможет немного прояснить это, но в основном это похоже на то, что я нашел.

Расширенный Html Dom - это простая замена HTMLDOM, которая предлагает тот же интерфейс, но на основе DOM, что означает, что ни одна из связанных проблем с памятью не возникает.

Он также имеет полную поддержку CSS, включая расширения jQuery.

Я создал библиотеку с именем Phppowertools/DOM-Запрос, что позволяет вам сканировать документы HTML5 и XML точно так же, как вы это делаете с jQuery.

Под капотом он использует symfony/Домкраулер для преобразования селекторов CSS в селекторы XPath. Он всегда использует один и тот же DOMDocument, даже при передаче одного объекта другому, чтобы обеспечить достойную производительность.

Пример использования:

namespace PowerTools;

// Get file content
$htmlcode = file_get_contents('https://github.com');

// Define your DOMCrawler based on file string
$H = new DOM_Query($htmlcode);

// Define your DOMCrawler based on an existing DOM_Query instance
$H = new DOM_Query($H->select('body'));

// Passing a string (CSS selector)
$s = $H->select('div.foo');

// Passing an element object (DOM Element)
$s = $H->select($documentBody);

// Passing a DOM Query object
$s = $H->select( $H->select('p + p'));

// Select the body tag
$body = $H->select('body');

// Combine different classes as one selector to get all site blocks
$siteblocks = $body->select('.site-header, .masthead, .site-body, .site-footer');

// Nest your methods just like you would with jQuery
$siteblocks->select('button')->add('span')->addClass('icon icon-printer');

// Use a lambda function to set the text of all site blocks
$siteblocks->text(function( $i, $val) {
    return $i . " - " . $val->attr('class');
});

// Append the following HTML to all site blocks
$siteblocks->append('<div class="site-center"></div>');

// Use a descendant selector to select the site's footer
$sitefooter = $body->select('.site-footer > .site-center');

// Set some attributes for the site's footer
$sitefooter->attr(array('id' => 'aweeesome', 'data-val' => 'see'));

// Use a lambda function to set the attributes of all site blocks
$siteblocks->attr('data-val', function( $i, $val) {
    return $i . " - " . $val->attr('class') . " - photo by Kelly Clark";
});

// Select the parent of the site's footer
$sitefooterparent = $sitefooter->parent();

// Remove the class of all i-tags within the site's footer's parent
$sitefooterparent->select('i')->removeAttr('class');

// Wrap the site's footer within two nex selectors
$sitefooter->wrap('<section><div class="footer-wrapper"></div></section>');

[...]

Поддерживаемые методы :

• [х] $ (1)
• [x]$.ParseHTML
• [x]$.parseXML
• [x]$.Синтаксический анализ
• [x] $выбор.добавить
• [x]$выбор.добавить класс
• [x] $выбор.после
• [x] $выбор.добавить
• [x] $выбор.attr
• [x] $выбор.перед
• [х] $выбор.дети
• [x] $выбор.ближайший
• [x] $выбор.содержимое
• [x] $выделение.отсоединить
• [x] $выбор.каждый
• [x] $выбор.уравнение
• [x] $выбор.пустой (2)
• [x] $выбор.найти
• [x] $выбор.первый
• [x] $выбор.получить
• [х] $выделение.вставка после
• [x]$выбор.Вставить перед
• [x] $выбор.последний
• [x] $выбор.родитель
• [x] $выбор.родители
• [x] $выбор.удалить
• [x] $выбор.удалить
• [x] $выделение.удалить класс
• [x] $выделение.текст
• [х] $выделение.перенос

1. Переименован в "выбрать" по очевидным причинам
2. Переименован в "void", так как "пустой" - это зарезервированное слово в PHP

ПРИМЕЧАНИЕ:

Библиотека также включает в себя собственный загрузчик нулевой конфигурации для библиотек, совместимых с PSR-0. Приведенный пример должен работать "из коробки" без какой-либо дополнительной настройки. В качестве альтернативы вы можете использовать его с composer.

Я написал XML-анализатор общего назначения, который может легко обрабатывать файлы GB. Он основан на XmlReader и очень прост в использовании:

$source = new XmlExtractor("path/to/tag", "/path/to/file.xml");
foreach ($source as $tag) {
    echo $tag->field1;
    echo $tag->field2->subfield1;
}

Вот репозиторий github: Xmlextractor

Для HTML5 библиотека html5 была заброшена в течение многих лет. Единственная библиотека HTML5, которую я могу найти с недавними обновлениями и записями об обслуживании, - это html5-php, которая была переведена в бета-версию 1.0 чуть больше недели назад.

Вы можете попробовать использовать что-то вроде HTML Tidy для очистки любого "сломанного" HTML и преобразования HTML в XHTML, который затем можно проанализировать с помощью синтаксического анализатора XML.

Другой вариант, который вы можете попробовать, - это Путь запроса. Он вдохновлен jQuery, но на сервере в PHP и используется в Drupal.

XML_HTMLSax довольно стабилен - даже если он больше не поддерживается. Другой вариант может заключаться в том, чтобы передать вам HTML через Html Tidy, а затем проанализировать его с помощью стандартных инструментов XML.

Фреймворк Symfony имеет пакеты, которые могут анализировать HTML, и вы можете использовать стиль CSS для выбора доменов вместо использования XPath.

Существует множество способов обработки HTML/XML DOM, большинство из которых уже упоминалось. Следовательно, я не буду делать никаких попыток перечислить их сам.

Я просто хочу добавить, что лично я предпочитаю использовать расширение DOM и почему:

• iit оптимально использует преимущества производительности базового кода C
• это OO PHP (и позволяет мне подклассировать его)
• это довольно низкий уровень (что позволяет мне использовать его в качестве не раздутой основы для большего продвинутое поведение)
• он обеспечивает доступ ко всем частям DOM (в отличие, например, от SimpleXML, который игнорирует некоторые менее известные функции XML)
• он имеет синтаксис, используемый для обхода DOM, который аналогичен синтаксису, используемому в собственном Javascript.

И хотя мне не хватает возможности использовать селекторы CSS для DOMDocument, есть довольно простой и удобный способ добавить эту функцию: создание подкласса DOMDocument и добавление JS-подобных querySelectorAll и querySelector методов в ваш подкласс.

Для анализируя селекторы, я рекомендую использовать очень минималистичный компонент cssSelector из фреймворка Symfony. Этот компонент просто преобразует селекторы CSS в селекторы XPath, которые затем могут быть введены в DOMXpath для получения соответствующего списка узлов.

Затем вы можете использовать этот (все еще очень низкоуровневый) подкласс в качестве основы для более высокоуровневых классов, предназначенных, например. проанализируйте очень специфические типы XML или добавьте больше поведения, подобного jQuery.

Приведенный ниже код приходит прямо из моей библиотеки DOM-запросов и использует метод, который я описал.

Для синтаксического анализа HTML:

namespace PowerTools;

use \Symfony\Component\CssSelector\CssSelector as CssSelector;

class DOM_Document extends \DOMDocument {
    public function __construct($data = false, $doctype = 'html', $encoding = 'UTF-8', $version = '1.0') {
        parent::__construct($version, $encoding);
        if ($doctype && $doctype === 'html') {
            @$this->loadHTML($data);
        } else {
            @$this->loadXML($data);
        }
    }

    public function querySelectorAll($selector, $contextnode = null) {
        if (isset($this->doctype->name) && $this->doctype->name == 'html') {
            CssSelector::enableHtmlExtension();
        } else {
            CssSelector::disableHtmlExtension();
        }
        $xpath = new \DOMXpath($this);
        return $xpath->query(CssSelector::toXPath($selector, 'descendant::'), $contextnode);
    }

    [...]

    public function loadHTMLFile($filename, $options = 0) {
        $this->loadHTML(file_get_contents($filename), $options);
    }

    public function loadHTML($source, $options = 0) {
        if ($source && $source != '') {
            $data = trim($source);
            $html5 = new HTML5(array('targetDocument' => $this, 'disableHtmlNsInDom' => true));
            $data_start = mb_substr($data, 0, 10);
            if (strpos($data_start, '<!DOCTYPE ') === 0 || strpos($data_start, '<html>') === 0) {
                $html5->loadHTML($data);
            } else {
                @$this->loadHTML('<!DOCTYPE html><html><head><meta charset="' . $encoding . '" /></head><body></body></html>');
                $t = $html5->loadHTMLFragment($data);
                $docbody = $this->getElementsByTagName('body')->item(0);
                while ($t->hasChildNodes()) {
                    $docbody->appendChild($t->firstChild);
                }
            }
        }
    }

    [...]
}

Смотрите также Анализ XML-документов с помощью CSS-селекторов создателем Symfony Фабьеном Потенсье о его решении создать компонент cssSelector для Symfony и о том, как его использовать.

С Жидкокристаллический вы можете запрашивать и повторять XML с помощью XPath и селекторов CSS.

$doc = fluidxml('<html>...</html>');

$title = $doc->query('//head/title')[0]->nodeValue;

$doc->query('//body/p', 'div.active', '#bgId')
        ->each(function($i, $node) {
            // $node is a DOMNode.
            $tag   = $node->nodeName;
            $text  = $node->nodeValue;
            $class = $node->getAttribute('class');
        });

Https://github.com/servo-php/fluidxml

Существует несколько причин не анализировать HTML с помощью регулярного выражения. Но, если у вас есть полный контроль над тем, какой HTML будет сгенерирован, то вы можете обойтись простым регулярным выражением.

Выше это функция, которая анализирует HTML с помощью регулярного выражения. Обратите внимание, что эта функция очень чувствительна и требует, чтобы HTML подчинялся определенным правилам, но она очень хорошо работает во многих сценариях. Если вам нужен простой синтаксический анализатор и вы не хотите устанавливать библиотеки, попробуйте сделать это:

function array_combine_($keys, $values) {
    $result = array();
    foreach ($keys as $i => $k) {
        $result[$k][] = $values[$i];
    }
    array_walk($result, create_function('&$v', '$v = (count($v) == 1)? array_pop($v): $v;'));

    return $result;
}

function extract_data($str) {
    return (is_array($str))
        ? array_map('extract_data', $str)
        : ((!preg_match_all('#<([A-Za-z0-9_]*)[^>]*>(.*?)</\1>#s', $str, $matches))
            ? $str
            : array_map(('extract_data'), array_combine_($matches[1], $matches[2])));
}

print_r(extract_data(file_get_contents("http://www.google.com/")));

JSON и массив из XML в трех строках:

$xml = simplexml_load_string($xml_string);
$json = json_encode($xml);
$array = json_decode($json,TRUE);

Та да!

Я создал библиотеку под названием HTML5DOMDocument, которая находится в свободном доступе по адресу https://github.com/ivopetkov/html5-dom-document-php

Он также поддерживает селекторы запросов, что, я думаю, будет чрезвычайно полезно в вашем случае. Вот пример кода:

$dom = new IvoPetkov\HTML5DOMDocument();
$dom->loadHTML('<!DOCTYPE html><html><body><h1>Hello</h1><div class="content">This is some text</div></body></html>');
echo $dom->querySelector('h1')->innerHTML;

Если вы знакомы с селектором jQuery, вы можете использовать scarletsquery для PHP

<pre><?php
include "ScarletsQuery.php";

// Load the HTML content and parse it
$html = file_get_contents('https://www.lipsum.com');
$dom = Scarlets\Library\MarkupLanguage::parseText($html);

// Select meta tag on the HTML header
$description = $dom->selector('head meta[name="description"]')[0];

// Get 'content' attribute value from meta tag
print_r($description->attr('content'));

$description = $dom->selector('#Content p');

// Get element array
print_r($description->view);

Этой библиотеке обычно требуется менее 1 секунды для обработки автономного html.
Он также принимает недопустимый HTML-код или отсутствующую цитату в атрибутах тегов.