Повышение эффективности скребка HTML с помощью вилки pcntl()

С помощью двух предыдущих вопросов у меня теперь есть рабочий HTML-скребок, который загружает информацию о продукте в базу данных. То, что я сейчас пытаюсь сделать, - это эффективно улучшить, обернув свой мозг вокруг того, чтобы заставить мой скребок работать с pcntl_fork.

Если я разделю свой скрипт php5-cli на 10 отдельных блоков, я значительно улучшу общее время выполнения, поэтому я знаю, что я не связан с вводом-выводом или процессором, а просто ограничен линейным характером моих функций очистки.

Использование код, который я собрал из нескольких источников, у меня есть этот рабочий тест:

<?php
libxml_use_internal_errors(true);
ini_set('max_execution_time', 0); 
ini_set('max_input_time', 0); 
set_time_limit(0);

$hrefArray = array("http://slashdot.org", "http://slashdot.org", "http://slashdot.org", "http://slashdot.org");

function doDomStuff($singleHref,$childPid) {
    $html = new DOMDocument();
    $html->loadHtmlFile($singleHref);

    $xPath = new DOMXPath($html);

    $domQuery = '//div[@id="slogan"]/h2';
    $domReturn = $xPath->query($domQuery);

    foreach($domReturn as $return) {
        $slogan = $return->nodeValue;
        echo "Child PID #" . $childPid . " says: " . $slogan . "\n";
    }
}

$pids = array();
foreach ($hrefArray as $singleHref) {
    $pid = pcntl_fork();

    if ($pid == -1) {
        die("Couldn't fork, error!");
    } elseif ($pid > 0) {
        // We are the parent
        $pids[] = $pid;
    } else {
        // We are the child
        $childPid = posix_getpid();
        doDomStuff($singleHref,$childPid);
        exit(0);
    }
}

foreach ($pids as $pid) {
    pcntl_waitpid($pid, $status);
}

// Clear the libxml buffer so it doesn't fill up
libxml_clear_errors();

В связи с чем возникают следующие вопросы:

1) Учитывая, что мой hrefArray содержит 4 URL-адреса - если массив должен был содержать, скажем, 1000 URL-адресов продуктов, этот код породил бы 1000 дочерних процессов? Если да, то каков наилучший способ ограничить количество процессов, скажем, 10, и снова 1000 URL-адресов в качестве примера разделите рабочую нагрузку на дочерних до 100 продуктов на каждого ребенка (10 х 100).

2) Я узнал, что pcntl_fork создает копия процесса и всех переменных, классов и т.д. Что я хотел бы сделать, так это заменить переменную hrefArray запросом DOMDocument, который создает список продуктов для очистки, а затем передает их дочерним процессам для выполнения обработки - таким образом, распределяя нагрузку между 10 дочерними работниками.

Мой мозг говорит, что мне нужно сделать что-то вроде следующего (очевидно, это не работает, поэтому не запускайте его):

<?php
libxml_use_internal_errors(true);
ini_set('max_execution_time', 0); 
ini_set('max_input_time', 0); 
set_time_limit(0);
$maxChildWorkers = 10;

$html = new DOMDocument();
$html->loadHtmlFile('http://xxxx');
$xPath = new DOMXPath($html);

$domQuery = '//div[@id=productDetail]/a';
$domReturn = $xPath->query($domQuery);

$hrefsArray[] = $domReturn->getAttribute('href');

function doDomStuff($singleHref) {
    // Do stuff here with each product
}

// To figure out: Split href array into $maxChilderWorks # of workArray1, workArray2 ... workArray10. 
$pids = array();
foreach ($workArray(1,2,3 ... 10) as $singleHref) {
    $pid = pcntl_fork();

    if ($pid == -1) {
        die("Couldn't fork, error!");
    } elseif ($pid > 0) {
        // We are the parent
        $pids[] = $pid;
    } else {
        // We are the child
        $childPid = posix_getpid();
        doDomStuff($singleHref);
        exit(0);
    }
}


foreach ($pids as $pid) {
    pcntl_waitpid($pid, $status);
}

// Clear the libxml buffer so it doesn't fill up
libxml_clear_errors();

Но чего я не могу понять, так это как построить свой hrefsArray[] в только главный/родительский процесс и передайте его дочернему процессу. В настоящее время все, что я пробовал, вызывает циклы в дочерних процессах. Т.Е. мой hrefsArray создается в главном и в каждом последующем дочернем процессе.

Я уверен, что я делаю все это совершенно неправильно, поэтому был бы очень признателен, если бы вы просто подтолкнули меня в правильном направлении.