Как обрабатывать ввод пользователем недопустимых символов UTF-8?

Получение недопустимых символов из вашего веб-приложения может быть связано с наборами символов, принятыми для HTML-форм. Вы можете указать, какой набор символов использовать для форм с accept-charset атрибут:

<form action="..." accept-charset="UTF-8">

Вы также можете взглянуть на аналогичные вопросы в StackOverflow для указателей на то, как обрабатывать недопустимые символы, например, те, что в столбце справа, но я думаю, что сигнализация об ошибке пользователю лучше, чем пытаться очистить эти недопустимые символы. символы, которые приводят к неожиданной потере важных данных или неожиданному изменению вводимых пользователем данных.

Я собрал довольно простой класс, чтобы проверить, находится ли ввод в UTF-8, и выполнить utf8_encode() по мере необходимости:

class utf8
{

    /**
     * @param array $data
     * @param int $options
     * @return array
     */
    public static function encode(array $data)
    {
        foreach ($data as $key=>$val) {
            if (is_array($val)) {
                $data[$key] = self::encode($val, $options);
            } else {
                if (false === self::check($val)) {
                    $data[$key] = utf8_encode($val);
                }
            }
        }

        return $data;
    }

    /**
     * Regular expression to test a string is UTF8 encoded
     * 
     * RFC3629
     * 
     * @param string $string The string to be tested
     * @return bool
     * 
     * @link http://www.w3.org/International/questions/qa-forms-utf-8.en.php
     */
    public static function check($string)
    {
        return preg_match('%^(?:
            [\x09\x0A\x0D\x20-\x7E]              # ASCII
            | [\xC2-\xDF][\x80-\xBF]             # non-overlong 2-byte
            |  \xE0[\xA0-\xBF][\x80-\xBF]        # excluding overlongs
            | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2}  # straight 3-byte
            |  \xED[\x80-\x9F][\x80-\xBF]        # excluding surrogates
            |  \xF0[\x90-\xBF][\x80-\xBF]{2}     # planes 1-3
            | [\xF1-\xF3][\x80-\xBF]{3}          # planes 4-15
            |  \xF4[\x80-\x8F][\x80-\xBF]{2}     # plane 16
            )*$%xs',
            $string);
    }
}

// For example
$data = utf8::encode($_POST);

Существует многобайтовое расширение для PHP, проверьте его: http://www.php.net/manual/en/book.mbstring.php

Вам следует попробовать функцию mb_check_encoding().

Удачи!

Для полноты ответа на этот вопрос (не обязательно лучший ответ)...

function as_utf8($s) {
    return mb_convert_encoding($s, "UTF-8", mb_detect_encoding($s));
}

Я рекомендую просто не допускать попадания мусора внутрь. Не полагайтесь на пользовательские функции, которые могут вывести вашу систему из строя. Просто сопоставьте представленные данные с разработанным вами алфавитом. Создайте приемлемую строку алфавита и просмотрите отправленные данные, байт за байтом, как если бы это был массив. Вставьте допустимые символы в новую строку и опустите недопустимые символы. Данные, которые вы храните в своей базе данных, являются данными, инициированными пользователем, но фактически не предоставленными пользователем.

РЕДАКТИРОВАТЬ #4: Замена плохого персонажа на entiy: �

ПРАВКА #3: Обновлено: 22 сентября 2010 года в 13:32 Причина: Теперь возвращаемая строка - UTF-8, плюс я использовал тестовый файл, который вы предоставили в качестве доказательства.

<?php
// build alphabet
// optionally you can remove characters from this array

$alpha[]= chr(0); // null
$alpha[]= chr(9); // tab
$alpha[]= chr(10); // new line
$alpha[]= chr(11); // tab
$alpha[]= chr(13); // carriage return

for ($i = 32; $i <= 126; $i++) {
$alpha[]= chr($i);
}

/* remove comment to check ascii ordinals */

// /*
// foreach ($alpha as $key=>$val){
//  print ord($val);
//  print '<br/>';
// }
// print '<hr/>';
//*/
// 
// //test case #1
// 
// $str = 'afsjdfhasjhdgljhasdlfy42we875y342q8957y2wkjrgSAHKDJgfcv kzXnxbnSXbcv   '.chr(160).chr(127).chr(126);
// 
// $string = teststr($alpha,$str);
// print $string;
// print '<hr/>';
// 
// //test case #2
// 
// $str = ''.'©?™???';
// $string = teststr($alpha,$str);
// print $string;
// print '<hr/>';
// 
// $str = '©';
// $string = teststr($alpha,$str);
// print $string;
// print '<hr/>';

$file = 'http://www.cl.cam.ac.uk/~mgk25/ucs/examples/UTF-8-test.txt';
$testfile = implode(chr(10),file($file));

$string = teststr($alpha,$testfile);
print $string;
print '<hr/>';


function teststr(&$alpha, &$str){
    $strlen = strlen($str);
    $newstr = chr(0); //null
    $x = 0;
    if($strlen >= 2){

        for ($i = 0; $i < $strlen; $i++) {
            $x++;
            if(in_array($str[$i],$alpha)){
                // passed
                $newstr .= $str[$i];
            }else{
                // failed
                print 'Found out of scope character. (ASCII: '.ord($str[$i]).')';
                print '<br/>';
                $newstr .= '&#65533;';
            }
        }
    }elseif($strlen <= 0){
        // failed to qualify for test
        print 'Non-existent.';

    }elseif($strlen === 1){
        $x++;
        if(in_array($str,$alpha)){
            // passed

            $newstr = $str;
        }else{
            // failed
            print 'Total character failed to qualify.';
            $newstr = '&#65533;';
        }
    }else{
        print 'Non-existent (scope).';
        }

if(mb_detect_encoding($newstr, "UTF-8") == "UTF-8"){
// skip
}else{
    $newstr = utf8_encode($newstr);
}


// test encoding:
if(mb_detect_encoding($newstr, "UTF-8")=="UTF-8"){
    print 'UTF-8 :D<br/>';
    }else{
        print 'ENCODED: '.mb_detect_encoding($newstr, "UTF-8").'<br/>';
        }




return $newstr.' (scope: '.$x.', '.$strlen.')';
}

Как насчет удаления всех символов за пределами вашего данного подмножества. По крайней мере, в некоторых частях моего приложения я бы не разрешал использовать символы за пределами [a-Z] [0-9 наборов], например имена пользователей. Вы можете создать функцию фильтра, которая автоматически удаляет все символы за пределами этого диапазона или возвращает ошибку, если обнаруживает их и передает решение пользователю.

Попробуйте сделать то, что делает Rails, чтобы заставить все браузеры всегда публиковать данные UTF-8:

<form accept-charset="UTF-8" action="#{action}" method="post"><div
    style="margin:0;padding:0;display:inline">
    <input name="utf8" type="hidden" value="&#x2713;" />
  </div>
  <!-- form fields -->
</form>

См. railssnowman.info или начальный патч для объяснения.

1. Чтобы браузер отправлял данные для отправки формы в кодировке UTF-8, просто отобразите страницу с заголовком типа содержимого "текст/html; кодировка=utf-8" (или используйте тег meta http-equiv).
2. Чтобы браузер отправлял данные для отправки формы в кодировке UTF-8, даже если пользователь возится со страницей кодирование (браузеры позволяют пользователям это делать), используйте accept-charset="UTF-8" в форме.
3. Чтобы браузер отправлял данные для отправки формы в кодировке UTF-8, даже если пользователь изменяет кодировку страницы (браузеры позволяют пользователям это делать), и даже если браузер IE, и пользователь переключил кодировку страницы на корейский и ввел корейские символы в поля формы, добавьте скрытый ввод в форму со значением, таким как ✓, которое может быть только из кодировки Юникода (и, в данном примере, не корейская кодировка). кодировка).

Установите UTF-8 в качестве набора символов для всех заголовков, выводимых вашим PHP-кодом

В каждом выходном заголовке PHP укажите UTF-8 в качестве кодировки:

header('Content-Type: text/html; charset=utf-8');