UTF-8 на всем протяжении

Я хотел бы добавить одну вещь к превосходному ответу чазоматика:

Не забывайте также о метатеге (например, так, или его HTML4 или XHTML-версия):

<meta charset="utf-8">

Это кажется тривиальным, но IE7 уже доставлял мне проблемы с этим раньше.

Я все делал правильно; база данных, подключение к базе данных и HTTP-заголовок типа содержимого были установлены в UTF-8, и он отлично работал во всех других браузерах, но Internet Explorer все еще настаивал на использовании Кодировка "западноевропейская".

Оказалось, что на странице отсутствовал МЕТА-тег. Добавление этого решило проблему.

Редактировать:

На самом деле в W3C есть довольно большой раздел , посвященный I18N. У них есть ряд статей, связанных с этой проблемой, описывающих аспекты HTTP, (X)HTML и CSS:

• Часто задаваемые вопросы: Изменение (X) кодировки HTML-страницы на UTF-8
• Объявление кодировок символов в HTML
• Учебное пособие: Наборы символов и кодировки в XHTML, HTML и CSS
• Настройка параметра кодировки HTTP

Они рекомендуют использовать как заголовок HTTP, так и метатег HTML (или объявление XML в случае, если XHTML используется в качестве XML).

В дополнение к настройке default_charset в php.ini, вы можете отправить правильную кодировку с помощью header() из своего кода перед любым выводом:

header('Content-Type: text/html; charset=utf-8');

Работать с Юникодом в PHP легко, если вы понимаете, что большинство строковых функций не работают с Юникодом, а некоторые могут полностью исказить строки. PHP считает, что "символы" имеют длину 1 байт. Иногда это нормально (например, explode() ищет только последовательность байтов и использует ее в качестве разделителя - так что это не имеет значения какие реальные персонажи вы ищете). Но в других случаях, когда функция на самом деле предназначена для работы с символами , PHP понятия не имеет, что ваш текст содержит многобайтовые символы, которые находятся в Юникоде.

Хорошей библиотекой для проверки является phputf8. Это перезаписывает все "плохие" функции, чтобы вы могли безопасно работать со строками UTF8. Есть расширения, такие как расширение mbstring, которые тоже пытаются сделать это для вас, но я предпочитаю использовать библиотеку, потому что это больше портативный (но я пишу продукты массового рынка, так что это важно для меня). Но phputf8 в любом случае может использовать mbstring за кулисами, чтобы повысить производительность.

Старая тема, я знаю. Обнаружена проблема с кем-то, использующим PDO, и ответом было использовать это для строки подключения PDO:

$pdo = new PDO(
    'mysql:host=mysql.example.com;dbname=example_db',
    "username",
    "password",
    array(PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES utf8"));

Сайт, с которого я это взял, не работает, к счастью, его удалось получить с помощью кэша Google.

В моем случае я использовал mb_split, который использует регулярное выражение. Поэтому мне также пришлось вручную убедиться, что кодировка регулярного выражения была utf-8, выполнив mb_regex_encoding('UTF-8');

В качестве примечания я также обнаружил, запустив mb_internal_encoding(), что внутренняя кодировка не была utf-8, и я изменил это, запустив mb_internal_encoding("UTF-8");.

Во-первых, если вы находитесь в

Я удивлен, что никто не упомянул о международный библиотека, которая имеет хорошую поддержку unicode, графемы, строковые операции , локализация и многое другое, см. Ниже.

Я приведу некоторую информацию о поддержке юникода в PHP от Элизабет Смит слайды на PHPBenelux'14

МЕЖДУНАРОДНЫЙ

Хорошо:

• Оболочка вокруг библиотеки интенсивной терапии
• Стандартизированные локали, набор локали для каждого сценария
• Форматирование чисел
• Форматирование валюты
• Форматирование сообщения (заменяет gettext)
• Календари, даты, часовой пояс и время
• Транслитератор
• Средство проверки подделки
• Пакеты ресурсов
• Преобразователи
• Идентификационный номер поддержка
• Графемы
• Сопоставление
• Итераторы

Плохо:

• Не поддерживает zend_multibite
• Не поддерживает преобразование ввода-вывода HTTP
• Не поддерживает перегрузку функций

Mb_строка

• Включает поддержку zend_multibyte
• Поддерживает прозрачную кодировку HTTP in/out
• Предоставляет некоторые обертки для функциональности, такие как стратоуппер

ЗНАЧОК V

• Основной для преобразования кодировки
• Обработчик выходного буфера
• функциональность кодирования mime
• преобразование
• некоторые помощники строк (len, substr, strpos, strrpos)
• Фильтр потока stream_filter_append($fp, 'convert.iconv.ISO-2022-JP/EUC-JP')

БАЗЫ ДАННЫХ

• mysql: Набор символов и параметры сортировки в таблицах и при подключении (не параметры сортировки). Также не используйте mysql - msqli или PDO
• postgresql (почтовый сервер): кодирование pg_set_client_encoding
• sqlite(3): Убедитесь, что он был скомпилирован с поддержкой unicode и intl

Некоторые другие готы

• Вы не можете использовать имена файлов в юникоде с PHP и Windows, если вы не используете расширение 3-й части.
• Отправляйте все в ASCII, если вы используете exec, proc_open и другие вызовы командной строки
• Обычный текст не является обычным текстом, файлы имеют кодировки
• Вы можете конвертировать файлы на лету с помощью iconv фильтр

Я обновлю этот ответ на случай, если что-то изменится, добавленные функции и так далее.

Недавно я обнаружил, что использование strtolower() может вызвать проблемы, когда данные усекаются после специального символа.

Решение состояло в том, чтобы использовать

mb_strtolower($string, 'UTF-8');

Mb_ использует многобайтовый. Он поддерживает больше символов, но в целом работает немного медленнее.

Единственное, что я хотел бы добавить к этим удивительным ответам, - это подчеркнуть необходимость сохранения ваших файлов в кодировке utf8, я заметил, что браузеры принимают это свойство вместо установки utf8 в качестве вашей кодировки кода. Любой приличный текстовый редактор покажет вам это, например, в Notepad++ есть пункт меню для ввода файла, он показывает текущую кодировку и позволяет ее изменить. Для всех моих php-файлов я использую utf8 без спецификации.

Некоторое время назад кто-то попросил меня добавить поддержку utf8 для приложение php/mysql, разработанное кем-то другим, я заметил, что все файлы были закодированы в ANSI, поэтому мне пришлось использовать ICONV для преобразования всех файлов, изменить таблицы базы данных для использования кодировки utf8 и сортировки utf8_general_ci, добавить "НАБОР ИМЕН utf8" на уровень абстракции базы данных после подключения (если используется 5.3.6 или более ранняя версия, в противном случае вы должны использовать кодировку=utf8 в строке подключения) и изменить строковые функции для использования эквивалента многобайтовых строковых функций php.

В PHP вам нужно будет либо использовать многобайтовые функции , либо включить mbstring.func_overload. Таким образом, такие вещи, как strlen, будут работать, если у вас есть символы, которые занимают более одного байта.

Вам также потребуется определить набор символов ваших ответов. Вы можете либо использовать AddDefaultCharset, как указано выше, либо написать PHP-код, который возвращает заголовок. (Или вы можете добавить МЕТА-тег в свои HTML-документы.)

Я только что прошел через ту же проблему и нашел хорошее решение в руководствах по PHP.

Я изменил всю свою кодировку файлов на UTF8, а затем кодировку по умолчанию в моем соединении. Это решило все проблемы.

if (!$mysqli->set_charset("utf8")) {
    printf("Error loading character set utf8: %s\n", $mysqli->error);
} else {
   printf("Current character set: %s\n", $mysqli->character_set_name());
}

Просмотр источника

Поддержка Юникода в PHP по-прежнему представляет собой огромный беспорядок. Хотя он способен преобразовывать строку ISO8859 (которую он использует внутренне) в utf8, ему не хватает возможности работать со строками юникода изначально, что означает, что все функции обработки строк будут искажать и повреждать ваши строки. Поэтому вам придется либо использовать отдельную библиотеку для надлежащей поддержки utf8, либо переписать все функции обработки строк самостоятельно.

Самая простая часть - это просто указать кодировку в заголовках HTTP и в база данных и тому подобное, но все это не имеет значения, если ваш PHP-код не выводит допустимый UTF8. Это самая трудная часть, и PHP практически не помогает вам в этом. (Я думаю, что PHP6 должен исправить худшее из этого, но до этого еще далеко)

Лучший ответ - отличный. Вот что мне пришлось сделать при обычной настройке debian/php/mysql:

// storage
// debian. apparently already utf-8

// retrieval
// the mysql database was stored in utf-8, 
// but apparently php was requesting iso. this worked: 
// ***notice "utf8", without dash, this is a mysql encoding***
mysql_set_charset('utf8');

// delivery
// php.ini did not have a default charset, 
// (it was commented out, shared host) and
// no http encoding was specified in the apache headers.
// this made apache send out a utf-8 header
// (and perhaps made php actually send out utf-8)
// ***notice "utf-8", with dash, this is a php encoding***
ini_set('default_charset','utf-8');

// submission
// this worked in all major browsers once apache
// was sending out the utf-8 header. i didnt add
// the accept-charset attribute.

// processing
// changed a few commands in php, like substr,
// to mb_substr

Вот и все!

Если вы хотите, чтобы сервер MySQL определял набор символов, а не PHP в качестве клиента (старое поведение; предпочтительнее, на мой взгляд), попробуйте добавить skip-character-set-client-handshake в свой my.cnf в разделе [mysqld] и перезапустите mysql.

Это может вызвать проблемы, если вы используете что-либо, кроме UTF8.