Простой Python. Современный стиль программирования (Любанович) - страница 101

>>>> place

>'café'

>>>> place = 'caf\N{LATIN SMALL LETTER E WITH ACUTE}'

>>>> place

>'café'

В предыдущем сниппете вы вставили символ «é» непосредственно в строку, но мы также можем собрать строку из составляющих:

>>>> u_umlaut = '\N{LATIN SMALL LETTER U WITH DIAERESIS}'

>>>> u_umlaut

>'ú'

>>>> drink = 'Gew' + u_umlaut + 'rztraminer'

>>>> print('Now I can finally have my', drink, 'in a', place)

>Now I can finally have my Gewúrztraminer in a café

Строковая функция len считает количество символов в кодировке Unicode, а не байты:

>>>> len('$')

>1

>>>> len('\U0001f47b')

>1

Вам не нужно волноваться о том, как Python хранит каждый символ Unicode, когда вы выполняете обычную обработку строки.

Но когда вы обмениваетесь данными с внешним миром, вам может понадобиться следующее:

• способ закодировать строку с помощью байтов;

• способ декодировать байты обратно в строку.

Если бы в Unicode было менее 64 000 символов, мы могли бы хранить ID каждого из них в двух байтах. К сожалению, символов больше. Мы могли бы кодировать каждый ID с помощью трех или четырех байтов, но это увеличило бы объем памяти и дискового пространства, необходимый для обычных текстовых строк, в три или четыре раза.

Кен Томпсон (Ken Thompson) и Роб Пайк (Rob Pike), чьи имена будут знакомы разработчикам на Unix, разработали UTF-8 — динамическую схему кодирования — однажды вечером на салфетке в одной из столовых Нью-Джерси. Она использует для символа Unicode от одного до четырех байтов:

• один байт для ASCII;

• два байта для большинства языков, основанных на латинице (но не кириллице);

• три байта для остальных простых языков;

• четыре байта для остальных языков, включая некоторые азиатские языки и символы.

UTF-8 — это стандартная текстовая кодировка для Python, Linux и HTML. Она охватывает множество символов, работает быстро и хорошо. Если вы используете кодировку UTF-8 в своем коде, жизнь станет гораздо проще, чем в том случае, если будете скакать от одной кодировки к другой.

Если вы создаете строку Python путем копирования символов из другого источника вроде веб-страницы и их вставки, убедитесь, что источник был закодирован с помощью UTF-8. Очень часто может оказаться, что текст был зашифрован с помощью кодировок Latin-1 или Windows 1252, что при копировании в строку Python вызовет генерацию исключений из-за некорректной последовательности байтов.

Вы кодируете строку байтами. Первый аргумент строковой функции encode() — это имя кодировки. Возможные варианты представлены в табл. 7.1.