Таблица ASCII и кириллические кодировки

Управляющие символы ASCII

Коды 0–31 и 127 не отображаются, а управляют устройством: переводят строку, подают звонок, останавливают передачу. В терминале их вводят с клавишей Ctrl — отсюда запись ^C для Ctrl+C. Многие значения устарели вместе с телетайпами, но часть работает каждый день: CR и LF в конце строки, TAB, ESC в начале управляющих последовательностей терминала, XON и XOFF при программном управлении потоком UART.

ESC в языке C стандартной escape-последовательности не имеет: пишут \x1B или \033, а \e — расширение GCC.

Печатные символы ASCII (32–126)

Код символа складывается из номера строки и столбца: строка — старшая шестнадцатеричная цифра, столбец — младшая. Например, «A» стоит в строке 4x и столбце 1, его код — 0x41, или 65; под каждым символом подписан десятичный код.

Расположение символов не случайно, и это используют в программах для микроконтроллеров:

• Цифры идут подряд с 0x30: значение цифры — это c - '0', а символ цифры — '0' + n.
• Строчные и заглавные латинские буквы отличаются одним битом 5 (0x20): c | 0x20 переводит заглавную букву в строчную, c & ~0x20 — строчную в заглавную. Для других символов эти операции не годятся, поэтому сначала проверяют, что это буква.
• Шестнадцатеричные цифры A–F идут не сразу после 9: между '9' (0x39) и 'A' (0x41) стоят семь знаков, поэтому при выводе числа в HEX к значениям 10–15 прибавляют 'A' − 10.

Кириллица: CP1251, KOI8-R и CP866

В однобайтовых кодировках кириллица занимает коды 128–255. Кодировок несколько, и текст в одной из них, открытый в другой, превращается в «кракозябры».

Windows-1251

Основная кириллическая кодировка Windows. Буквы идут подряд по алфавиту: А–Я — 0xC0–0xDF, а–я — 0xE0–0xFF, поэтому номер буквы в алфавите получается вычитанием, но Ё и ё стоят отдельно — 0xA8 и 0xB8. Код 0x98 в таблице Microsoft не определён.

KOI8-R

Кодировка Unix и электронной почты, происходит от КОИ-8 (ГОСТ 19768-74). Строчные буквы — 0xC0–0xDF, заглавные — 0xE0–0xFF, но порядок не алфавитный: если отбросить восьмой бит, строчная русская буква превращается в созвучную заглавную латинскую. Так текст оставался читаемым транслитом при передаче через семибитные каналы. В 0x80–0xBF — псевдографика и Ё/ё.

CP866

Кодировка DOS, до сих пор используется в консоли Windows и в некоторых BIOS. А–Я — 0x80–0x9F, а–п — 0xA0–0xAF, р–я — 0xE0–0xEF, Ё и ё — 0xF0 и 0xF1. Между строчными «п» и «р» — псевдографика 0xB0–0xDF: рамки и блоки на тех же местах, что в кодовой странице IBM PC, поэтому таблицы из DOS-программ рисовались без изменений.

UTF-8

UTF-8 кодирует любой символ Unicode от одного до четырёх байтов. Символы ASCII записываются одним байтом с тем же кодом, поэтому английский текст в ASCII уже является корректным UTF-8. Остальные символы занимают несколько байтов, у каждого из которых установлен старший бит: в ASCII таких байтов не бывает, и их нельзя спутать с обычными символами.

Весь кириллический блок U+0400–U+04FF кодируется двумя байтами, а русские буквы — парами D0 xx и D1 xx: «А» (U+0410) — D0 90, «я» (U+044F) — D1 8F, «Ё» (U+0401) — D0 81, «ё» (U+0451) — D1 91. Строка «Привет» занимает в UTF-8 12 байт против 6 в Windows-1251: при выделении буферов и расчёте длины пакета для UART это нужно учитывать.

Код символа и текста

Впишите текст — для каждого символа появятся его кодовая точка Unicode, байты UTF-8 и коды в трёх кириллических кодировках, а ниже — вся строка в виде байтов.

Кодировки в электронике

• Дисплеи. Знакогенератор символьных ЖКИ на HD44780 содержит свою таблицу символов, а не Windows-1251 или UTF-8: русский текст для такого дисплея перекодируют по таблице его ПЗУ. Подробности — в статье об HD44780.
• UART и терминалы. Программа-терминал показывает принятые байты в выбранной кодировке. Если вместо русского текста видны «кракозябры», кодировки отправителя и терминала не совпадают. Как устроен сам обмен — в статье об UART.
• Контроль целостности. Строку, переданную по линии, проверяют контрольной суммой, которая считается по байтам, а не по символам: одно и то же слово в UTF-8 и Windows-1251 даст разную CRC. Посчитать её можно в калькуляторе CRC, выбрав ввод текстом.