Для кодирования текстовой информации используются специальные таблицы. Каждому символу алфавита соответствует определенное целое число. Чаще всего используется восьмиразрядные двоичные числа. С их помощью можно закодировать 256 символов. Это вполне достаточно чтобы выразить все символы, как английского, так и русского алфавита, знаки препинания, цифры, знаки арифметических операций и некоторые специальные символы.

В 1968 году Национальным институтом стандартизации США был принят стандарт ASCII (American Standard Code for Information Interchange — стандартный код информационного обмена США). Система кодирования ASCII разделена на две страницы: базовую и расширенную. Базовая таблица определяет значения кодов от 0 до 127, расширенная – от 128 до 255.

Первые 32 кода относятся к управляющим. За ними не закреплены никакие символы языков и предназначены они для управления различными устройствами.

Аналогичные системы кодирования текстовых документов были разработаны и в других странах. Например, в 1974 году Государственный комитет по стандартизации утвердил стандарт ГОСТ 19768-74, согласно которому внедрялись сразу две схемы кодирования. Одна из них получила название ГОСТ-альтернативной. Впоследствии корпорация IBM опубликовала эту схему в своем корпоративном стандарте, и схема получила название CP 866 (Code page 866). Другая называлась ДКОИ (двоичный код обмена информацией) и стала основной для сетевых ЭВМ, работающих под управлением операционной системы UNIX. Сегодня данная схема называется КОИ-8 (код обмена информацией, восьмиразрядный). После распада СССР различают отдельные схемы кодирования для России (КОИ-8Р) и Украины (КОИ-8У).

Наглядным примером корпоративного стандарта является схема кодирования Windows-1251, которую ввела в действие корпорация Microsoft. Никакими государственными или международными стандартами эта схема не поддержана, однако является самой распространенной на компьютерах платформы IBM PC.

Формально для России имеет наивысший приоритет схема кодирования – ISO-8859, поскольку она утверждена Международным институтом стандартизации. Однако на практике документы, использующие эту схему, встречаются редко, особенно на компьютерах платформы IBM PC.

Существование множества таблиц кодирования сильно затрудняет информационный обмен. Приходится создавать программы, которые способны работать с различными кодировками. Это приводит к не рациональному использованию средств. Требуется создать универсальную кодовую таблицу, но это не возможно сделать, если кодировать символы восьмиразрядным кодом.

 

В конце 80х годов был созван международный консорциум Unicode, который классифицировал национальные письменные системы и изучил их особенности. В результате этой работы был разработан международный стандарт кодирования. В его основе лежат три положения:

1. Каждый символ имеет уникальное имя.

2. Каждый символ имеет уникальный номер, определяющий его позицию в таблице кодирования.

3. Каждый символ можно представить его позицией, выраженной 16-разрядным двоичным кодом.