Лексемы

Когда компилятор обрабатывает программу, он разбивает прог­рамму на группы символов, называемых лексемами. Лексема- это еди­ница текста программы, которая имеет определенный смысл для ком­пилятора и которая не может быть разбита в дальнейшем. Операции, константы, идентификаторы и ключевые слова, описанные в этом раз­деле,являются примерами лексем. Знаки пунктуации, такие как квад­ратные скобки ([]), фигурные скобки ({}), угловые скобки (<>), круглые скобки и запятые, также являются лексемами. Границы лек­сем определяются пробельными символами и другими лексемами, таки­ми как операции и знаки пунктуации. Чтобы предупредить неправиль­ную работу компилятора, запрещаются пробельные символы между сим­волами идентификаторов, операциями, состоящими из нескольких сим­волов и символами ключевых слов.

Когда компилятор выделяет отдельную лексему, он последова­тельно об"единяет столько символов, сколько возможно, прежде чем перейти к обработке следующей лексемы. Поэтому лексемы, не раз­деленные пробельными символами, могут быть проинтерпретированы неверно.

Например, рассмотрим следующее выражение:

i+++j

В этом примере компилятор вначале создает из трех знаков плюс самую длинную из возможных операций (++), а затем обработает оставшийся знак +, как операцию сложения (+). Выражение проинтер­претируется как (i++)+(j), а не как (i)+(++j). В таких случаях необходимо использовать пробельные символы или круглые скобки, чтобы однозначно определить ситуацию.