]> Cypherpunks repositories - gostls13.git/commitdiff
Clarify section on tokens.
authorRobert Griesemer <gri@golang.org>
Mon, 28 Dec 2009 22:40:42 +0000 (14:40 -0800)
committerRobert Griesemer <gri@golang.org>
Mon, 28 Dec 2009 22:40:42 +0000 (14:40 -0800)
Fixes #457.

R=r
CC=golang-dev
https://golang.org/cl/181083

doc/go_spec.html

index ed740187b9164abbf8ca1279a4fc579c5563c6d0..8a11e49f9d78b9c75750a6e58922b1beeeda49fb 100644 (file)
@@ -151,12 +151,13 @@ Comments do not nest.
 
 <p>
 Tokens form the vocabulary of the Go language.
-There are four classes: identifiers, keywords, operators
-and delimiters, and literals.  <i>White space</i>, formed from
+There are four classes: <i>identifiers</i>, <i>keywords</i>, <i>operators
+and delimiters</i>, and <i>literals</i>.  <i>White space</i>, formed from
 spaces (U+0020), horizontal tabs (U+0009),
 carriage returns (U+000D), and newlines (U+000A),
 is ignored except as it separates tokens
-that would otherwise combine into a single token.
+that would otherwise combine into a single token. Also, a newline
+may trigger the insertion of a <a href="#Semicolons">semicolon</a>.
 While breaking the input into tokens,
 the next token is the longest sequence of characters that form a
 valid token.