compress/lzw: implement an encoder.

R=rsc, nigeltao_gnome
CC=golang-dev
https://golang.org/cl/4209043

reflect: add pointer word to CommonType

The pointer will eventually let us find *T given T.
This CL just makes room for it, always storing a zero.

R=r, r2
CC=golang-dev
https://golang.org/cl/4221046

runtime: fix signal stack bug

In CL 4188061 I changed malg to allocate the requested
number of bytes n, not n+StackGuard, so that the
allocations would use rounder numbers.

The allocation of the signal stack asks for 32k and
then used g->stackguard as the base, but g->stackguard
is StackGuard bytes above the base.  Previously, asking
for 32k meant getting 32k+StackGuard bytes, so using
g->stackguard as the base was safe.  Now, the actual base
must be computed, so that the signal handler does not
run StackGuard bytes past the top of the stack.

Was causing flakiness mainly in programs that use the
network, because they sometimes write to closed network
connections, causing SIGPIPEs.  Was also causing problems
in the doc/progs test.

Also fix Makefile so that changes to stack.h trigger rebuild.

R=bradfitzgo, r, r2
CC=golang-dev
https://golang.org/cl/4230044

ld: weak symbols

A reference to the address of weak.foo resolves at link time
to the address of the symbol foo if foo would end up in the
binary anyway, or to zero if foo would not be in the binary.

For example:

        int xxx = 1;
        int yyy = 2;
        int weak·xxx;
        int weak·yyy;

        void main·main(void) {
                runtime·printf("%p %p %p\n", &xxx, &weak·xxx, &weak·yyy);
        }

prints the same non-nil address twice, then 0 (because yyy is not
referenced so it was dropped from the binary).

This will be used by the reflection tables.

R=iant
CC=golang-dev
https://golang.org/cl/4223044

http: remove debugging log statement

Issue 1547 is fixed.

R=bradfitzgo, r
CC=golang-dev
https://golang.org/cl/4209045

godoc: fix writeFileAtomically utility function

If the filename was absolute, writeFileAtomically
used the wrong filename for ioutil.TempFile leading
to non-existent directories and the TempFile would
fail.

R=r, r2
CC=golang-dev
https://golang.org/cl/4224043

godoc: log errors when reading filter files

R=r, r2
CC=golang-dev
https://golang.org/cl/4230042

fmt: stop giving characters to the Scan method of Scanner
when we hit a newline during *scanln routines.

Fixes #1490.

R=rsc
CC=golang-dev
https://golang.org/cl/4209042

8l/6l: new -Hwindowsgui flag allows to build windows gui pe

Fixes #1516.

R=rsc, mattn
CC=golang-dev
https://golang.org/cl/4214041

build: remove unused nacl conditional from make.bash

R=golang-dev, adg
CC=golang-dev
https://golang.org/cl/4217042

net: *netFD.Read to return os.EOF on eof (fixes windows build)

R=golang-dev, rsc
CC=golang-dev
https://golang.org/cl/4210041

http: set method GET on Get() requests

R=adg, bradfitzwork
CC=golang-dev
https://golang.org/cl/4229042

build: remove _gcc_main.c during make clean

R=r, r2
CC=golang-dev
https://golang.org/cl/4226043

runtime: always run stackalloc on scheduler stack

Avoids deadlocks like the one below, in which a stack split happened
in order to call lock(&stacks), but then the stack unsplit cannot run
because stacks is now locked.

The only code calling stackalloc that wasn't on a scheduler
stack already was malg, which creates a new goroutine.

runtime.futex+0x23 /home/rsc/g/go/src/pkg/runtime/linux/amd64/sys.s:139
       runtime.futex()
futexsleep+0x50 /home/rsc/g/go/src/pkg/runtime/linux/thread.c:51
       futexsleep(0x5b0188, 0x300000003, 0x100020000, 0x4159e2)
futexlock+0x85 /home/rsc/g/go/src/pkg/runtime/linux/thread.c:119
       futexlock(0x5b0188, 0x5b0188)
runtime.lock+0x56 /home/rsc/g/go/src/pkg/runtime/linux/thread.c:158
       runtime.lock(0x5b0188, 0x7f0d27b4a000)
runtime.stackfree+0x4d /home/rsc/g/go/src/pkg/runtime/malloc.goc:336
       runtime.stackfree(0x7f0d27b4a000, 0x1000, 0x8, 0x7fff37e1e218)
runtime.oldstack+0xa6 /home/rsc/g/go/src/pkg/runtime/proc.c:705
       runtime.oldstack()
runtime.lessstack+0x22 /home/rsc/g/go/src/pkg/runtime/amd64/asm.s:224
       runtime.lessstack()
----- lessstack called from goroutine 2 -----
runtime.lock+0x56 /home/rsc/g/go/src/pkg/runtime/linux/thread.c:158
       runtime.lock(0x5b0188, 0x40a5e2)
runtime.stackalloc+0x55 /home/rsc/g/go/src/pkg/runtime/malloc.c:316
       runtime.stackalloc(0x1000, 0x4055b0)
runtime.malg+0x3d /home/rsc/g/go/src/pkg/runtime/proc.c:803
       runtime.malg(0x1000, 0x40add9)
runtime.newproc1+0x12b /home/rsc/g/go/src/pkg/runtime/proc.c:854
       runtime.newproc1(0xf840027440, 0x7f0d27b49230, 0x0, 0x49f238, 0x40, ...)
runtime.newproc+0x2f /home/rsc/g/go/src/pkg/runtime/proc.c:831
       runtime.newproc(0x0, 0xf840027440, 0xf800000010, 0x44b059)
...

R=r, r2
CC=golang-dev
https://golang.org/cl/4216045

runtime: omit breakpoint during terminal panic

A terminal panic (one that prints a stack trace and exits)
has been calling runtime.breakpoint before calling exit,
so that if running under a debugger, the debugger can
take control.  When not running under a debugger, though,
this causes an additional SIGTRAP on Unix and pop-up
dialogs on Windows.

Support for debugging Go programs has gotten good
enough that we can rely on the debugger to set its own
breakpoint on runtime.exit if it wants to look around.

R=r, r2
CC=golang-dev
https://golang.org/cl/4222043

http: introduce start of Client and ClientTransport

Much yet to come, but this is a safe first step, introducing
an in-the-future configurable Client object (where policy for
cookies, auth, redirects will live) as well as introducing a
ClientTransport interface for sending requests.

The CL intentionally ignores everything around the creation
and configuration of Clients and merely ports/wraps the old
interfaces to/around Client/ClientTransport.

R=rsc, dsymonds, nigeltao, bradfitzwork
CC=golang-dev
https://golang.org/cl/4182086

runtime: pass to signal handler value of g at time of signal

The existing code assumed that signals only arrived
while executing on the goroutine stack (g == m->curg),
not while executing on the scheduler stack (g == m->g0).

Most of the signal handling trampolines correctly saved
and restored g already, but the sighandler C code did not
have access to it.

Some rewriting of assembly to make the various
implementations as similar as possible.

Will need to change Windows too but I don't
understand how sigtramp gets called there.

R=r
CC=golang-dev
https://golang.org/cl/4203042

runtime: traceback through active lessstack

With this change, a panic trace due to a signal arriving while
running on the scheduler stack during a lessstack
(a stack unsplit) will trace through the lessstack to show
the state of the goroutine that was unsplitting its stack.

R=r
CC=golang-dev
https://golang.org/cl/4206042

5g: fix optimizer bug

same as in issue below, never fixed on ARM

changeset:   5498:3fa1372ca694
user:        Ken Thompson <ken@golang.org>
date:        Thu May 20 17:31:28 2010 -0700

description:
fix issue 798
cannot allocate an audomatic temp
while real registers are allocated.
there is a chance that the automatic
will be allocated to one of the
allocated registers. the fix is to
not registerize such variables.

R=rsc
CC=golang-dev
https://golang.org/cl/1202042

R=ken2
CC=golang-dev
https://golang.org/cl/4226042

sync: make package comment appear

R=rsc
CC=golang-dev
https://golang.org/cl/4220044

gob: protect against pure recursive types.

There are further changes required for things like
recursive map types.  Recursive struct types work
but the mechanism needs generalization.  The
case handled in this CL is pathological since it
cannot be represented at all by gob, so it should
be handled separately. (Prior to this CL, encode
would recur forever.)

R=rsc
CC=golang-dev
https://golang.org/cl/4206041

compress/bzip2: fix bugs

(Once again, proving that a fuzz tester is the first thing that I
should try.)

R=bradfitzgo
CC=golang-dev
https://golang.org/cl/4227042

codereview: fix clpatch with empty diffs

Avoid passing the placeholder diff to hgpatch, so that
clpatch-ing an empty diff grabs the metadata and warns
about it being empty, rather than failing with a
hard-to-debug problem ("mkdir: no such file or dir",
no metadata, etc).

R=rsc
CC=golang-dev
https://golang.org/cl/4172060

json: use base64 to encode []byte

R=rsc
CC=golang-dev
https://golang.org/cl/4160058

compress/bzip2: add package.

This code implements bzip2 decompression only.

R=bradfitzgo, r2, nigeltao, rsc
CC=golang-dev
https://golang.org/cl/4176051

compress/lzw: implement a decoder.

R=rsc
CC=bsiegert, golang-dev, mpl
https://golang.org/cl/4182081

http: introduce Header type, implement with net/textproto
textproto: introduce Header type
websocket: use new interface to access Header

R=rsc, mattn
CC=golang-dev
https://golang.org/cl/4185053

Make.pkg, doc: Replace references to "-benchmarks" and "-match" with "-test.bench" and "-test.run".

R=r
CC=golang-dev
https://golang.org/cl/4197041

go/parser: if and switch statements still can have empty init statements

This is a fix for the overly aggressive CL 4173075.
Ran all tests.

R=r, rsc
CC=golang-dev
https://golang.org/cl/4203041

net: refactor windows code

R=golang-dev, rsc
CC=golang-dev
https://golang.org/cl/4185054

5l/6l/8l: use enums for header type and symbolic strings for -H option values

Thanks to rsc for the suggestion.

R=r
CC=golang-dev
https://golang.org/cl/4174060

exp/eval, go/printer: fix build

There are some minor irregularities in the printer
output (some paren's are present that should be
removed), but these are unrelated issues.
Will review in a 2nd step.

R=rsc
CC=golang-dev
https://golang.org/cl/4188068

arm: fix build

Changes on laptop were not sync'ed to machine
where I ran hg submit.

R=r
CC=golang-dev
https://golang.org/cl/4195048

go/ast, parser: condition in if statement is mandatory

As a result, parsing a "control clause" is now sufficiently
different for if, switch, and for statements that the code
is not factored out anymore. The code is a bit longer but
clearer in each individual case.

Reflect the changes in AST.

R=r, r2
CC=golang-dev
https://golang.org/cl/4173075

go spec: make condition mandatory in if statements

Plus a few minor HTML fixes.

Fixes #1535.

R=r, rsc, ken2, iant, r2
CC=golang-dev
https://golang.org/cl/4185065

gc: require if condition

R=ken2, r2
CC=golang-dev
https://golang.org/cl/4195045

test: do not depend on implicit if condition

Deleted test/ken/robif.go because test/if.go is
the same program modulo formatting.

R=golang-dev, gri, r2
CC=golang-dev
https://golang.org/cl/4186068

ld: detect stack overflow due to NOSPLIT

Fix problems found.

On amd64, various library routines had bigger
stack frames than expected, because large function
calls had been added.

runtime.assertI2T: nosplit stack overflow
        120 assumed on entry to runtime.assertI2T
        8 after runtime.assertI2T uses 112
        0 on entry to runtime.newTypeAssertionError
        -8 on entry to runtime.morestack01

runtime.assertE2E: nosplit stack overflow
        120 assumed on entry to runtime.assertE2E
        16 after runtime.assertE2E uses 104
        8 on entry to runtime.panic
        0 on entry to runtime.morestack16
        -8 after runtime.morestack16 uses 8

runtime.assertE2T: nosplit stack overflow
        120 assumed on entry to runtime.assertE2T
        16 after runtime.assertE2T uses 104
        8 on entry to runtime.panic
        0 on entry to runtime.morestack16
        -8 after runtime.morestack16 uses 8

runtime.newselect: nosplit stack overflow
        120 assumed on entry to runtime.newselect
        56 after runtime.newselect uses 64
        48 on entry to runtime.printf
        8 after runtime.printf uses 40
        0 on entry to vprintf
        -8 on entry to runtime.morestack16

runtime.selectdefault: nosplit stack overflow
        120 assumed on entry to runtime.selectdefault
        56 after runtime.selectdefault uses 64
        48 on entry to runtime.printf
        8 after runtime.printf uses 40
        0 on entry to vprintf
        -8 on entry to runtime.morestack16

runtime.selectgo: nosplit stack overflow
        120 assumed on entry to runtime.selectgo
        0 after runtime.selectgo uses 120
        -8 on entry to runtime.gosched

On arm, 5c was tagging functions NOSPLIT that should
not have been, like the recursive function printpanics:

printpanics: nosplit stack overflow
        124 assumed on entry to printpanics
        112 after printpanics uses 12
        108 on entry to printpanics
        96 after printpanics uses 12
        92 on entry to printpanics
        80 after printpanics uses 12
        76 on entry to printpanics
        64 after printpanics uses 12
        60 on entry to printpanics
        48 after printpanics uses 12
        44 on entry to printpanics
        32 after printpanics uses 12
        28 on entry to printpanics
        16 after printpanics uses 12
        12 on entry to printpanics
        0 after printpanics uses 12
        -4 on entry to printpanics

R=r, r2
CC=golang-dev
https://golang.org/cl/4188061

misc/dashboard/builder: talk to hg with utf-8 encoding always.

Fixes #1465.

R=rsc
CC=golang-dev
https://golang.org/cl/4172063

.hgignore: add *.cgo*.{c,go}

R=golang-dev, rsc
CC=golang-dev
https://golang.org/cl/4168059

gob: compute information about a user's type once.
Other than maybe cleaning the code up a bit, this has
little practical effect for now, but lays the foundation
for remembering the method set of a type, which can
be expensive.

R=rsc
CC=golang-dev
https://golang.org/cl/4193041

go spec: fix local link

Fixes #1543.

R=rsc, r2
CC=golang-dev
https://golang.org/cl/4169068

reflect: add a secret method to ArrayOrSliceType.
It was observed that the interface was generic enough
that several other types implemented it too.

Fixes #1530.

R=rsc
CC=golang-dev
https://golang.org/cl/4169063

http: add pointer from Handle[Func] to ServeMux docs

R=r
CC=golang-dev
https://golang.org/cl/4169065

http: cleaned up HEAD request method.

Removed a redefinition of the request URL which is never used and
redundant checking of the return value from send().

R=golang-dev, adg
CC=golang-dev
https://golang.org/cl/4184061

A+C: Padraig Kitterick

R=dsymonds
CC=golang-dev
https://golang.org/cl/4186065

testing: Fix typo on Logf doc comment.

R=rsc, r2
CC=golang-dev
https://golang.org/cl/4167064

image/png: support for more formats

Added support for reading images with grayscale + alpha and
for images with depth 1, 2 or 4.

R=nigeltao
CC=golang-dev
https://golang.org/cl/4174053

A+C: Mikael Tillenius (individual CLA)

R=dsymonds
CC=golang-dev
https://golang.org/cl/4179063

runtime-gdb.py: gdb pretty printer for go strings properly handles length.

R=rsc, r2
CC=golang-dev
https://golang.org/cl/4183060

spec: delete incorrect obsolete mention of selector working on
pointer to interface type.

R=golang-dev, niemeyer, gri
CC=golang-dev
https://golang.org/cl/4173067

crypto/openpgp/packet: comment typo fix.

R=rsc
CC=golang-dev
https://golang.org/cl/4178065

build: reduce the use of subshells in recursive make

Using make -C $* rather than (cd $* ; make) results in a small,
but measurable improvement in build times where compilation is
not the major component. eg.

before - ~/go/src/pkg$ time make
        real 0m1.176s
        user 0m0.639s
        sys 0m0.399s
after - ~/go/src/pkg$ time make
        real 0m0.916s
        user 0m0.571s
        sys 0m0.243s

There are other places in the distribution src/make.common for example
that could also benefit from this change.

R=adg
CC=golang-dev, rsc
https://golang.org/cl/4174055

misc/dashboard: tweak build fail notification email

R=rsc
CC=golang-dev
https://golang.org/cl/4170063

net: fix multicast tests

R=rsc, mikioh, rsc1, dho
CC=golang-dev
https://golang.org/cl/4174056

crypto/openpgp/packet: fix testing print (missing arg)

R=agl
CC=golang-dev
https://golang.org/cl/4173062

godoc: serve robots.txt raw

R=gri, niemeyer, rsc, r2, r
CC=golang-dev
https://golang.org/cl/4188063

.hgignore: add doc/codelab/wiki/*.bin

R=golang-dev, adg
CC=golang-dev
https://golang.org/cl/4173063

runtime: handle non-standard call sequences in arm traceback

R=r
CC=golang-dev
https://golang.org/cl/4191048

fix build

pieces of an upcoming CL leaked into CL 4168056

TBR=r
CC=golang-dev
https://golang.org/cl/4180057

runtime: record $GOROOT_FINAL for runtime.GOROOT

Update #1527.

R=adg, oerdnj
CC=golang-dev
https://golang.org/cl/4171060

ld: drop rpath

Was required by old cgo but we don't
generate stub .so files anymore.

Update #1527.

R=iant
CC=golang-dev
https://golang.org/cl/4168056

crypto/rsa: left-pad OAEP results when needed.

PKCS#1 v2.1 section 7.1.1 says that the result of an OAEP encryption
is "an octet string of length $k$". Since we didn't left-pad the
result it was previously possible for the result to be smaller when
the most-significant byte was zero.

Fixes #1519.

R=rsc
CC=golang-dev
https://golang.org/cl/4175059

go/scanner: update comment

R=r, r2
CC=golang-dev
https://golang.org/cl/4184053

testing: rename cmdline flags to avoid conflicts

Flags defined in the testing package may conflict
with real flags defined in the main package, or in
any other imported package.

This change makes them less likely to be used for
other purposes.

R=r, rsc, r2
CC=golang-dev
https://golang.org/cl/4167055

6l: pe fixes

R=rsc, brainman
CC=golang-dev
https://golang.org/cl/4182061

html: small documentation fix.

R=rsc
CC=golang-dev
https://golang.org/cl/4169058

http: send full URL in proxy requests

Fixes #53.  (again)

R=agl1
CC=golang-dev
https://golang.org/cl/4167054

json: only use alphanumeric tags

Almost the same definition as Go identifier names.
(Leading digits are allowed.)

Fixes #1520.

R=r, r2
CC=golang-dev
https://golang.org/cl/4173061

gc: interface error message fixes

Fixes #1526.

R=ken2
CC=golang-dev
https://golang.org/cl/4190051

net: remove comment fragments

I have no idea how I meant to complete that sentence.

R=r, r2
CC=golang-dev
https://golang.org/cl/4191046

runtime: descriptive panics for use of nil map

R=r, r2
CC=golang-dev
https://golang.org/cl/4173060

crypto/rand: Added read buffer to speed up requests for small amounts of bytes.

R=agl1, rsc
CC=golang-dev
https://golang.org/cl/4170056

misc/dashboard: notify golang-dev on build failure

Fixes #1229.

R=rsc
CC=golang-dev
https://golang.org/cl/4178048

Effective Go: stress that comments are uninterpreted text
that should look in godoc.

R=rsc, dsymonds
CC=golang-dev
https://golang.org/cl/4192041

arm runtime: attempt to fix build by adding casp (same as cas)
untested.

Fixes #1523.

R=rsc
CC=golang-dev
https://golang.org/cl/4171057

doc/devel/release: discuss StartProcess in release notes

R=rsc
CC=golang-dev
https://golang.org/cl/4172051

syscall: fix windows SetFileAttributes

R=golang-dev, rsc, hector
CC=golang-dev, mattn
https://golang.org/cl/4180052

net: fix windows build

R=golang-dev, r2
CC=golang-dev
https://golang.org/cl/4184051

html: tokenize HTML comments.

I'm not sure if it's 100% correct wrt the HTML5 specification,
but the test suite has plenty of HTML comment test cases, and
we'll shake out any tokenization bugs as the parser improves its
coverage.

R=gri
CC=golang-dev
https://golang.org/cl/4186055

gc: make string const comparison unsigned

Make compile-time string const comparison match semantics
of runtime.cmpstring.

Fixes #1515.

R=rsc
CC=golang-dev, rog
https://golang.org/cl/4172049

net: add IPv4 multicast to UDPConn

notes:
Darwin is very particular about joining a multicast group if the
listneing socket is not created in "udp4" mode, the other supported
OS's are more flexible.

A simple example sets up a socket to listen on the mdns/bonjour
group 224.0.0.251:5353

// ensure the sock is udp4, and the IP is a 4 byte IPv4
socket, err := net.ListenUDP("udp4", &net.UDPAddr {
        IP: net.IPv4zero,
        // currently darwin will not allow you to bind to
        // a port if it is already bound to another process
        Port: 5353,
})
if err != nil {
        log.Exitf("listen %s", err)
}
defer socket.Close()
err = socket.JoinGroup(net.IPv4(224, 0, 0, 251))
if err != nil {
        log.Exitf("join group %s", err)
}

R=adg, rsc
CC=golang-dev
https://golang.org/cl/4066044

net: more accurate IPv4-in-IPv6 API test

R=rsc
CC=golang-dev
https://golang.org/cl/4172045

net: reject invalid net:proto network names

R=rsc
CC=golang-dev
https://golang.org/cl/4129042

A+C: Olivier Antoine (individual CLA)

Also sort name lists.

R=r, r2
CC=golang-dev
https://golang.org/cl/4191044

sync: add Cond

R=rsc, rog, r
CC=golang-dev
https://golang.org/cl/3775048

os: remove ENODATA (fixes freebsd build)

R=r, r2
CC=golang-dev
https://golang.org/cl/4175053

http: add proxy support
Fixes #53.

R=agl1, jacek.masiulaniec, adg, rsc, agl
CC=golang-dev
https://golang.org/cl/3794041

reflect: add a couple of sentences explaining how Methods operate.

R=rsc, gri, rsc1, bsiegert
CC=golang-dev
https://golang.org/cl/4183053

test/bench: update timings for new GC
Some significant improvements; e.g. pidigits goes from 8.33 to 6.37

Also add gccgo for regex-dna.

R=rsc
CC=golang-dev
https://golang.org/cl/4160056

runtime: fix memory allocator for GOMAXPROCS > 1

Bitmaps were not being updated safely.
Depends on 4188053.

Fixes #1504.
May fix issue 1479.

R=r, r2
CC=golang-dev
https://golang.org/cl/4184048

runtime: minor cleanup

implement runtime.casp on amd64.
keep simultaneous panic messages separate.

R=r
CC=golang-dev
https://golang.org/cl/4188053

os: add ENODATA and ENOTCONN
syscall: add MCL_* flags for mlockall

R=rsc
CC=golang-dev
https://golang.org/cl/4177044

netchan: allow use of arbitrary connections.

R=r, r2, rsc
CC=golang-dev
https://golang.org/cl/4119055

syscall: implement chmod() for win32.

R=golang-dev, rsc, brainman
CC=golang-dev
https://golang.org/cl/4175049

8l,6l: allow for more os threads to be created on Windows

Program listed http://code.google.com/p/go/issues/detail?id=1495
(with nRequester set to 10000) will crash with

runtime: failed to create new OS thread (have 4526 already; errno=8)

instead of

runtime: failed to create new OS thread (have 618 already; errno=8).

R=golang-dev, rsc, vcc
CC=golang-dev
https://golang.org/cl/4172046

syscall: fix inverse checking of result code on windows.

R=golang-dev, brainman, rsc
CC=golang-dev
https://golang.org/cl/4179049

compress: move zlib/testdata to testdata so it can be shared by all
compression algorithms.

R=rsc, r2, nigeltao_gnome
CC=golang-dev
https://golang.org/cl/4188054

doc: fix release notes anchor tag

R=r, r2
CC=golang-dev
https://golang.org/cl/4178055

crypto/tls: make protocol negotiation failure fatal

R=r, r2
CC=golang-dev
https://golang.org/cl/4178054