Debugged processes, remote values, and remote type parser

R=rsc
APPROVED=rsc
DELTA=917  (917 added, 0 deleted, 0 changed)
OCL=34049
CL=34066

Debugger's remote runtime definitions.

R=rsc
APPROVED=rsc
DELTA=237  (237 added, 0 deleted, 0 changed)
OCL=33966
CL=34065

Implement cap, len, and make, as well as the general framework
for built-in functions and type conversions.  Extract out
common operations on expression nodes for converting them to
ints and implicitly dereferencing arrays.

R=rsc
APPROVED=rsc
DELTA=442  (365 added, 50 deleted, 27 changed)
OCL=34064
CL=34064

arraytoslice and some cleanup

R=rsc
OCL=34058
CL=34058

Fix named types being defined to named types.  In general, the
code assumes that the definition of a named type is not a
named type, but some code paths could violate that.

R=rsc
APPROVED=rsc
DELTA=9  (5 added, 2 deleted, 2 changed)
OCL=34046
CL=34053

sliceslice bug

R=rsc
OCL=34050
CL=34050

bug in sliceslice

R=rsc
OCL=34047
CL=34047

print the value using (in effect) %v when Printf is given mismatched args for its format
Printf("%s", 2) gives %s(int=2)

R=rsc
DELTA=12  (10 added, 0 deleted, 2 changed)
OCL=34042
CL=34044

Give NamedTypes a public interface

R=rsc
APPROVED=rsc
DELTA=32  (14 added, 1 deleted, 17 changed)
OCL=34043
CL=34043

sliceslice inline

R=rsc
OCL=34041
CL=34041

fix ", First" ", Last" ranges from UnicodeData.txt

R=rsc
DELTA=54  (38 added, 2 deleted, 14 changed)
OCL=34032
CL=34040

Run the tests for the testing package.  Fix them so that they
work.

R=rsc
DELTA=16  (1 added, 1 deleted, 14 changed)
OCL=34012
CL=34038

- don't associate factory methods to basic types (which have no explicit declarations)
- be more robust in the presence of absent type declarations

R=rsc
DELTA=81  (63 added, 14 deleted, 4 changed)
OCL=34033
CL=34036

- exponentially back off auto-sync'ing instead disabling it in case of failure

R=rsc
DELTA=48  (35 added, 3 deleted, 10 changed)
OCL=34030
CL=34034

Implement runtime errors, divide-by-zero checking, nil pointer
checking, bounds checking, and map key checking.

R=rsc
APPROVED=rsc
DELTA=202  (108 added, 72 deleted, 22 changed)
OCL=33981
CL=34031

- collect consts and vars in one list
- handle absence of forward-decls correctly
  (cannot assume a type was declared before it was used)

R=rsc
DELTA=112  (32 added, 38 deleted, 42 changed)
OCL=34008
CL=34027

64 bit lsh, sub, and/or/eor. some placeholder files in syscall and os.

R=rsc
APPROVED=rsc
DELTA=204  (139 added, 0 deleted, 65 changed)
OCL=34009
CL=34025

Build fix: fix typo in sort pkg.

APPROVED=rsc
DELTA=2  (0 added, 0 deleted, 2 changed)
OCL=34016
CL=34022

improve generated code for godocability

R=rsc
DELTA=459  (168 added, 279 deleted, 12 changed)
OCL=34005
CL=34007

os.File.ReadAt/WriteAt

R=r
DELTA=84  (81 added, 0 deleted, 3 changed)
OCL=34006
CL=34006

add Sort methods for convenience types

R=gri
DELTA=9  (9 added, 0 deleted, 0 changed)
OCL=34000
CL=34003

add scripts tables to the unicode package

R=rsc
DELTA=1479  (1422 added, 1 deleted, 56 changed)
OCL=33993
CL=33997

doc fixes (no lang changes)
- added missing predeclared identifiers
- html-escaping of a few <<'s and >>'s
- added a few links (and removed the §'s)

R=r
DELTA=30  (0 added, 0 deleted, 30 changed)
OCL=33985
CL=33995

tweaks

R=r
DELTA=2  (0 added, 0 deleted, 2 changed)
OCL=33994
CL=33994

bug in arrayslice

R=rsc
OCL=33987
CL=33987

- modified type switches (replacement for CL 32659)
- takes into account new scoping rules

DELTA=52  (21 added, 7 deleted, 24 changed)
OCL=33967
CL=33982

inline slicearray

R=rsc
OCL=33974
CL=33974

Utilities to bridge native types and functions into
interpreter values.  Also, print nil values properly.

R=rsc
APPROVED=rsc
DELTA=173  (173 added, 0 deleted, 0 changed)
OCL=33837
CL=33973

Cleanups:
- remove visitor pattern interface (not used)
- added non-exported "branding" methods to enforce
  node hierarchy

R=rsc
DELTA=174  (13 added, 92 deleted, 69 changed)
OCL=33838
CL=33963

Debugger architecture interface and definitions for AMD64.

R=rsc
APPROVED=rsc
DELTA=114  (114 added, 0 deleted, 0 changed)
OCL=33957
CL=33962

Make the statement compiler not use the AST visitor.

In the process, I made error handling in the statement
compiler much saner.  Instead of separately tracking various
error flags with weird relations, I just track if any error
messages have been produced.

R=rsc
APPROVED=rsc
DELTA=308  (98 added, 135 deleted, 75 changed)
OCL=33870
CL=33961

remove Line in bufio.ReadLine(Bytes|Slice|String)
also drop bool arg from ReadString

R=r
DELTA=45  (13 added, 1 deleted, 31 changed)
OCL=33923
CL=33960

add and use Make.cmd

R=r
DELTA=63  (23 added, 31 deleted, 9 changed)
OCL=33932
CL=33959

clean up ideal handling; reject attempts
to write type descriptors for ideal types

R=ken
OCL=33958
CL=33958

fix build. changing var to const, which it should be anyway,
implicitly works around 6g bug.

R=rsc
OCL=33953
CL=33953

unicode tables for all categories
maketables now has a --test option to verify the data.

R=rsc
DELTA=3087  (1982 added, 1001 deleted, 104 changed)
OCL=33947
CL=33950

Introduce the image package.

R=rsc
APPROVED=r,rsc
DELTA=244  (244 added, 0 deleted, 0 changed)
OCL=33733
CL=33940

bug slicing array - cap is huge

R=rsc
OCL=33936
CL=33936

template: Support iterables for repeated fields.

R=r,rsc
APPROVED=rsc
DELTA=194  (97 added, 32 deleted, 65 changed)
OCL=33861
CL=33933

change IsDecimalDigit to IsDigit because Decimal is redundant

R=rsc
DELTA=792  (398 added, 383 deleted, 11 changed)
OCL=33919
CL=33921

Cascading errors lead to a compiler crash.

R=rsc
DELTA=18  (18 added, 0 deleted, 0 changed)
OCL=33914
CL=33917

add io.LimitReader.
use it to limit data read from http.Request Body

R=r
DELTA=32  (8 added, 6 deleted, 18 changed)
OCL=33899
CL=33916

fix bufio bugs involving readers that return os.EOF with
the last bit of data.

add a new iotest.DataErrReader for tests

R=r
DELTA=93  (41 added, 31 deleted, 21 changed)
OCL=33897
CL=33915

fix codec test bug - uint -> uint8

R=r
OCL=33913
CL=33913

Implement divWW_g in Go.

R=gri
DELTA=105  (77 added, 23 deleted, 5 changed)
OCL=33890
CL=33910

generate the unicode tables directly from web database

after this CL, two more to come:
1) add an exhaustive test, probably as a variant of maketables
2) add ToUpper, ToLower, ToTitle and associated tests

R=rsc
DELTA=1578  (1007 added, 559 deleted, 12 changed)
OCL=33902
CL=33907

recycle G structs

R=r
DELTA=1  (1 added, 0 deleted, 0 changed)
OCL=33887
CL=33904

Restore comment line accidentally dropped in CL 33097.

R=rsc
DELTA=1  (1 added, 0 deleted, 0 changed)
OCL=33891
CL=33891

cleanups before making larger changes

R=rsc
DELTA=113  (10 added, 30 deleted, 73 changed)
OCL=33877
CL=33882

finish ChanValue: Len and Cap.

R=r
DELTA=45  (45 added, 0 deleted, 0 changed)
OCL=33873
CL=33881

add Close() and Closed() to ChanValue

R=r
DELTA=60  (56 added, 3 deleted, 1 changed)
OCL=33868
CL=33872

added Newton-Raphson Division as an additional bignum testcase

R=rsc
DELTA=192  (192 added, 0 deleted, 0 changed)
OCL=33853
CL=33864

Make the expression compiler not use the AST visitor.  The
statement compiler will be fixed in a later CL.

The input and output of the expression compiler are now
clearly distinguished.  In the process, I made the individual
expression compilers operate on the compiled form of their
children instead of AST nodes.  As a result, there are now
fewer places where I hand-craft intermediate expression nodes.

The diff looks scarier than it is, mostly because exprCompiler
has been split into the input and output types, resulting in
lots of little renames.

R=rsc
APPROVED=rsc
DELTA=774  (204 added, 199 deleted, 371 changed)
OCL=33851
CL=33851

rename runtime internals to have modern names (array->slice etc)

R=rsc
DELTA=444  (179 added, 177 deleted, 88 changed)
OCL=33847
CL=33849

checkpoint & test (pidigits) before trying to automate.

R=r
DELTA=616  (598 added, 11 deleted, 7 changed)
OCL=33846
CL=33848

cgocall bug fix.

better FFI demo: compute fibonacci numbers using FFI'ed libgmp.

R=r
DELTA=281  (255 added, 19 deleted, 7 changed)
OCL=33815
CL=33820

Wrap kludge text in HTML comments so the text/html output will remain valid HTML.

Be more conservative: only mess with text/html and text/plain output.

R=rsc
APPROVED=rsc
DELTA=20  (12 added, 5 deleted, 3 changed)
OCL=33806
CL=33812

start of FFI support, and a demo.

R=r
DELTA=494  (492 added, 0 deleted, 2 changed)
OCL=33784
CL=33810

ffi -> dynld.
move out of export data into its own section

R=r
DELTA=222  (71 added, 99 deleted, 52 changed)
OCL=33801
CL=33808

bug132

R=ken
OCL=33792
CL=33803

change reflect test to avoid bug132

R=gri
DELTA=20  (17 added, 0 deleted, 3 changed)
OCL=33793
CL=33802

first attempt at real FFI support.

in a .6 file, an export line

//ffi T localfib remotefib remote.so

means the dynamic linker should initialize
localfib, always a pointer, to the address of
remotefib, either text (T) or data (D) after
loading remote.so.

the C compiler will generate an export section
when given the pragmas

#pragma package fib
#pragma ffi T localfib remotefib remote.so

needing #pragma package is a bit of a kludge
and hopefully could go away later.

this is just the 6 tool chain support.
other architectures will happen once 6 settles down.

code using this to do FFI is in a later CL.

R=r
DELTA=161  (141 added, 14 deleted, 6 changed)
OCL=33783
CL=33795

fix duplicated word

R=rsc
DELTA=1  (0 added, 0 deleted, 1 changed)
OCL=33788
CL=33791

Match gccgo error messages.

bug192.go:11:5: error: redefinition of ‘fmt’
bug192.go:9:8: note: previous definition of ‘fmt’ was here

R=r
DELTA=2  (0 added, 0 deleted, 2 changed)
OCL=33780
CL=33790

- fix for multiple fields at same depth error

R=rsc
DELTA=9  (5 added, 0 deleted, 4 changed)
OCL=33768
CL=33785

gc: handle iface == nil in back end

R=ken
OCL=33778
CL=33781

64bit literal RSH

R=rsc
APPROVED=rsc
DELTA=85  (35 added, 0 deleted, 50 changed)
OCL=33761
CL=33767

Make it only necessary to exit blocks, not scopes.  Allow
variables to be given initial values in some cases, to make
building global scopes more convenient.

R=rsc
APPROVED=rsc
DELTA=29  (17 added, 0 deleted, 12 changed)
OCL=33760
CL=33766

bug197

R=ken
OCL=33765
CL=33765

avoid duplicate field names, so that bug132 can be fixed

also fix echo bug that just surfaced in mkerrors.sh

R=r
DELTA=67  (11 added, 19 deleted, 37 changed)
OCL=33743
CL=33757

linker work
  * use //ffi comments in package import data
    to generate relocation entries and library loads.
  * call initffi in rt0.s if present

R=r
DELTA=117  (91 added, 3 deleted, 23 changed)
OCL=33739
CL=33750

bug189

R=ken
OCL=33745
CL=33745

half of bug193

R=ken
OCL=33730
CL=33730

linker work
  * more elf constants from FreeBSD
  * simple relocation demo

R=r
DELTA=410  (354 added, 49 deleted, 7 changed)
OCL=33689
CL=33729

semicolons, ifs, switches

R=rsc
DELTA=196  (118 added, 24 deleted, 54 changed)
OCL=33716
CL=33727

allow "comma ok" in initializers

DELTA=11  (4 added, 0 deleted, 7 changed)
OCL=33698
CL=33712

more interface embedding tests
6g's error for I4 is not quite accurate
(it calls I4 a non-interface) but also
not a crash or infinite loop.

R=iant
DELTA=15  (15 added, 0 deleted, 0 changed)
OCL=33701
CL=33709

Implement map types

R=rsc
APPROVED=rsc
DELTA=329  (301 added, 2 deleted, 26 changed)
OCL=33696
CL=33706

Decode overlapping section names correctly.

R=rsc
APPROVED=rsc
DELTA=23  (14 added, 8 deleted, 1 changed)
OCL=33699
CL=33705

Implement line-to-PC mapping.  Add unit tests for
PC/line/aline conversion methods.

R=rsc
APPROVED=rsc
DELTA=458  (434 added, 15 deleted, 9 changed)
OCL=33677
CL=33702

fix bug195

R=ken
OCL=33700
CL=33700

fix crash in bug194; add bug196

R=ken
OCL=33694
CL=33697

A test for an interface which uses a forward declared type
which turns out to be invalid.

R=rsc
DELTA=15  (15 added, 0 deleted, 0 changed)
OCL=33691
CL=33693

If the compiler dumps core, bash will print a useless error
message with the full path of the errchk script.  Catch that
by wrapping the if statement which invokes the compiler in a
subshell.  Use the $TMPOUT file as a flag to let the main
shell know whether the subshell ran.  Since the compiler
stdout and stderr are redirected, if the if statement produces
any output, then the compiler crashed, and we report that.

R=r,rsc
DELTA=14  (11 added, 1 deleted, 2 changed)
OCL=33690
CL=33692

mostly 64 bit support.

- fixed a number of places where we tried to allocate 64bit
  regs. added honeypot in regalloc to catch these in the future.
- implemented quad copying in sgen
- cgen64.c, add, mul
- clearfat done
- D_REGREG output from 5g (linker already knew about them)
- gmove done
- optoas almost done, last bit probably not needed
- D_SHIFT support in list.c

R=rsc
APPROVED=rsc
DELTA=963  (711 added, 112 deleted, 140 changed)
OCL=33619
CL=33688

Test composite literals with undeclared types.  This crashed
gccgo in a few different places, and crashes 6g as of this
writing.  Note that the index in a composite literal must be
looked up in a different namespace if the composite literal
type turns out to be a struct.

R=rsc
DELTA=36  (36 added, 0 deleted, 0 changed)
OCL=33681
CL=33685

Make stop causes pointers so users outside the package can
type switch on them despite their private fields.  Add some
tracing stuff.

R=rsc
APPROVED=rsc
DELTA=18  (7 added, 0 deleted, 11 changed)
OCL=33678
CL=33683

Enable these tests.  Fix divconst.go and modconst.go to
compile with the current compiler.  Adjust expected error
message in method1.go to match 6g output.

R=rsc
DELTA=9  (2 added, 5 deleted, 2 changed)
OCL=33674
CL=33682

rewrite type rules for expressions and add shift examples

DELTA=48  (22 added, 0 deleted, 26 changed)
OCL=33657
CL=33668

unexpected shift conversion behavior

R=r
DELTA=20  (20 added, 0 deleted, 0 changed)
OCL=33646
CL=33667

linker work
 * remove now-unused D_SBIG (was for typestrings)
 * rename elf64.[ch] to elf.[ch]
 * pull in elf headers from FreeBSD instead of writing our own
 * emit non-header ELF data in data section
 * stub out a few more ELF sections needed for dynamic loading

R=r
DELTA=1928  (1237 added, 635 deleted, 56 changed)
OCL=33642
CL=33658

- unifying rules for var decls, short var decls, and assignments

DELTA=39  (4 added, 15 deleted, 20 changed)
OCL=33639
CL=33649

fix 386/arm builds

R=rsc
APPROVED=rsc
DELTA=2  (2 added, 0 deleted, 0 changed)
OCL=33640
CL=33645

fix build

TBR=r
OCL=33623
CL=33623

symbol bugs.
do not emit unreachable data symbols.

R=austin
DELTA=103  (71 added, 4 deleted, 28 changed)
OCL=33325
CL=33622

FFI step 2: can ask for libc.so.6.

introduced explicit "data" symbol instead of etext
to mark beginning of data, so that using larger
alignment (i.e. 4MB like GNU loader) doesn't
confuse garbage collector.

split dodata into dodata and dobss in preparation
for putting the dynamic data + headers in the data
segment instead of stuffed at the beginning of the binary.

R=r
DELTA=52  (37 added, 3 deleted, 12 changed)
OCL=33610
CL=33618

add #include for time and ctime

R=r
DELTA=1  (1 added, 0 deleted, 0 changed)
OCL=33615
CL=33617

Fix inflate.go's decompressing of a fixed Huffman block that has
length-distance pairs.

The new test data was generated by "gzip shesells.txt", which is
presumably what you (rsc) did before, for the other test cases in
gunzip_test.go.

R=rsc
APPROVED=rsc
DELTA=21  (17 added, 2 deleted, 2 changed)
OCL=33582
CL=33616

names

R=rsc
DELTA=96  (25 added, 5 deleted, 66 changed)
OCL=33607
CL=33612

len and cap on chans

R=ken
OCL=33599
CL=33599