者 | qcrao

责编 | 屠敏

出品 | CSDN博客

刚开始写这篇文章的时候，目标非常大，想要探索 Go 程序的一生：编码、编译、汇编、链接、运行、退出。它的每一步具体如何进行，力图弄清 Go 程序的这一生。

在这个过程中，我又复习了一遍《程序员的自我修养》。这是一本讲编译、链接的书，非常详细，值得一看！数年前，我第一次看到这本书的书名，就非常喜欢。因为它模仿了周星驰喜剧之王里出现的一本书 ——《演员的自我修养》。心向往之！

在开始本文之前，先推荐一位头条大佬的博客——《面向信仰编程》，他的 Go 编译系列文章，非常有深度，直接深入编译器源代码，我是看了很多遍了。博客链接可以从参考资料里获取。

理想很大，实现的难度也是非常大。为了避免砸了“深度解密”这个牌子，这次起了个更温和的名字。

下面是文章的目录：

引入

我们从一个 HelloWorld 的例子开始：

package main 
import "fmt"
funcmain{
fmt.Println("hello world")
}

当我用我那价值 1800 元的 cherry 键盘潇洒地敲完上面的 hello world 代码时，保存在硬盘上的 hello.go 文件就是一个字节序列了，每个字节代表一个字符。

用 vim 打开 hello.go 文件，在命令行模式下，输入命令：

:%!xxd

就能在 vim 里以十六进制查看文件内容：

最左边的一列代表地址值，中间一列代表文本对应的 ASCII 字符，最右边的列就是我们的代码。再在终端里执行 man ascii：

和 ASCII 字符表一对比，就能发现，中间的列和最右边的列是一一对应的。也就是说，刚刚写完的 hello.go 文件都是由 ASCII 字符表示的，它被称为 文本文件，其他文件被称为 二进制文件。

当然，更深入地看，计算机中的所有数据，像磁盘文件、网络中的数据其实都是一串比特位组成，取决于如何看待它。在不同的情景下，一个相同的字节序列可能表示成一个整数、浮点数、字符串或者是机器指令。

而像 hello.go 这个文件，8 个 bit，也就是一个字节看成一个单位（假定源程序的字符都是 ASCII 码），最终解释成人类能读懂的 Go 源码。

Go 程序并不能直接运行，每条 Go 语句必须转化为一系列的低级机器语言指令，将这些指令打包到一起，并以二进制磁盘文件的形式存储起来，也就是可执行目标文件。

从源文件到可执行目标文件的转化过程：

完成以上各个阶段的就是 Go 编译系统。你肯定知道大名鼎鼎的 GCC（GNU Compile Collection），中文名为 GNU 编译器套装，它支持像 C，C++，Java，Python，Objective-C，Ada，Fortran，Pascal，能够为很多不同的机器生成机器码。

可执行目标文件可以直接在机器上执行。一般而言，先执行一些初始化的工作；找到 main 函数的入口，执行用户写的代码；执行完成后，main 函数退出；再执行一些收尾的工作，整个过程完毕。

在接下来的文章里，我们将探索 编译和 运行的过程。

编译链接概述

Go 源码里的编译器源码位于 src/cmd/compile 路径下，链接器源码位于 src/cmd/link 路径下。

编译过程

我比较喜欢用 IDE（集成开发环境）来写代码， Go 源码用的 Goland，有时候直接点击 IDE 菜单栏里的“运行”按钮，程序就跑起来了。这实际上隐含了编译和链接的过程，我们通常将编译和链接合并到一起的过程称为构建（Build）。

编译过程就是对源文件进行词法分析、语法分析、语义分析、优化，最后生成汇编代码文件，以 .s 作为文件后缀。

之后，汇编器会将汇编代码转变成机器可以执行的指令。由于每一条汇编语句几乎都与一条机器指令相对应，所以只是一个简单的一一对应，比较简单，没有语法、语义分析，也没有优化这些步骤。

编译器是将高级语言翻译成机器语言的一个工具，编译过程一般分为 6 步：扫描、语法分析、语义分析、源代码优化、代码生成、目标代码优化。下图来自《程序员的自我修养》：

词法分析

通过前面的例子，我们知道，Go 程序文件在机器看来不过是一堆二进制位。我们能读懂，是因为 Goland 按照 ASCII 码（实际上是 UTF-8）把这堆二进制位进行了编码。例如，把 8个 bit 位分成一组，对应一个字符，通过对照 ASCII 码表就可以查出来。

当把所有的二进制位都对应成了 ASCII 码字符后，我们就能看到有意义的字符串。它可能是关键字，例如：package；可能是字符串，例如：“Hello World”。

词法分析其实干的就是这个。输入是原始的 Go 程序文件，在词法分析器看来，就是一堆二进制位，根本不知道是什么东西，经过它的分析后，变成有意义的记号。简单来说，词法分析是计算机科学中将字符序列转换为标记（token）序列的过程。

我们来看一下维基百科上给出的定义：

词法分析（lexical analysis）是计算机科学中将字符序列转换为标记（token）序列的过程。进行词法分析的程序或者函数叫作词法分析器（lexical analyzer，简称lexer），也叫扫描器（scanner）。词法分析器一般以函数的形式存在，供语法分析器调用。

.go 文件被输入到扫描器（Scanner），它使用一种类似于 有限状态机的算法，将源代码的字符系列分割成一系列的记号（Token）。

记号一般分为这几类：关键字、标识符、字面量（包含数字、字符串）、特殊符号（如加号、等号）。

例如，对于如下的代码：

slice[i] = i * (2 + 6)

总共包含 16 个非空字符，经过扫描后：

上面的例子源自《程序员的自我修养》，主要讲解编译、链接相关的内容，很精彩，推荐研读。

Go 语言（本文的 Go 版本是 1.9.2）扫描器支持的 Token 在源码中的路径：

src/cmd/compile/internal/syntax/token.go

感受一下：

var tokstrings = [...]string{ 
// source control
_EOF: "EOF",
// names and literals
_Name: "name",
_Literal: "literal",
// operators and operations
_Operator: "op",
_AssignOp: "op=",
_IncOp: "opop",
_Assign: "=",
_Define: ":=",
_Arrow: "<-",
_Star: "*",
// delimitors
_Lparen: "(",
_Lbrack: "[",
_Lbrace: "{",
_Rparen: ")",
_Rbrack: "]",
_Rbrace: "}",
_Comma: ",",
_Semi: ";",
_Colon: ":",
_Dot: ".",
_DotDotDot: "...",
// keywords
_Break: "break",
_Case: "case",
_Chan: "chan",
_Const: "const",
_Continue: "continue",
_Default: "default",
_Defer: "defer",
_Else: "else",
_Fallthrough: "fallthrough",
_For: "for",
_Func: "func",
_Go: "go",
_Goto: "goto",
_If: "if",
_Import: "import",
_Interface: "interface",
_Map: "map",
_Package: "package",
_Range: "range",
_Return: "return",
_Select: "select",
_Struct: "struct",
_Switch: "switch",
_Type: "type",
_Var: "var",
}

还是比较熟悉的，包括名称和字面量、操作符、分隔符和关键字。

而扫描器的路径是：

src/cmd/compile/internal/syntax/scanner.go

其中最关键的函数就是 next 函数，它不断地读取下一个字符（不是下一个字节，因为 Go 语言支持 Unicode 编码，并不是像我们前面举得 ASCII 码的例子，一个字符只有一个字节），直到这些字符可以构成一个 Token。

func (s *scanner) next{
// ……
redo:
// skip white space
c := s.getr
for c == ' ' || c == '\t' || c == '\n' && !nlsemi || c == '\r' {
c = s.getr
}
// token start
s.line, s.col = s.source.line0, s.source.col0
if isLetter(c) || c >= utf8.RuneSelf && s.isIdentRune(c, true) {
s.ident
return
}
switch c {
// ……
case '\n':
s.lit = "newline"
s.tok = _Semi
case '0', '1', '2', '3', '4', '5', '6', '7', '8', '9':
s.number(c)
// ……
default:
s.tok = 0
s.error(fmt.Sprintf("invalid character %#U", c))
goto redo
return
assignop:
if c == '=' {
s.tok = _AssignOp
return
}
s.ungetr
s.tok = _Operator
}

代码的主要逻辑就是通过 c:=s.getr 获取下一个未被解析的字符，并且会跳过之后的空格、回车、换行、tab 字符，然后进入一个大的 switch-case 语句，匹配各种不同的情形，最终可以解析出一个 Token，并且把相关的行、列数字记录下来，这样就完成一次解析过程。

当前包中的词法分析器 scanner 也只是为上层提供了 next 方法，词法解析的过程都是惰性的，只有在上层的解析器需要时才会调用 next 获取最新的 Token。

语法分析

上一步生成的 Token 序列，需要经过进一步处理，生成一棵以 表达式为结点的 语法树。

比如最开始的那个例子， slice[i]=i*(2+6)，得到的一棵语法树如下：

整个语句被看作是一个赋值表达式，左子树是一个数组表达式，右子树是一个乘法表达式；数组表达式由 2 个符号表达式组成；乘号表达式则是由一个符号表达式和一个加号表达式组成；加号表达式则是由两个数字组成。符号和数字是最小的表达式，它们不能再被分解，通常作为树的叶子节点。

语法分析的过程可以检测一些形式上的错误，例如：括号是否缺少一半， + 号表达式缺少一个操作数等。

语法分析是根据某种特定的形式文法（Grammar）对 Token 序列构成的输入文本进行分析并确定其语法结构的一种过程。

语义分析

语法分析完成后，我们并不知道语句的具体意义是什么。像上面的 * 号的两棵子树如果是两个指针，这是不合法的，但语法分析检测不出来，语义分析就是干这个事。

编译期所能检查的是静态语义，可以认为这是在“代码”阶段，包括变量类型的匹配、转换等。例如，将一个浮点值赋给一个指针变量的时候，明显的类型不匹配，就会报编译错误。而对于运行期间才会出现的错误：不小心除了一个 0 ，语义分析是没办法检测的。

语义分析阶段完成之后，会在每个节点上标注上类型：

Go 语言编译器在这一阶段检查常量、类型、函数声明以及变量赋值语句的类型，然后检查哈希中键的类型。实现类型检查的函数通常都是几千行的巨型 switch/case 语句。

类型检查是 Go 语言编译的第二个阶段，在词法和语法分析之后我们得到了每个文件对应的抽象语法树，随后的类型检查会遍历抽象语法树中的节点，对每个节点的类型进行检验，找出其中存在的语法错误。

在这个过程中也可能会对抽象语法树进行改写，这不仅能够去除一些不会被执行的代码对编译进行优化提高执行效率，而且也会修改 make、new 等关键字对应节点的操作类型。

例如比较常用的 make 关键字，用它可以创建各种类型，如 slice，map，channel 等等。到这一步的时候，对于 make 关键字，也就是 OMAKE 节点，会先检查它的参数类型，根据类型的不同，进入相应的分支。如果参数类型是 slice，就会进入 TSLICE case 分支，检查 len 和 cap 是否满足要求，如 len <= cap。最后节点类型会从 OMAKE 改成 OMAKESLICE。

中间代码生成

我们知道，编译过程一般可以分为前端和后端，前端生成和平台无关的中间代码，后端会针对不同的平台，生成不同的机器码。

前面词法分析、语法分析、语义分析等都属于编译器前端，之后的阶段属于编译器后端。

编译过程有很多优化的环节，在这个环节是指源代码级别的优化。它将语法树转换成中间代码，它是语法树的顺序表示。

中间代码一般和目标机器以及运行时环境无关，它有几种常见的形式：三地址码、P-代码。例如，最基本的 三地址码是这样的：

x = y op z

表示变量 y 和 变量 z 进行 op 操作后，赋值给 x。op 可以是数学运算，例如加减乘除。

前面我们举的例子可以写成如下的形式：

t1 = 2 + 6 
t2 = i * t1
slice[i] = t2

这里 2 + 6 是可以直接计算出来的，这样就把 t1 这个临时变量“优化”掉了，而且 t1 变量可以重复利用，因此 t2 也可以“优化”掉。优化之后：

t1 = i * 8 
slice[i] = t1

Go 语言的中间代码表示形式为 SSA（Static Single-Assignment，静态单赋值），之所以称之为单赋值，是因为每个名字在 SSA 中仅被赋值一次。

这一阶段会根据 CPU 的架构设置相应的用于生成中间代码的变量，例如编译器使用的指针和寄存器的大小、可用寄存器列表等。中间代码生成和机器码生成这两部分会共享相同的设置。

在生成中间代码之前，会对抽象语法树中节点的一些元素进行替换。这里引用《面向信仰编程》编译原理相关博客里的一张图：

例如对于 map 的操作 m[i]，在这里会被转换成 mapacess 或 mapassign。

Go 语言的主程序在执行时会调用 runtime 中的函数，也就是说关键字和内置函数的功能其实是由语言的编译器和运行时共同完成的。

中间代码的生成过程其实就是从 AST 抽象语法树到 SSA 中间代码的转换过程，在这期间会对语法树中的关键字在进行一次更新，更新后的语法树会经过多轮处理转变最后的 SSA 中间代码。

目标代码生成与优化

不同机器的机器字长、寄存器等等都不一样，意味着在不同机器上跑的机器码是不一样的。最后一步的目的就是要生成能在不同 CPU 架构上运行的代码。

为了榨干机器的每一滴油水，目标代码优化器会对一些指令进行优化，例如使用移位指令代替乘法指令等。

这块实在没能力深入，幸好也不需要深入。对于应用层的软件开发工程师来说，了解一下就可以了。

链接过程

编译过程是针对单个文件进行的，文件与文件之间不可避免地要引用定义在其他模块的全局变量或者函数，这些变量或函数的地址只有在此阶段才能确定。

链接过程就是要把编译器生成的一个个目标文件链接成可执行文件。最终得到的文件是分成各种段的，比如数据段、代码段、BSS段等等，运行时会被装载到内存中。各个段具有不同的读写、执行属性，保护了程序的安全运行。

这部分内容，推荐看《程序员的自我修养》和《深入理解计算机系统》。

Go 程序启动

仍然使用 hello-world 项目的例子。在项目根目录下执行：

go build -gcflags "-N -l" -o hello src/main.go

-gcflags"-N -l" 是为了关闭编译器优化和函数内联，防止后面在设置断点的时候找不到相对应的代码位置。

得到了可执行文件 hello，执行：

[qcrao@qcrao hello-world]$ gdb hello

进入 gdb 调试模式，执行 info files，得到可执行文件的文件头，列出了各种段：

同时，我们也得到了入口地址：0x450e20。

(gdb) b *0x450e20 
Breakpoint 1 at 0x450e20: file /usr/local/go/src/runtime/rt0_linux_amd64.s, line 8.

这就是 Go 程序的入口地址，我是在 linux 上运行的，所以入口文件为 src/runtime/rt0_linux_amd64.s，runtime 目录下有各种不同名称的程序入口文件，支持各种操作系统和架构，代码为：

TEXT _rt0_amd64_linux(SB),NOSPLIT,$-8 
LEAQ 8(SP), SI // argv
MOVQ 0(SP), DI // argc
MOVQ $main(SB), AX
JMP AX

主要是把 argc，argv 从内存拉到了寄存器。这里 LEAQ 是计算内存地址，然后把内存地址本身放进寄存器里，也就是把 argv 的地址放到了 SI 寄存器中。最后跳转到：

TEXT main(SB),NOSPLIT,$-8 
MOVQ $runtime·rt0_go(SB), AX
JMP AX

继续跳转到 runtime·rt0_go(SB)，位置：/usr/local/go/src/runtime/asm_amd64.s，代码：

TEXT runtime·rt0_go(SB),NOSPLIT,>TEXT runtime·rt0_go(SB),NOSPLIT,$0 < 
// 省略很多 CPU 相关的特性标志位检查的代码
// 主要是看不懂，^_^
// ………………………………
// 下面是最后调用的一些函数，比较重要
// 初始化执行文件的绝对路径
CALL runtime·args(SB)
// 初始化 CPU 个数和内存页大小
CALL runtime·osinit(SB)
// 初始化命令行参数、环境变量、gc、栈空间、内存管理、所有 P 实例、HASH算法等
CALL runtime·schedinit(SB)
// 要在 main goroutine 上运行的函数
MOVQ $runtime·mainPC(SB), AX // entry
PUSHQ AX
PUSHQ >PUSHQ $0 // arg size< // arg size
// 新建一个 goroutine，该 goroutine 绑定 runtime.main，放在 P 的本地队列，等待调度
CALL runtime·newproc(SB)
POPQ AX
POPQ AX
// 启动M，开始调度goroutine
CALL runtime·mstart(SB)
MOVL >MOVL $0xf1, 0xf1 // crash
RET
DATA runtime·mainPC+0(SB)/8,$runtime·main(SB)
GLOBL runtime·mainPC(SB),RODATA,

参考文献里的一篇文章【探索 golang 程序启动过程】研究得比较深入，总结下：

1. 检查运行平台的CPU，设置好程序运行需要相关标志。

2. TLS的初始化。

3. runtime.args、runtime.osinit、runtime.schedinit 三个方法做好程序运行需要的各种变量与调度器。

4. runtime.newproc创建新的goroutine用于绑定用户写的main方法。

5. runtime.mstart开始goroutine的调度。

最后用一张图来总结 go bootstrap 过程吧：

main 函数里执行的一些重要的操作包括：新建一个线程执行 sysmon 函数，定期垃圾回收和调度抢占；启动 gc；执行所有的 init 函数等等。

上面是启动过程，看一下退出过程：

当 main 函数执行结束之后，会执行 exit(0) 来退出进程。若执行 exit(0) 后，进程没有退出，main 函数最后的代码会一直访问非法地址：

exit(0) 
for {
var x *int32
*x = 0
}

正常情况下，一旦出现非法地址访问，系统会把进程杀死，用这样的方法确保进程退出。

关于程序退出这一段的阐述来自群聊《golang runtime 阅读》，又是一个高阶的读源码的组织，Github 主页见参考资料。

当然 Go 程序启动这一部分其实还会涉及到 fork 一个新进程、装载可执行文件，控制权转移等问题。还是推荐看前面的两本书，我觉得我不会写得更好，就不叙述了。

GoRoot 和 GoPath

GoRoot 是 Go 的安装路径。mac 或 unix 是在 /usr/local/go 路径上，来看下这里都装了些什么：

bin 目录下面：

pkg 目录下面：

Go 工具目录如下，其中比较重要的有编译器 compile，链接器 link：

GoPath 的作用在于提供一个可以寻找 .go 源码的路径，它是一个工作空间的概念，可以设置多个目录。Go 官方要求，GoPath 下面需要包含三个文件夹：

src 
pkg
bin

src 存放源文件，pkg 存放源文件编译后的库文件，后缀为 .a；bin 则存放可执行文件。

Go 命令详解

直接在终端执行：

go

就能得到和 go 相关的命令简介：

和编译相关的命令主要是：

go build 
go install
go run

go build

go build 用来编译指定 packages 里的源码文件以及它们的依赖包，编译的时候会到 $GoPath/src/package 路径下寻找源码文件。go build 还可以直接编译指定的源码文件，并且可以同时指定多个。

通过执行 go help build 命令得到 go build 的使用方法：

usage: go build [-o output] [-i] [build flags] [packages]

-o 只能在编译单个包的时候出现，它指定输出的可执行文件的名字。

-i 会安装编译目标所依赖的包，安装是指生成与代码包相对应的 .a 文件，即静态库文件（后面要参与链接），并且放置到当前工作区的 pkg 目录下，且库文件的目录层级和源码层级一致。

至于 build flags 参数， build,clean,get,install,list,run,test 这些命令会共用一套：

我们知道，Go 语言的源码文件分为三类：命令源码、库源码、测试源码。

• 命令源码文件：是 Go 程序的入口，包含 func main 函数，且第一行用 packagemain 声明属于 main 包。

• 库源码文件：主要是各种函数、接口等，例如工具类的函数。

• 测试源码文件：以 _test.go 为后缀的文件，用于测试程序的功能和性能。

注意， go build 会忽略 *_test.go 文件。

我们通过一个很简单的例子来演示 go build 命令。我用 Goland 新建了一个 hello-world 项目（为了展示引用自定义的包，和之前的 hello-world 程序不同），项目的结构如下：

最左边可以看到项目的结构，包含三个文件夹：bin，pkg，src。其中 src 目录下有一个 main.go，里面定义了 main 函数，是整个项目的入口，也就是前面提过的所谓的命令源码文件；src 目录下还有一个 util 目录，里面有 util.go 文件，定义了一个可以获取本机 IP 地址的函数，也就是所谓的库源码文件。

中间是 main.go 的源码，引用了两个包，一个是标准库的 fmt；一个是 util 包，util 的导入路径是 util。所谓的导入路径是指相对于 Go 的源码目录 $GoRoot/src 或者 $GoPath/src 的下的子路径。例如 main 包里引用的 fmt 的源码路径是 /usr/local/go/src/fmt，而 util 的源码路径是 /Users/qcrao/hello-world/src/util，正好我们设置的 GoPath = /Users/qcrao/hello-world。

最右边是库函数的源码，实现了获取本机 IP 的函数。

在 src 目录下，直接执行 go build 命令，在同级目录生成了一个可执行文件，文件名为 src，使用 ./src 命令直接执行，输出：

hello world! 
Local IP: 192.168.1.3

我们也可以指定生成的可执行文件的名称：

go build -o bin/hello

这样，在 bin 目录下会生成一个可执行文件，运行结果和上面的 src 一样。

其实，util 包可以单独被编译。我们可以在项目根目录下执行：

go build util

编译程序会去 $GoPath/src 路径找 util 包（其实是找文件夹）。还可以在 ./src/util 目录下直接执行 go build 编译。

当然，直接编译库源码文件不会生成 .a 文件，因为：

go build 命令在编译只包含库源码文件的代码包（或者同时编译多个代码包）时，只会做检查性的编译，而不会输出任何结果文件。

为了展示整个编译链接的运行过程，我们在项目根目录执行如下的命令：

go build -v -x -work -o bin/hello src/main.go

-v 会打印所编译过的包名字， -x 打印编译期间所执行的命令， -work 打印编译期间生成的临时文件路径，并且编译完成之后不会被删除。

执行结果：

从结果来看，图中用箭头标注了本次编译过程涉及 2 个包：util，command-line-arguments。第二个包比较诡异，源码里根本就没有这个名字好吗？其实这是 go build 命令检测到 [packages] 处填的是一个 .go 文件，因此创建了一个虚拟的包：command-line-arguments。

同时，用红框圈出了 compile, link，也就是先编译了 util 包和 main.go 文件，分别得到 .a 文件，之后将两者进行链接，最终生成可执行文件，并且移动到 bin 目录下，改名为 hello。

另外，第一行显示了编译过程中的工作目录，此目录的文件结构是：

可以看到，和 hello-world 目录的层级基本一致。command-line-arguments 就是虚拟的 main.go 文件所处的包。exe 目录下的可执行文件在最后一步被移动到了 bin 目录下，所以这里是空的。

整体来看， go build 在执行时，会先递归寻找 main.go 所依赖的包，以及依赖的依赖，直至最底层的包。这里可以是深度优先遍历也可以是宽度优先遍历。如果发现有循环依赖，就会直接退出，这也是经常会发生的循环引用编译错误。

正常情况下，这些依赖关系会形成一棵倒着生长的树，树根在最上面，就是 main.go 文件，最下面是没有任何其他依赖的包。编译器会从最左的节点所代表的包开始挨个编译，完成之后，再去编译上一层的包。

这里，引用郝林老师几年前在 github 上发表的 go 命令教程，可以从参考资料找到原文地址。

从代码包编译的角度来说，如果代码包 A 依赖代码包 B，则称代码包 B 是代码包 A 的依赖代码包（以下简称依赖包），代码包 A 是代码包 B 的触发代码包（以下简称触发包）。

执行 go build 命令的计算机如果拥有多个逻辑 CPU 核心，那么编译代码包的顺序可能会存在一些不确定性。但是，它一定会满足这样的约束条件：依赖代码包 -> 当前代码包 -> 触发代码包。

顺便推荐一个浏览器插件 Octotree，在看 github 项目的时候，此插件可以在浏览器里直接展示整个项目的文件结构，非常方便：

到这里，你一定会发现，对于 hello-wrold 文件夹下的 pkg 目录好像一直没有涉及到。

其实，pkg 目录下面应该存放的是涉及到的库文件编译后的包，也就是一些 .a 文件。但是 go build 执行过程中，这些 .a 文件放在临时文件夹中，编译完成后会被直接删掉，因此一般不会用到。

前面我们提到过，在 go build 命令里加上 -i 参数会安装这些库文件编译的包，也就是这些 .a 文件会放到 pkg 目录下。

在项目根目录执行 go build-i src/main.go 后，pkg 目录里增加了 util.a 文件：

darwin_amd64 表示的是：

• GOOS 和 GOARCH。这两个环境变量不用我们设置，系统默认的。

• GOOS 是 Go 所在的操作系统类型，GOARCH 是 Go 所在的计算架构。

• Mac 平台上这个目录名就是 darwin_amd64。

生成了 util.a 文件后，再次编译的时候，就不会再重新编译 util.go 文件，加快了编译速度。

同时，在根目录下生成了名称为 main 的可执行文件，这是以 main.go 的文件名命令的。

hello-world 这个项目的代码已经上传到了 github 项目 Go-Questions，这个项目由问题导入，企图串连 Go 的所有知识点，正在完善，期待你的 star。地址见参考资料【Go-Questions hello-world项目】。

go install

go install 用于编译并安装指定的代码包及它们的依赖包。相比 go build，它只是多了一个“安装编译后的结果文件到指定目录”的步骤。

还是使用之前 hello-world 项目的例子，我们先将 pkg 目录删掉，在项目根目录执行：

go install src/main.go 
或者
go install util

两者都会在根目录下新建一个 pkg 目录，并且生成一个 util.a 文件。

并且，在执行前者的时候，会在 GOBIN 目录下生成名为 main 的可执行文件。

所以，运行 go install 命令，库源码包对应的 .a 文件会被放置到 pkg 目录下，命令源码包生成的可执行文件会被放到 GOBIN 目录。

go install 在 GoPath 有多个目录的时候，会产生一些问题，具体可以去看郝林老师的 Go命令教程，这里不展开了。

go run

go run 用于编译并运行命令源码文件。

在 hello-world 项目的根目录，执行 go run 命令：

go run -x -work src/main.go

-x 可以打印整个过程涉及到的命令，-work 可以看到临时的工作目录：

从上图中可以看到，仍然是先编译，再连接，最后直接执行，并打印出了执行结果。

第一行打印的就是工作目录，最终生成的可执行文件就是放置于此：

main 就是最终生成的可执行文件。

总结

这次的话题太大了，困难重重。从编译原理到 go 启动时的流程，到 go 命令原理，每个话题单独抽出来都可以写很多。

幸好有一些很不错的书和博客文章可以去参考。这篇文章就作为一个引子，你可以跟随参考资料里推荐的一些内容去发散。

参考资料

• 【《程序员的自我修养》全书】https://book.douban.com/subject/3652388/

• 【面向信仰编程 编译过程概述】https://draveness.me/golang-compile-intro

• 【golang runtime 阅读】https://github.com/zboya/golangruntimereading

• 【Go-Questions hello-world项目】https://github.com/qcrao/Go-Questions/tree/master/examples/hello-world

• 【雨痕大佬的 Go 语言学习笔记】https://github.com/qyuhen/book

• 【vim 以 16 进制文本】https://www.cnblogs.com/meibenjin/archive/2012/12/06/2806396.html

• 【Go 编译命令执行过程】https://halfrost.com/go_command/

• 【Go 命令执行过程】https://github.com/hyper0x/gocommandtutorial

• 【Go 词法分析】https://ggaaooppeenngg.github.io/zh-CN/2016/04/01/go-lexer-%E8%AF%8D%E6%B3%95%E5%88%86%E6%9E%90/

• 【曹大博客 golang 与 ast】http://xargin.com/ast/

• 【Golang 词法解析器，scanner 源码分析】https://blog.csdn.net/zhaoruixiang1111/article/details/89892435

• 【Gopath Explained】https://flaviocopes.com/go-gopath/

• 【Understanding the GOPATH】https://www.digitalocean.com/community/tutorials/understanding-the-gopath

• 【讨论】https://stackoverflow.com/questions/7970390/what-should-be-the-values-of-gopath-and-goroot

• 【Go 官方 Gopath】https://golang.org/cmd/go/#hdr-GOPATHenvironmentvariable

• 【Go package 的探索】https://mp.weixin.qq.com/s/OizVLXfZ6EC1jI-NL7HqeA

• 【Go 官方 关于 Go 项目的组织结构】https://golang.org/doc/code.html

• 【Go modules】https://www.melvinvivas.com/go-version-1-11-modules/

• 【Golang Installation, Setup, GOPATH, and Go Workspace】https://www.callicoder.com/golang-installation-setup-gopath-workspace/

• 【编译、链接过程链接】https://mikespook.com/2013/11/%E7%BF%BB%E8%AF%91-go-build-%E5%91%BD%E4%BB%A4%E6%98%AF%E5%A6%82%E4%BD%95%E5%B7%A5%E4%BD%9C%E7%9A%84%EF%BC%9F/

• 【1.5 编译器由 go 语言完成】https://www.infoq.cn/article/2015/08/go-1-5

• 【Go 编译过程系列文章】https://www.ctolib.com/topics-3724.html

• 【曹大 go bootstrap】https://github.com/cch123/golang-notes/blob/master/bootstrap.md

• 【golang 启动流程】https://blog.iceinto.com/posts/go/start/

• 【探索 golang 程序启动过程】http://cbsheng.github.io/posts/%E6%8E%A2%E7%B4%A2golang%E7%A8%8B%E5%BA%8F%E5%90%AF%E5%8A%A8%E8%BF%87%E7%A8%8B/

• 【探索 goroutine 的创建】http://cbsheng.github.io/posts/%E6%8E%A2%E7%B4%A2goroutine%E7%9A%84%E5%88%9B%E5%BB%BA/

版权声明：本文为CSDN博主「qcrao」的原创文章。

【END】

1024程序员节如期而至，CSDN Blink小姐姐的关爱来了！

扫描领取小姐姐的专属福利！

程序员邂逅鼓励师的正确姿势！扫描前往福利现场>>

者 | Erik-Jan van Baaren

译者 | 弯月，责编 | 屠敏

以下为译文：

元旦过完了，我们都纷纷回到了各自的工作岗位。新的一年新气象，我想借本文为大家献上 Python 语言的30个最佳实践、小贴士和技巧，希望能对各位勤劳的程序员有所帮助，并希望大家工作顺利！

1. Python 版本

在此想提醒各位：自2020年1月1日起，Python 官方不再支持 Python 2。本文中的很多示例只能在 Python 3 中运行。如果你仍在使用 Python 2.7，请立即升级。

2. 检查 Python 的最低版本

你可以在代码中检查 Python 的版本，以确保你的用户没有在不兼容的版本中运行脚本。检查方式如下：

if not sys.version_info > (2, 7):
# berate your user for running a 10 year
# python version
elif not sys.version_info >= (3, 5):
# Kindly tell your user (s)he needs to upgrade
# because you're using 3.5 features

3. IPython

IPython 本质上就是一个增强版的shell。就冲着自动补齐就值得一试，而且它的功能还不止于此，它还有很多令我爱不释手的命令，例如：

• %cd：改变当前的工作目录

• %edit：打开编辑器，并关闭编辑器后执行键入的代码

• %env：显示当前环境变量

• %pip install [pkgs]：无需离开交互式shell，就可以安装软件包

• %time 和 %timeit：测量执行Python代码的时间

完整的命令列表，请点击此处查看（https://ipython.readthedocs.io/en/stable/interactive/magics.html）。

还有一个非常实用的功能：引用上一个命令的输出。In 和 Out 是实际的对象。你可以通过 Out[3] 的形式使用第三个命令的输出。

IPython 的安装命令如下：

pip3 install ipython

4. 列表推导式

你可以利用列表推导式，避免使用循环填充列表时的繁琐。列表推导式的基本语法如下：

[ expression for item in list if conditional ]

举一个基本的例子：用一组有序数字填充一个列表：

mylist = [i for i in range(10)]
print(mylist)
# [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

由于可以使用表达式，所以你也可以做一些算术运算：

squares = [x**2 for x in range(10)]
print(squares)
# [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

甚至可以调用外部函数：

def some_function(a):
return (a + 5) / 2

my_formula = [some_function(i) for i in range(10)]
print(my_formula)
# [2, 3, 3, 4, 4, 5, 5, 6, 6, 7]

最后，你还可以使用 ‘if’ 来过滤列表。在如下示例中，我们只保留能被2整除的数字：

filtered = [i for i in range(20) if i%2==0]
print(filtered)
# [0, 2, 4, 6, 8, 10, 12, 14, 16, 18]

5. 检查对象使用内存的状况

你可以利用 sys.getsizeof 来检查对象使用内存的状况：

import sys

mylist = range(0, 10000)
print(sys.getsizeof(mylist))
# 48

等等，为什么这个巨大的列表仅包含48个字节？

因为这里的 range 函数返回了一个类，只不过它的行为就像一个列表。在使用内存方面，range 远比实际的数字列表更加高效。

你可以试试看使用列表推导式创建一个范围相同的数字列表：

import sys

myreallist = [x for x in range(0, 10000)]
print(sys.getsizeof(myreallist))
# 87632

6. 返回多个值

Python 中的函数可以返回一个以上的变量，而且还无需使用字典、列表或类。如下所示：

def get_user(id):
# fetch user from database
# ....
return name, birthdate

name, birthdate = get_user(4)

如果返回值的数量有限当然没问题。但是，如果返回值的数量超过3个，那么你就应该将返回值放入一个（数据）类中。

7. 使用数据类

Python从版本3.7开始提供数据类。与常规类或其他方法（比如返回多个值或字典）相比，数据类有几个明显的优势：

• 数据类的代码量较少

• 你可以比较数据类，因为数据类提供了 __eq__ 方法

• 调试的时候，你可以轻松地输出数据类，因为数据类还提供了 __repr__ 方法

• 数据类需要类型提示，因此可以减少Bug的发生几率

数据类的示例如下：

from dataclasses import dataclass

@dataclass
class Card:
rank: str
suit: str

card = Card("Q", "hearts")

print(card == card)
# True

print(card.rank)
# 'Q'

print(card)
Card(rank='Q', suit='hearts')

详细的使用指南请点击这里（https://realpython.com/python-data-classes/）。

8. 交换变量

如下的小技巧很巧妙，可以为你节省多行代码：

a = 1
b = 2
a, b = b, a
print (a)
# 2
print (b)
# 1

9. 合并字典（Python 3.5以上的版本）

从Python 3.5开始，合并字典的操作更加简单了：

dict1 = { 'a': 1, 'b': 2 }
dict2 = { 'b': 3, 'c': 4 }
merged = { **dict1, **dict2 }
print (merged)
# {'a': 1, 'b': 3, 'c': 4}

如果 key 重复，那么第一个字典中的 key 会被覆盖。

10. 字符串的首字母大写

如下技巧真是一个小可爱：

mystring = "10 awesome python tricks"
print(mystring.title)
'10 Awesome Python Tricks'

11. 将字符串分割成列表

你可以将字符串分割成一个字符串列表。在如下示例中，我们利用空格分割各个单词：

mystring = "The quick brown fox"
mylist = mystring.split(' ')
print(mylist)
# ['The', 'quick', 'brown', 'fox']

12. 根据字符串列表创建字符串

与上述技巧相反，我们可以根据字符串列表创建字符串，然后在各个单词之间加入空格：

mylist = ['The', 'quick', 'brown', 'fox']
mystring = " ".join(mylist)
print(mystring)
# 'The quick brown fox'

你可能会问为什么不是 mylist.join(" ")，这是个好问题！

根本原因在于，函数 String.join 不仅可以联接列表，而且还可以联接任何可迭代对象。将其放在String中是为了避免在多个地方重复实现同一个功能。

13. 表情符

有些人非常喜欢表情符，而有些人则深恶痛绝。我在此郑重声明：在分析社交媒体数据时，表情符可以派上大用场。

首先，我们来安装表情符模块：

pip3 install emoji

安装完成后，你可以按照如下方式使用：

import emoji
result = emoji.emojize('Python is :thumbs_up:')
print(result)
# 'Python is '

# You can also reverse this:
result = emoji.demojize('Python is ')
print(result)
# 'Python is :thumbs_up:'

更多有关表情符的示例和文档，请点击此处（https://pypi.org/project/emoji/）。

14. 列表切片

列表切片的基本语法如下：

a[start:stop:step]

start、stop 和 step 都是可选项。如果不指定，则会使用如下默认值：

• start：0

• end：字符串的结尾

• step：1

示例如下：

# We can easily create a new list from 
# the first two elements of a list:
first_two = [1, 2, 3, 4, 5][0:2]
print(first_two)
# [1, 2]

# And if we use a step value of 2,
# we can skip over every second number
# like this:
steps = [1, 2, 3, 4, 5][0:5:2]
print(steps)
# [1, 3, 5]

# This works on strings too. In Python,
# you can treat a string like a list of
# letters:
mystring = "abcdefdn nimt"[::2]
print(mystring)
# 'aced it'

15. 反转字符串和列表

你可以利用如上切片的方法来反转字符串或列表。只需指定 step 为 -1，就可以反转其中的元素：

revstring = "abcdefg"[::-1]
print(revstring)
# 'gfedcba'

revarray = [1, 2, 3, 4, 5][::-1]
print(revarray)
# [5, 4, 3, 2, 1]

16. 显示猫猫

我终于找到了一个充分的借口可以在我的文章中显示猫猫了，哈哈！当然，你也可以利用它来显示图片。首先你需要安装 Pillow，这是一个 Python 图片库的分支：

pip3 install Pillow

接下来，你可以将如下图片下载到一个名叫 kittens.jpg 的文件中：

然后，你就可以通过如下 Python 代码显示上面的图片：

from PIL import Image

im = Image.open("kittens.jpg")
im.show
print(im.format, im.size, im.mode)
# JPEG (1920, 1357) RGB

Pillow 还有很多显示该图片之外的功能。它可以分析、调整大小、过滤、增强、变形等等。完整的文档，请点击这里（https://pillow.readthedocs.io/en/stable/）。

17. map

Python 有一个自带的函数叫做 map，语法如下：

map(function, something_iterable)

所以，你需要指定一个函数来执行，或者一些东西来执行。任何可迭代对象都可以。在如下示例中，我指定了一个列表：

def upper(s):
return s.upper

mylist = list(map(upper, ['sentence', 'fragment']))
print(mylist)
# ['SENTENCE', 'FRAGMENT']

# Convert a string representation of
# a number into a list of ints.
list_of_ints = list(map(int, "1234567")))
print(list_of_ints)
# [1, 2, 3, 4, 5, 6, 7]

你可以仔细看看自己的代码，看看能不能用 map 替代某处的循环。

18. 获取列表或字符串中的唯一元素

如果你利用函数 set 创建一个集合，就可以获取某个列表或类似于列表的对象的唯一元素：

mylist = [1, 1, 2, 3, 4, 5, 5, 5, 6, 6]
print (set(mylist))
# {1, 2, 3, 4, 5, 6}

# And since a string can be treated like a
# list of letters, you can also get the
# unique letters from a string this way:
print (set("aaabbbcccdddeeefff"))
# {'a', 'b', 'c', 'd', 'e', 'f'}

19. 查找出现频率最高的值

你可以通过如下方法查找出现频率最高的值：

test = [1, 2, 3, 4, 2, 2, 3, 1, 4, 4, 4]
print(max(set(test), key = test.count))
# 4

你能看懂上述代码吗？想法搞明白上述代码再往下读。

没看懂？我来告诉你吧：

• max 会返回列表的最大值。参数 key 会接受一个参数函数来自定义排序，在本例中为 test.count。该函数会应用于迭代对象的每一项。

• test.count 是 list 的内置函数。它接受一个参数，而且还会计算该参数的出现次数。因此，test.count(1) 将返回2，而 test.count(4) 将返回4。

• set(test) 将返回 test 中所有的唯一值，也就是 {1, 2, 3, 4}。

因此，这一行代码完成的操作是：首先获取 test 所有的唯一值，即{1, 2, 3, 4}；然后，max 会针对每一个值执行 list.count，并返回最大值。

这一行代码可不是我个人的发明。

20. 创建一个进度条

你可以创建自己的进度条，听起来很有意思。但是，更简单的方法是使用 progress 包：

pip3 install progress

接下来，你就可以轻松地创建进度条了：

from progress.bar import Bar

bar = Bar('Processing', max=20)
for i in range(20):
# Do some work
bar.next
bar.finish

21. 在交互式shell中使用_（下划线运算符）

你可以通过下划线运算符获取上一个表达式的结果，例如在 IPython 中，你可以这样操作：

In [1]: 3 * 3
Out[1]: 9In [2]: _ + 3
Out[2]: 12

Python Shell 中也可以这样使用。另外，在 IPython shell 中，你还可以通过 Out[n] 获取表达式 In[n] 的值。例如，在如上示例中，Out[1] 将返回数字9。

22. 快速创建Web服务器

你可以快速启动一个Web服务，并提供当前目录的内容：

python3 -m http.server

当你想与同事共享某个文件，或测试某个简单的HTML网站时，就可以考虑这个方法。

23. 多行字符串

虽然你可以用三重引号将代码中的多行字符串括起来，但是这种做法并不理想。所有放在三重引号之间的内容都会成为字符串，包括代码的格式，如下所示。

我更喜欢另一种方法，这种方法不仅可以将多行字符串连接在一起，而且还可以保证代码的整洁。唯一的缺点是你需要明确指定换行符。

s1 = """Multi line strings can be put
between triple quotes. It's not ideal
when formatting your code though"""

print (s1)
# Multi line strings can be put
# between triple quotes. It's not ideal
# when formatting your code though

s2 = ("You can also concatenate multiple\n" +
"strings this way, but you'll have to\n"
"explicitly put in the newlines")

print(s2)
# You can also concatenate multiple
# strings this way, but you'll have to
# explicitly put in the newlines

24. 条件赋值中的三元运算符

这种方法可以让代码更简洁，同时又可以保证代码的可读性：

[on_true] if [expression] else [on_false]

示例如下：

x = "Success!" if (y == 2) else "Failed!"

25. 统计元素的出现次数

你可以使用集合库中的 Counter 来获取列表中所有唯一元素的出现次数，Counter 会返回一个字典：

from collections import Counter

mylist = [1, 1, 2, 3, 4, 5, 5, 5, 6, 6]
c = Counter(mylist)
print(c)
# Counter({1: 2, 2: 1, 3: 1, 4: 1, 5: 3, 6: 2})

# And it works on strings too:
print(Counter("aaaaabbbbbccccc"))
# Counter({'a': 5, 'b': 5, 'c': 5})

26. 比较运算符的链接

你可以在 Python 中将多个比较运算符链接到一起，如此就可以创建更易读、更简洁的代码：

x = 10

# Instead of:
if x > 5 and x < 15:
print("Yes")
# yes

# You can also write:
if 5 < x < 15:
print("Yes")
# Yes

27. 添加颜色

你可以通过 Colorama，设置终端的显示颜色：

from colorama import Fore, Back, Style

print(Fore.RED + 'some red text')
print(Back.GREEN + 'and with a green background')
print(Style.DIM + 'and in dim text')
print(Style.RESET_ALL)
print('back to normal now')

28. 日期的处理

python-dateutil 模块作为标准日期模块的补充，提供了非常强大的扩展，你可以通过如下命令安装：

pip3 install python-dateutil 

你可以利用该库完成很多神奇的操作。在此我只举一个例子：模糊分析日志文件中的日期：

from dateutil.parser import parse

logline = 'INFO 2020-01-01T00:00:01 Happy new year, human.'
timestamp = parse(log_line, fuzzy=True)
print(timestamp)
# 2020-01-01 00:00:01

你只需记住：当遇到常规 Python 日期时间功能无法解决的问题时，就可以考虑 python-dateutil ！

29.整数除法

在 Python 2 中，除法运算符（/）默认为整数除法，除非其中一个操作数是浮点数。因此，你可以这么写：

# Python 2
5 / 2 = 2
5 / 2.0 = 2.5

在 Python 3 中，除法运算符（/）默认为浮点除法，而整数除法的运算符为 //。因此，你需要这么写：

Python 3
5 / 2 = 2.5
5 // 2 = 2

这项变更背后的动机，请参阅 PEP-0238（https://www.python.org/dev/peps/pep-0238/）。

30. 通过chardet 来检测字符集

你可以使用 chardet 模块来检测文件的字符集。在分析大量随机文本时，这个模块十分实用。安装方法如下：

pip install chardet

安装完成后，你就可以使用命令行工具 chardetect 了，使用方法如下：

chardetect somefile.txt
somefile.txt: ascii with confidence 1.0

你也可以在编程中使用该库，完整的文档请点击这里（https://chardet.readthedocs.io/en/latest/usage.html）。

如上就是我为各位奉上的新年礼物，希望各位喜欢！如果你有其他的技巧、贴士和实践，请在下方留言！

原文：https://towardsdatascience.com/30-python-best-practices-tips-and-tricks-caefb9f8c5f5

本文为 CSDN 翻译，转载请注明来源出处。

m = re.match(p1, line)if m: return m.group(1)else: m = re.match(p2, line)if m: return m.group(2)else: m = re.match(p3, line) ...

if m := re.match(p1, line): return m.group(1)elif m := re.match(p2, line): return m.group(2)elif m := re.match(p3, line):

ent = obj.next_entry()while ent: ... # process ent ent = obj.next_entry()

while ent := obj.next_entry(): ... # process ent

print(f'foo={foo} bar={bar}')

print(f'{foo=} {bar=}')

>>> foo = 42>>> bar = 'answer ...'>>> print(f'{foo=} {bar=}') foo=42 bar=answer ...

>>> import datetime>>> now = datetime.datetime.now()>>> print(f'{now=} {now=!s}') now=datetime.datetime(2019, 7, 16, 16, 58, 0, 680222) now=2019-07-16 16:58:00.680222

>>> import math>>> print(f'{math.pi=!f:.2f}') math.pi=3.14

>>> a = 37>>> print(f'{a = }, {a = }') a = 37, a = 37

>>> pow(2, 3) 8>>> pow(x=2, y=3) ... TypeError: pow() takes no keyword arguments

def pow(x, y, z=None, /): r = x**y if z is not None: r %= z return r

def fun(a, b, /, c, d, *, e, f): ...

fun(1, 2, 3, 4, e=5, f=6) # legalfun(1, 2, 3, d=4, e=5, f=6) # legalfun(a=1, b=2, c=3, d=4, e=5, f=6) # illegal