为什么需要context
在 go http包的server中,每一个请求在都有一个对应的 goroutine 去处理。请求处理函数通常会启动额外的 goroutine 用来访问后端服务,比如数据库和rpc服务。
用来处理一个请求的 goroutine 通常需要访问一些与请求特定的数据,比如终端用户的身份认证信息、验证相关的token、请求的截止时间。
当一个请求被取消或超时时,所有用来处理该请求的 goroutine 都应该迅速退出,然后系统才能释放这些 goroutine 占用的资源。
基本示例
在 go 语言中,sync.waitgroup
是一个用于控制多个协程(goroutine)的同步工具,它允许主协程等待多个并发协程完成工作。waitgroup
通过计数器来跟踪多个协程的完成状态,每个协程在开始执行前调用 waitgroup
的 add
方法增加计数,执行完成后调用 done
方法减少计数。当计数器归零时,表示所有协程都已完成,主协程可以继续执行。
主要方法
add(delta int)
:增加waitgroup
的计数器,通常在启动协程之前调用。delta
可以是任何整数,通常用于跟踪需要等待的协程数量。done()
:减少waitgroup
的计数器,通常在协程完成工作后调用。wait()
:阻塞调用wait
的协程,直到waitgroup
的计数器归零。
package main import ( "fmt" "sync" "time" ) var wg sync.waitgroup // 初始的例子 func worker() { for { fmt.println("worker") time.sleep(time.second) } // 如何接收外部命令实现退出 wg.done() } func main() { wg.add(1) go worker() // 如何优雅的实现结束子goroutine wg.wait() fmt.println("over") }
全局变量方式
全局变量方式存在的问题:
1. 使用全局变量在跨包调用时不容易统一
2. 如果worker中再启动goroutine,就不太好控制了。
package main import ( "fmt" "sync" "time" ) var wg sync.waitgroup var exit bool func worker() { for { fmt.println("worker") time.sleep(time.second) if exit { break } } wg.done() } func main() { wg.add(1) go worker() time.sleep(time.second * 3) // sleep3秒以免程序过快退出 exit = true // 修改全局变量实现子goroutine的退出 wg.wait() fmt.println("over") }
通道方式
管道方式存在的问题:
1. 使用全局变量在跨包调用时不容易实现规范和统一,需要维护一个共用的channel
package main import ( "fmt" "sync" "time" ) var wg sync.waitgroup func worker(exitchan chan struct{}) { loop: for { fmt.println("worker") time.sleep(time.second) select { case <-exitchan: // 等待接收上级通知 break loop default: } } wg.done() } func main() { var exitchan = make(chan struct{}) wg.add(1) go worker(exitchan) time.sleep(time.second * 3) // sleep3秒以免程序过快退出 exitchan <- struct{}{} // 给子goroutine发送退出信号 close(exitchan) wg.wait() fmt.println("over") }
官方版的方案
package main import ( "context" "fmt" "sync" "time" ) var wg sync.waitgroup func worker(ctx context.context) { loop: for { fmt.println("worker") time.sleep(time.second) select { case <-ctx.done(): // 等待上级通知 break loop default: } } wg.done() } func main() { ctx, cancel := context.withcancel(context.background()) wg.add(1) go worker(ctx) time.sleep(time.second * 3) cancel() // 通知子goroutine结束 wg.wait() fmt.println("over") }
当子goroutine又开启另外一个goroutine时,只需要将ctx传入即可:
package main import ( "context" "fmt" "sync" "time" ) var wg sync.waitgroup func worker(ctx context.context) { go worker2(ctx) loop: for { fmt.println("worker") time.sleep(time.second) select { case <-ctx.done(): // 等待上级通知 break loop default: } } wg.done() } func worker2(ctx context.context) { loop: for { fmt.println("worker2") time.sleep(time.second) select { case <-ctx.done(): // 等待上级通知 break loop default: } } } func main() { ctx, cancel := context.withcancel(context.background()) wg.add(1) go worker(ctx) time.sleep(time.second * 3) cancel() // 通知子goroutine结束 wg.wait() fmt.println("over") }
context初识
go1.7加入了一个新的标准库context
,它定义了context
类型,专门用来简化对于处理单个请求的多个 goroutine 之间与请求域的数据、取消信号、截止时间等相关操作,这些操作可能涉及多个 api 调用。
对服务器传入的请求应该创建上下文,而对服务器的传出调用应该接受上下文。它们之间的函数调用链必须传递上下文,或者可以使用withcancel
、withdeadline
、withtimeout
或withvalue
创建的派生上下文。当一个上下文被取消时,它派生的所有上下文也被取消。
context接口
context.context
是一个接口,该接口定义了四个需要实现的方法。具体签名如下:
type context interface { deadline() (deadline time.time, ok bool) done() <-chan struct{} err() error value(key interface{}) interface{} }
其中:
deadline
方法需要返回当前context
被取消的时间,也就是完成工作的截止时间(deadline);done
方法需要返回一个channel
,这个channel会在当前工作完成或者上下文被取消之后关闭,多次调用done
方法会返回同一个channel;err
方法会返回当前context
结束的原因,它只会在done
返回的channel被关闭时才会返回非空的值;- 如果当前
context
被取消就会返回canceled
错误; - 如果当前
context
超时就会返回deadlineexceeded
错误;
- 如果当前
value
方法会从context
中返回键对应的值,对于同一个上下文来说,多次调用value
并传入相同的key
会返回相同的结果,该方法仅用于传递跨api和进程间跟请求域的数据;
background()和todo()
go内置两个函数:background()
和todo()
,这两个函数分别返回一个实现了context
接口的background
和todo
。我们代码中最开始都是以这两个内置的上下文对象作为最顶层的partent context
,衍生出更多的子上下文对象。
background()
主要用于main函数、初始化以及测试代码中,作为context这个树结构的最顶层的context,也就是根context。
todo()
,它目前还不知道具体的使用场景,如果我们不知道该使用什么context的时候,可以使用这个。
background
和todo
本质上都是emptyctx
结构体类型,是一个不可取消,没有设置截止时间,没有携带任何值的context。
with系列函数
此外,context
包中还定义了四个with系列函数。
withcancel
withcancel
的函数签名如下:
func withcancel(parent context) (ctx context, cancel cancelfunc)
withcancel
返回带有新done通道的父节点的副本。当调用返回的cancel函数或当关闭父上下文的done通道时,将关闭副本上下文的done通道,无论先发生什么情况。
取消此上下文将释放与其关联的资源,因此代码应该在此上下文中运行的操作完成后立即调用cancel。
func gen(ctx context.context) <-chan int { dst := make(chan int) n := 1 go func() { for { select { case <-ctx.done(): return // return结束该goroutine,防止泄露 case dst <- n: n++ } } }() return dst } func main() { ctx, cancel := context.withcancel(context.background()) defer cancel() // 当我们取完需要的整数后调用cancel for n := range gen(ctx) { fmt.println(n) if n == 5 { break } } }
上面的示例代码中,gen
函数在单独的goroutine中生成整数并将它们发送到返回的通道。 gen的调用者在使用生成的整数之后需要取消上下文,以免gen
启动的内部goroutine发生泄漏。
withdeadline
withdeadline
的函数签名如下:
func withdeadline(parent context, deadline time.time) (context, cancelfunc)
返回父上下文的副本,并将deadline调整为不迟于d。如果父上下文的deadline已经早于d,则withdeadline(parent, d)在语义上等同于父上下文。当截止日过期时,当调用返回的cancel函数时,或者当父上下文的done通道关闭时,返回上下文的done通道将被关闭,以最先发生的情况为准。
取消此上下文将释放与其关联的资源,因此代码应该在此上下文中运行的操作完成后立即调用cancel。
func main() { d := time.now().add(50 * time.millisecond) ctx, cancel := context.withdeadline(context.background(), d) // 尽管ctx会过期,但在任何情况下调用它的cancel函数都是很好的实践。 // 如果不这样做,可能会使上下文及其父类存活的时间超过必要的时间。 defer cancel() select { case <-time.after(1 * time.second): fmt.println("overslept") case <-ctx.done(): fmt.println(ctx.err()) } }
上面的代码中,定义了一个50毫秒之后过期的deadline,然后我们调用context.withdeadline(context.background(), d)
得到一个上下文(ctx)和一个取消函数(cancel),然后使用一个select让主程序陷入等待:等待1秒后打印overslept
退出或者等待ctx过期后退出。
在上面的示例代码中,因为ctx 50毫秒后就会过期,所以ctx.done()
会先接收到context到期通知,并且会打印ctx.err()的内容。
withtimeout
withtimeout
的函数签名如下:
func withtimeout(parent context, timeout time.duration) (context, cancelfunc)
withtimeout
返回withdeadline(parent, time.now().add(timeout))
。
取消此上下文将释放与其相关的资源,因此代码应该在此上下文中运行的操作完成后立即调用cancel,通常用于数据库或者网络连接的超时控制。具体示例如下:
package main import ( "context" "fmt" "sync" "time" ) // context.withtimeout var wg sync.waitgroup func worker(ctx context.context) { loop: for { fmt.println("db connecting ...") time.sleep(time.millisecond * 10) // 假设正常连接数据库耗时10毫秒 select { case <-ctx.done(): // 50毫秒后自动调用 break loop default: } } fmt.println("worker done!") wg.done() } func main() { // 设置一个50毫秒的超时 ctx, cancel := context.withtimeout(context.background(), time.millisecond*50) wg.add(1) go worker(ctx) time.sleep(time.second * 5) cancel() // 通知子goroutine结束 wg.wait() fmt.println("over") }
withvalue
withvalue
函数能够将请求作用域的数据与 context 对象建立关系。声明如下:
func withvalue(parent context, key, val interface{}) context
withvalue
返回父节点的副本,其中与key关联的值为val。
仅对api和进程间传递请求域的数据使用上下文值,而不是使用它来传递可选参数给函数。
所提供的键必须是可比较的,并且不应该是string
类型或任何其他内置类型,以避免使用上下文在包之间发生冲突。withvalue
的用户应该为键定义自己的类型。为了避免在分配给interface{}时进行分配,上下文键通常具有具体类型struct{}
。或者,导出的上下文关键变量的静态类型应该是指针或接口。
package main import ( "context" "fmt" "sync" "time" ) // context.withvalue type tracecode string var wg sync.waitgroup func worker(ctx context.context) { key := tracecode("trace_code") tracecode, ok := ctx.value(key).(string) // 在子goroutine中获取trace code if !ok { fmt.println("invalid trace code") } loop: for { fmt.printf("worker, trace code:%s\n", tracecode) time.sleep(time.millisecond * 10) // 假设正常连接数据库耗时10毫秒 select { case <-ctx.done(): // 50毫秒后自动调用 break loop default: } } fmt.println("worker done!") wg.done() } func main() { // 设置一个50毫秒的超时 ctx, cancel := context.withtimeout(context.background(), time.millisecond*50) // 在系统的入口中设置trace code传递给后续启动的goroutine实现日志数据聚合 ctx = context.withvalue(ctx, tracecode("trace_code"), "12512312234") wg.add(1) go worker(ctx) time.sleep(time.second * 5) cancel() // 通知子goroutine结束 wg.wait() fmt.println("over") }
使用context的注意事项
- 推荐以参数的方式显示传递context
- 以context作为参数的函数方法,应该把context作为第一个参数。
- 给一个函数方法传递context的时候,不要传递nil,如果不知道传递什么,就使用
- context.todo()context的value相关方法应该传递请求域的必要数据,不应该用于传递可选参数
- context是线程安全的,可以放心的在多个goroutine中传递
客户端超时取消示例
调用服务端api时如何在客户端实现超时控制?
server端
// context_timeout/server/main.go package main import ( "fmt" "math/rand" "net/http" "time" ) // server端,随机出现慢响应 func indexhandler(w http.responsewriter, r *http.request) { number := rand.intn(2) if number == 0 { time.sleep(time.second * 10) // 耗时10秒的慢响应 fmt.fprintf(w, "slow response") return } fmt.fprint(w, "quick response") } func main() { http.handlefunc("/", indexhandler) err := http.listenandserve(":8000", nil) if err != nil { panic(err) } }
client端
// context_timeout/client/main.go package main import ( "context" "fmt" "io/ioutil" "net/http" "sync" "time" ) // 客户端 type respdata struct { resp *http.response err error } func docall(ctx context.context) { transport := http.transport{ // 请求频繁可定义全局的client对象并启用长链接 // 请求不频繁使用短链接 disablekeepalives: true, } client := http.client{ transport: &transport, } respchan := make(chan *respdata, 1) req, err := http.newrequest("get", "http://127.0.0.1:8000/", nil) if err != nil { fmt.printf("new requestg failed, err:%v\n", err) return } req = req.withcontext(ctx) // 使用带超时的ctx创建一个新的client request var wg sync.waitgroup wg.add(1) defer wg.wait() go func() { resp, err := client.do(req) fmt.printf("client.do resp:%v, err:%v\n", resp, err) rd := &respdata{ resp: resp, err: err, } respchan <- rd wg.done() }() select { case <-ctx.done(): //transport.cancelrequest(req) fmt.println("call api timeout") case result := <-respchan: fmt.println("call server api success") if result.err != nil { fmt.printf("call server api failed, err:%v\n", result.err) return } defer result.resp.body.close() data, _ := ioutil.readall(result.resp.body) fmt.printf("resp:%v\n", string(data)) } } func main() { // 定义一个100毫秒的超时 ctx, cancel := context.withtimeout(context.background(), time.millisecond*100) defer cancel() // 调用cancel释放子goroutine资源 docall(ctx) }
到此这篇关于 go context库 使用的文章就介绍到这了,更多相关 go context库 使用内容请搜索代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持代码网!
发表评论