go语言并发读写数据队列,不停写的同时,一次最多读取指定量数据(逐行注释)

发布于:2024-12-18 ⋅ 阅读:(73) ⋅ 点赞:(0)

1、数据队列可以存储任意类型的一个数据(下程序是添加整数值)。

数据队列代码点这里查看《go语言结构体实现数据结构队列(先进先出)存储数据(逐行注释)》

2、读写操作并发进行(下程序向队列中逐个写入100个数据项)。

3、读取的时候,有最大读取量(下列程序一次最多读取5个数据项),读取数据后,相应的数据项从队列中删除。

4、添加数据完毕、并且队列无数据后,退出程序。

package main

import (
	"fmt"
	"sync"
	"time"
)

var wq = NewWorkQueue()               // 数据队列
var fz = false                        // 添加任务完毕后,设置为true
var wgroup = sync.WaitGroup{}         // 用于同步等待协程完成
var readMax = 5                       // 一次最多获取数据量
var ch = make(chan struct{}, readMax) // 控制获取数据量

func main() {
	wgroup.Add(1) // 添加数据协程+1
	go A()        // 动态添加数据
	B()           // 动态获取数据
	wgroup.Wait() // 等待协程完成
}

// 动态添加数据
func A() {
	for i := 1; i <= 100; i++ {
		wq.Add(i)                          // 队列添加数据
		time.Sleep(100 * time.Millisecond) // 模拟添加需要时间
	}
	fz = true     // 添加数据完成,告知数据获取协程
	wgroup.Done() // 添加数据完成
}

// 动态获取数据
func B() {
	for {
		if fz && wq.Size() == 0 { // 添加数据已完成,并且数据链长度为0
			return // 退出获取数据操作
		} // 添加数据已完成,并且队列为空时,退出获取数据
		if wq.Size() > 0 { // 数据链上有数据节点
			go func() {
				defer wgroup.Done() // 完成后,协程计数-1
				wgroup.Add(1)       // 协程计数+1,防止退出
				data := wq.Pop()    // 从数据队列取出一个数据
				if data != nil {    // 数据存在时(因判断队列长度到取出数据过程中可能有其他协程取走数据,导致获取到空值)
					// 从数据队列获取数据,通过信号量控制并发数量
					ch <- struct{}{} // 获取信号量,占用一个并发资源,满时等待任务释放后继续执行
					wgroup.Add(1)    // 协程计数+1,防止退出
					go func(data interface{}) {
						defer func() {
							<-ch          // 任务完成释放信号量,归还并发资源
							wgroup.Done() // 完成后,协程计数-1
						}()
						time.Sleep(2 * time.Second) // 模拟获取数据后处理数据时间
						fmt.Print(data)             // 数据使用完成
					}(data)
				}
			}()
		}
	}
}