支持异步写入
This commit is contained in:
+7
-1
@@ -15,6 +15,7 @@ func main() {
|
|||||||
// loggerx.SetTimeZone(time.UTC),
|
// loggerx.SetTimeZone(time.UTC),
|
||||||
loggerx.SetTimeZone(time.FixedZone("CST", 8*3600)),
|
loggerx.SetTimeZone(time.FixedZone("CST", 8*3600)),
|
||||||
)
|
)
|
||||||
|
log.WriteAsync().Info(ctx, "哈哈哈2异步")
|
||||||
log.Info(ctx, "哈哈哈2")
|
log.Info(ctx, "哈哈哈2")
|
||||||
log.Info(ctx, "哈哈哈2")
|
log.Info(ctx, "哈哈哈2")
|
||||||
log.Info(ctx, "哈哈哈2")
|
log.Info(ctx, "哈哈哈2")
|
||||||
@@ -22,5 +23,10 @@ func main() {
|
|||||||
log.Info(ctx, "哈哈哈2")
|
log.Info(ctx, "哈哈哈2")
|
||||||
log.Info(ctx, "哈哈哈2")
|
log.Info(ctx, "哈哈哈2")
|
||||||
log.Info(ctx, "哈哈哈2")
|
log.Info(ctx, "哈哈哈2")
|
||||||
log.Info(ctx, "哈哈哈2")
|
|
||||||
|
for i := 0; i < 100; i++ {
|
||||||
|
log.WriteAsync().Infof(ctx, "异步 %d", i)
|
||||||
|
}
|
||||||
|
|
||||||
|
time.Sleep(time.Second)
|
||||||
}
|
}
|
||||||
|
|||||||
+23
-9
@@ -21,11 +21,12 @@ import (
|
|||||||
|
|
||||||
// 需要实现io.Writer接口
|
// 需要实现io.Writer接口
|
||||||
type Logger struct {
|
type Logger struct {
|
||||||
ctx context.Context
|
ctx context.Context
|
||||||
filePath *sync.Map // filePath
|
filePath *sync.Map // filePath
|
||||||
mu *sync.Mutex
|
mu *sync.Mutex
|
||||||
option loggerOption
|
option loggerOption
|
||||||
channel string
|
channel string
|
||||||
|
writeType writeType // 是否异步落盘,这里作用范围是本条,优先判断这里
|
||||||
}
|
}
|
||||||
|
|
||||||
type filePath struct {
|
type filePath struct {
|
||||||
@@ -45,10 +46,11 @@ func NewLogger(ctx context.Context, opts ...Option) *Logger {
|
|||||||
}
|
}
|
||||||
|
|
||||||
l := &Logger{
|
l := &Logger{
|
||||||
ctx: ctx,
|
ctx: ctx,
|
||||||
filePath: &sync.Map{},
|
filePath: &sync.Map{},
|
||||||
mu: &sync.Mutex{},
|
mu: &sync.Mutex{},
|
||||||
option: opt,
|
option: opt,
|
||||||
|
writeType: writeTypeDefault,
|
||||||
}
|
}
|
||||||
|
|
||||||
log.SetOutput(l)
|
log.SetOutput(l)
|
||||||
@@ -87,6 +89,18 @@ func (l *Logger) Channel(ch string) (r *Logger) {
|
|||||||
return &rr
|
return &rr
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func (l *Logger) WriteAsync() (r *Logger) {
|
||||||
|
rr := *l
|
||||||
|
rr.writeType = writeTypeAsync
|
||||||
|
return &rr
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *Logger) WriteSync() (r *Logger) {
|
||||||
|
rr := *l
|
||||||
|
rr.writeType = writeTypeSync
|
||||||
|
return &rr
|
||||||
|
}
|
||||||
|
|
||||||
// 获取TraceField的字段
|
// 获取TraceField的字段
|
||||||
func (l *Logger) GetTraceField() string {
|
func (l *Logger) GetTraceField() string {
|
||||||
return l.option.traceField
|
return l.option.traceField
|
||||||
|
|||||||
+18
@@ -13,6 +13,7 @@ type loggerOption struct {
|
|||||||
isGinLog bool
|
isGinLog bool
|
||||||
isGid bool
|
isGid bool
|
||||||
isPrintFile bool
|
isPrintFile bool
|
||||||
|
writeType writeType // 是否异步罗盘
|
||||||
traceField string // trace字段
|
traceField string // trace字段
|
||||||
errorToInfo bool // 错误日志是否写入info日志
|
errorToInfo bool // 错误日志是否写入info日志
|
||||||
days int // 日志保存天数
|
days int // 日志保存天数
|
||||||
@@ -22,11 +23,21 @@ type loggerOption struct {
|
|||||||
timeZone *time.Location // 时区
|
timeZone *time.Location // 时区
|
||||||
}
|
}
|
||||||
|
|
||||||
|
type writeType uint8
|
||||||
|
|
||||||
|
const (
|
||||||
|
// 0.默认(同步) 1.指定同步 2.指定异步
|
||||||
|
writeTypeDefault writeType = iota
|
||||||
|
writeTypeSync
|
||||||
|
writeTypeAsync
|
||||||
|
)
|
||||||
|
|
||||||
func defaultOptions() loggerOption {
|
func defaultOptions() loggerOption {
|
||||||
return loggerOption{
|
return loggerOption{
|
||||||
isGinLog: true,
|
isGinLog: true,
|
||||||
isGid: true,
|
isGid: true,
|
||||||
isPrintFile: true,
|
isPrintFile: true,
|
||||||
|
writeType: writeTypeDefault, // 默认同步
|
||||||
format: "json",
|
format: "json",
|
||||||
dir: "./log",
|
dir: "./log",
|
||||||
traceField: "trace_id",
|
traceField: "trace_id",
|
||||||
@@ -45,6 +56,13 @@ func SetTraceField(traceField string) Option {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 是否异步写入
|
||||||
|
func SetWriteAsync() Option {
|
||||||
|
return func(o *loggerOption) {
|
||||||
|
o.writeType = writeTypeAsync
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
// 打印到控制台
|
// 打印到控制台
|
||||||
func SetToConsole() Option {
|
func SetToConsole() Option {
|
||||||
return func(o *loggerOption) {
|
return func(o *loggerOption) {
|
||||||
|
|||||||
@@ -1,4 +1,3 @@
|
|||||||
|
|
||||||
# 简介
|
# 简介
|
||||||
|
|
||||||
这个是基于原生log实现的日志存储。
|
这个是基于原生log实现的日志存储。
|
||||||
@@ -11,7 +10,6 @@ log.Println("ddddd")
|
|||||||
|
|
||||||
# 用法
|
# 用法
|
||||||
|
|
||||||
|
|
||||||
# 开发计划
|
# 开发计划
|
||||||
|
|
||||||
1. 自动清除过期的日志文件
|
1. 自动清除过期的日志文件
|
||||||
@@ -23,3 +21,5 @@ log.Println("ddddd")
|
|||||||
2. 按照文件大小分割
|
2. 按照文件大小分割
|
||||||
3. 按照日志行数分割
|
3. 按照日志行数分割
|
||||||
6. 支持debug 模式
|
6. 支持debug 模式
|
||||||
|
|
||||||
|
* [X] 添加异步落库,支持全局和单次
|
||||||
|
|||||||
+40
@@ -2,9 +2,20 @@ package loggerx
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"io"
|
"io"
|
||||||
|
"sync"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
// 写入,需要判断同步还是异步
|
||||||
func (l *Logger) write(event string, b []byte) (n int, err error) {
|
func (l *Logger) write(event string, b []byte) (n int, err error) {
|
||||||
|
if l.toAsync(event, b) {
|
||||||
|
// fmt.Println("异步写入")
|
||||||
|
return len(b), nil
|
||||||
|
}
|
||||||
|
return l.store(event, b)
|
||||||
|
}
|
||||||
|
|
||||||
|
// 实际的存储
|
||||||
|
func (l *Logger) store(event string, b []byte) (n int, err error) {
|
||||||
|
|
||||||
if l.option.isPrintFile {
|
if l.option.isPrintFile {
|
||||||
f, err := l.getFile(event, false)
|
f, err := l.getFile(event, false)
|
||||||
@@ -30,3 +41,32 @@ func (l *Logger) write(event string, b []byte) (n int, err error) {
|
|||||||
}
|
}
|
||||||
return n, err
|
return n, err
|
||||||
}
|
}
|
||||||
|
|
||||||
|
var chanStore = make(chan cacheData, 1000)
|
||||||
|
var chanOnce = sync.Once{}
|
||||||
|
|
||||||
|
type cacheData struct {
|
||||||
|
logger *Logger
|
||||||
|
Event string
|
||||||
|
Data []byte
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *Logger) toAsync(event string, b []byte) bool {
|
||||||
|
chanOnce.Do(func() {
|
||||||
|
go func() {
|
||||||
|
for val := range chanStore {
|
||||||
|
val.logger.store(val.Event, val.Data)
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
})
|
||||||
|
|
||||||
|
if l.writeType == writeTypeSync || // 指定同步模式
|
||||||
|
(l.writeType == writeTypeDefault && l.option.writeType != writeTypeAsync) { // 默认同步模式
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
// 为了避免丢失,还是要阻塞等待
|
||||||
|
chanStore <- cacheData{l, event, b}
|
||||||
|
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user