Sentinel-Go 源码系列(二)|初始化流程和责任链设计模式

发表于 3年以前  | 总阅读数:268 次

上节中我们知道了 Sentinel-Go 大概能做什么事情,最简单的例子如何跑起来

其实我早就写好了本系列的第二篇,但迟迟没有发布,感觉光初始化流程显得有些单一,于是又补充了责任链模式,二合一,内容显得丰富一些。

初始化流程

初始化做了什么

Sentinel-Go 初始化时主要做了以下2件事情:

  • 通过各种方式(文件、环境变量等)载入全局配置
  • 启动异步的定时任务或服务,如机器 cpu、内存信息收集、metric log 写入等等

初始化流程详解

提供的 API

上节例子中,我们使用了最简单的初始化方式

func InitDefault() error

除此之外,它还提供了另外几种初始化方式

// 使用给定的 parser 方法解析配置的方式来初始化
func InitWithParser(configBytes []byte, parser func([]byte) (*config.Entity, error)) (err error)

// 使用已解析好的配置对象初始化
func InitWithConfig(confEntity *config.Entity) (err error)

// 从 yaml 文件加载配置初始化 
func InitWithConfigFile(configPath string) error

从命名能看出它们只是配置的获取方式不一样,其中InitWithParser 有点意思,传入的 parser 是个函数指针,对于 Java 写惯了的我来说还是有点陌生,比如通过 json 解析可以写出如下 parser

parser := func(configBytes []byte) (*config.Entity, error) {
 conf := &config.Entity{}
 err := json.Unmarshal(configBytes, conf)
 return conf, err
}
conf := "{\"Version\":\"v1\",\"Sentinel\":{\"App\":{\"Name\":\"roshi-app\",\"Type\":0}}}"
err := api.InitWithParser([]byte(conf), parser)

配置项

简单看一下 Sentinel-Go 的配置项,首先配置被包装在一个 Entity 中,包含了一个 Version 和 真正的配置信息 SentinelConfig

type Entity struct {
 Version string
 Sentinel SentinelConfig
}

接着, SentinelConfig 是这样:

type SentinelConfig struct {
 App struct {
  // 应用名
  Name string
  // 应用类型:普通应用,网关
  Type int32
 }
 // Exporter 配置
 Exporter ExporterConfig
 // 日志配置
 Log LogConfig
 // 统计配置
 Stat StatConfig
 // 是否缓存时间戳
 UseCacheTime bool `yaml:"useCacheTime"`
}
  • App 应用信息

  • 应用名

  • 应用类型:如普通应用、网关应用等

  • ExporterConfig:prometheus exporter 暴露服务的端口和 path

type ExporterConfig struct {
 Metric MetricExporterConfig
}

type MetricExporterConfig struct {
 // http 服务地址,如 ":8080"
 HttpAddr string `yaml:"http_addr"`
 //  http 服务 path,如"/metrics".
 HttpPath string `yaml:"http_path"`
}
  • LogConfig:包括使用什么logger,日志目录,文件是否使用 pid(防止一台机器部署两个应用日志混合),以及 metric log 的单个文件大小、最多保留文件个数、刷新时间
type LogConfig struct {
 // logger,可自定义
 Logger logging.Logger
 // 日志目录
 Dir string
 // 是否在日志文件后加 PID
 UsePid bool `yaml:"usePid"`
 // metric 日志配置
 Metric MetricLogConfig
}

type MetricLogConfig struct {
  // 单个文件最大占用空间
 SingleFileMaxSize uint64 `yaml:"singleFileMaxSize"`
 // 最多文件个数
 MaxFileCount      uint32 `yaml:"maxFileCount"`
 // 刷新间隔
 FlushIntervalSec  uint32 `yaml:"flushIntervalSec"`
}
  • StatConfig:统计配置包括资源采集窗口配置,metric 统计的窗口、系统信息收集间隔
type StatConfig struct {
 // 全局统计资源的窗口(后续文章再解释)
 GlobalStatisticSampleCountTotal uint32 `yaml:"globalStatisticSampleCountTotal"`
 GlobalStatisticIntervalMsTotal  uint32 `yaml:"globalStatisticIntervalMsTotal"`
 // metric 统计的窗口(后续文章再解释)
 MetricStatisticSampleCount uint32 `yaml:"metricStatisticSampleCount"`
 MetricStatisticIntervalMs  uint32 `yaml:"metricStatisticIntervalMs"`
 // 系统采集配置
 System SystemStatConfig `yaml:"system"`
}

type SystemStatConfig struct {
 // 采集默认间隔
 CollectIntervalMs uint32 `yaml:"collectIntervalMs"`
 // 采集 cpu load 间隔
 CollectLoadIntervalMs uint32 `yaml:"collectLoadIntervalMs"`
 // 采集 cpu 使用间隔
 CollectCpuIntervalMs uint32 `yaml:"collectCpuIntervalMs"`
 // 采集内存间隔使用
 CollectMemoryIntervalMs uint32 `yaml:"collectMemoryIntervalMs"`
}

配置覆盖

从上文知道,参数可以通过自定义 parser / 文件 / 默认 的方式来传入配置,但后面这个配置还可以用系统的环境变量覆盖,覆盖项目前只包括应用名、应用类型、日志文件使用使用PID 结尾、日志目录

func OverrideConfigFromEnvAndInitLog() error {
 // 系统环境变量可覆盖传入的配置
 err := overrideItemsFromSystemEnv()
 if err != nil {
  return err
 }
 ...
 return nil
}

启动后台服务

  • 启动 聚合 metric 定时任务,聚合后发送到 chan,聚合后的格式如下:
_, err := fmt.Fprintf(&b, "%d|%s|%s|%d|%d|%d|%d|%d|%d|%d|%d",
  m.Timestamp, timeStr, finalName, m.PassQps,
  m.BlockQps, m.CompleteQps, m.ErrorQps, m.AvgRt,
  m.OccupiedPassQps, m.Concurrency, m.Classification)

时间戳|时间字符串|名称|通过QPS|阻断QPS|完成QPS|出错QPS|平均RT|已经通过QPS|并发|类别

  • 启动 metric 写入日志定时任务,可配置间隔时间(秒级),接受上个任务写入 chan 的数据
  • 启动单独 goroutine 收集 cpu 使用率 / load、内存使用,收集间隔可配置,收集到的信息存放在 system_metric 下的私有变量
var (
 currentLoad        atomic.Value
 currentCpuUsage    atomic.Value
 currentMemoryUsage atomic.Value
)
  • 若开启,则启动单独 goroutine 缓存时间戳,间隔是 1ms,这个主要是为了高并发下提高获取时间戳的性能

func (t *RealClock) CurrentTimeMillis() uint64 {
  // 从缓存获取时间戳
 tickerNow := CurrentTimeMillsWithTicker()
 if tickerNow > uint64(0) {
  return tickerNow
 }
 return uint64(time.Now().UnixNano()) / UnixTimeUnitOffset
}

获取时,如果拿到 0 则说明未开启缓存时间戳,取当前,如果拿到值说明已开启,可直接使用

  • 若配置了 metric exporter,则启动服务,监听端口,暴露 prometheus 的 exporter

责任链模式

什么是责任链模式

可以用这样一张图形象地解释什么是责任链:

责任链模式为每次请求创建了一个,链上有 N 多个处理者,处理者可在不同阶段处理不同的事情,就像这幅图上的小人,拿到一桶水(请求)后都可以完成各自的事情,比如往头上浇,然后再传递给下一个。

为什么叫责任?因为每个处理者只关心自己的责任,跟自己没关系就递交给链上的下一个处理者。

责任链在哪里有用到?很多开源产品都是用了责任链模式,如 DubboSpring MVC等等

这么设计有什么好处?

  • 简化编码难度,抽象出处理模型,只需关注关心的点即可
  • 扩展性好,如果需要自定义责任链中的一环或者插拔某一环,非常容易实现

关于扩展性除了大家理解的软件设计中的扩展性外,这里还想提两点,阿里开源的软件其实都有高扩展性这个特性,一是因为是开源,别人使用场景未必和自己一致,留出扩展接口,不符合要求的,用户可以自行实现,二是如果要追溯,阿里开源扩展性 Dubbo 可能算是祖师爷(未考证),Dubbo 作者(梁飞)的博客中说过为什么 Dubbo 要设计这么强的扩展性,他对代码有一定的追求,在他维护时期,代码能保证高质量,但如果项目交给别人,如何才能保持现在的水准呢?于是他设计出一套很强的扩展,后面开发基于这个扩展去做,代码就不会差到哪里去

  • 可动态,可针对每个请求构造不同的责任链

Sentinel-Go 责任链设计

先看责任链的数据结构定义,Sentinel-Go 把处理者叫 Slot(插槽),将 Slot 分为了前置统计、规则校验、统计三组,且每组是有有序的

type SlotChain struct {
 // 前置准备(有序)
 statPres []StatPrepareSlot
 // 规则校验(有序)
 ruleChecks []RuleCheckSlot
 // 统计(有序)
 stats []StatSlot
 // 上线文对象池(复用对象)
 ctxPool *sync.Pool
}

在调用 Entry 开始进入 Sentinel 逻辑时,如果没有手动构造 SlotChain,则使用默认。

为什么这里要设计成三个 Slot组呢?因为每组 Slot 的行为稍有不同,比如前置准备的 Slot 不需要返回值,规则校验组需要返回值,如果校验当前流量不通过,还需要返回原因、类型等信息,统计 Slot 还会有一些入参,比如请求是否失败等等

type BaseSlot interface {
 Order() uint32
}

type StatPrepareSlot interface {
 BaseSlot
 Prepare(ctx *EntryContext)
}

type RuleCheckSlot interface {
 BaseSlot
 Check(ctx *EntryContext) *TokenResult
}

type StatSlot interface {
 BaseSlot
 OnEntryPassed(ctx *EntryContext)
 OnEntryBlocked(ctx *EntryContext, blockError *BlockError)
 OnCompleted(ctx *EntryContext)
}

总结

本文从源码角度分析了 Sentinel-Go 的初始化流程和责任链的设计,总体上来说还是比较简单,接下来的系列文章将会分析 Sentinel-Go 的限流熔断等的核心设计与实现。


本文由哈喽比特于3年以前收录,如有侵权请联系我们。
文章来源:https://mp.weixin.qq.com/s/F54zAu2gnX4a0YUQXTnZdA

 相关推荐

刘强东夫妇:“移民美国”传言被驳斥

京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而,京东官方通过微博发言人发布的消息澄清了这些传言,称这些言论纯属虚假信息和蓄意捏造。

发布于:1年以前  |  808次阅读  |  详细内容 »

博主曝三大运营商,将集体采购百万台华为Mate60系列

日前,据博主“@超能数码君老周”爆料,国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。

发布于:1年以前  |  770次阅读  |  详细内容 »

ASML CEO警告:出口管制不是可行做法,不要“逼迫中国大陆创新”

据报道,荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦(ASML)CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。

发布于:1年以前  |  756次阅读  |  详细内容 »

抖音中长视频App青桃更名抖音精选,字节再发力对抗B站

今年早些时候,抖音悄然上线了一款名为“青桃”的 App,Slogan 为“看见你的热爱”,根据应用介绍可知,“青桃”是一个属于年轻人的兴趣知识视频平台,由抖音官方出品的中长视频关联版本,整体风格有些类似B站。

发布于:1年以前  |  648次阅读  |  详细内容 »

威马CDO:中国每百户家庭仅17户有车

日前,威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”,同时,他发文表示:中国汽车普及率低于非洲国家尼日利亚,每百户家庭仅17户有车。意大利世界排名第一,每十户中九户有车。

发布于:1年以前  |  589次阅读  |  详细内容 »

研究发现维生素 C 等抗氧化剂会刺激癌症生长和转移

近日,一项新的研究发现,维生素 C 和 E 等抗氧化剂会激活一种机制,刺激癌症肿瘤中新血管的生长,帮助它们生长和扩散。

发布于:1年以前  |  449次阅读  |  详细内容 »

苹果据称正引入3D打印技术,用以生产智能手表的钢质底盘

据媒体援引消息人士报道,苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后,3D系统一度大涨超10%,不过截至周三收盘,该股涨幅回落至2%以内。

发布于:1年以前  |  446次阅读  |  详细内容 »

千万级抖音网红秀才账号被封禁

9月2日,坐拥千万粉丝的网红主播“秀才”账号被封禁,在社交媒体平台上引发热议。平台相关负责人表示,“秀才”账号违反平台相关规定,已封禁。据知情人士透露,秀才近期被举报存在违法行为,这可能是他被封禁的部分原因。据悉,“秀才”年龄39岁,是安徽省亳州市蒙城县人,抖音网红,粉丝数量超1200万。他曾被称为“中老年...

发布于:1年以前  |  445次阅读  |  详细内容 »

亚马逊股东起诉公司和贝索斯,称其在购买卫星发射服务时忽视了 SpaceX

9月3日消息,亚马逊的一些股东,包括持有该公司股票的一家养老基金,日前对亚马逊、其创始人贝索斯和其董事会提起诉讼,指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。

发布于:1年以前  |  444次阅读  |  详细内容 »

苹果上线AppsbyApple网站,以推广自家应用程序

据消息,为推广自家应用,苹果现推出了一个名为“Apps by Apple”的网站,展示了苹果为旗下产品(如 iPhone、iPad、Apple Watch、Mac 和 Apple TV)开发的各种应用程序。

发布于:1年以前  |  442次阅读  |  详细内容 »

特斯拉美国降价引发投资者不满:“这是短期麻醉剂”

特斯拉本周在美国大幅下调Model S和X售价,引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金(Future Fund)管理合伙人加里·布莱克发帖称,降价是一种“短期麻醉剂”,会让潜在客户等待进一步降价。

发布于:1年以前  |  441次阅读  |  详细内容 »

光刻机巨头阿斯麦:拿到许可,继续对华出口

据外媒9月2日报道,荷兰半导体设备制造商阿斯麦称,尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效,但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。

发布于:1年以前  |  437次阅读  |  详细内容 »

马斯克与库克首次隔空合作:为苹果提供卫星服务

近日,根据美国证券交易委员会的文件显示,苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元(约 4.65 亿元人民币)。用于在 2023-2025 年期间,发射卫星,进一步扩展苹果 iPhone 系列的 SOS 卫星服务。

发布于:1年以前  |  430次阅读  |  详细内容 »

𝕏(推特)调整隐私政策,可拿用户发布的信息训练 AI 模型

据报道,马斯克旗下社交平台𝕏(推特)日前调整了隐私政策,允许 𝕏 使用用户发布的信息来训练其人工智能(AI)模型。新的隐私政策将于 9 月 29 日生效。新政策规定,𝕏可能会使用所收集到的平台信息和公开可用的信息,来帮助训练 𝕏 的机器学习或人工智能模型。

发布于:1年以前  |  428次阅读  |  详细内容 »

荣耀CEO谈华为手机回归:替老同事们高兴,对行业也是好事

9月2日,荣耀CEO赵明在采访中谈及华为手机回归时表示,替老同事们高兴,觉得手机行业,由于华为的回归,让竞争充满了更多的可能性和更多的魅力,对行业来说也是件好事。

发布于:1年以前  |  423次阅读  |  详细内容 »

AI操控无人机能力超越人类冠军

《自然》30日发表的一篇论文报道了一个名为Swift的人工智能(AI)系统,该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。

发布于:1年以前  |  423次阅读  |  详细内容 »

AI生成的蘑菇科普书存在可致命错误

近日,非营利组织纽约真菌学会(NYMS)发出警告,表示亚马逊为代表的电商平台上,充斥着各种AI生成的蘑菇觅食科普书籍,其中存在诸多错误。

发布于:1年以前  |  420次阅读  |  详细内容 »

社交媒体平台𝕏计划收集用户生物识别数据与工作教育经历

社交媒体平台𝕏(原推特)新隐私政策提到:“在您同意的情况下,我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”

发布于:1年以前  |  411次阅读  |  详细内容 »

国产扫地机器人热销欧洲,国产割草机器人抢占欧洲草坪

2023年德国柏林消费电子展上,各大企业都带来了最新的理念和产品,而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。

发布于:1年以前  |  406次阅读  |  详细内容 »

罗永浩吐槽iPhone15和14不会有区别,除了序列号变了

罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品,具体内容为:“以我对我‘子公司’的了解,我认为 iPhone 15 跟 iPhone 14 不会有什么区别的,除了序(列)号变了,这个‘不要脸’的东西,这个‘臭厨子’。

发布于:1年以前  |  398次阅读  |  详细内容 »
 相关文章
Android插件化方案 5年以前  |  237278次阅读
vscode超好用的代码书签插件Bookmarks 2年以前  |  8114次阅读
 目录