XXL-JOB v2.1.1 发布,分布式任务调度平台 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xuxueli
V2EX    Java

XXL-JOB v2.1.1 发布,分布式任务调度平台

  •  
  •   xuxueli 2019 年 11 月 25 日 4152 次点击
    这是一个创建于 2263 天前的主题,其中的信息可能已经有所发展或是发生改变。

    XXL-JOB 正在角逐 “2019 年度最受欢迎中国开源软件”,期待您宝贵的一票! 投票链接


    v2.1.1 Release Notes

    • 1、 调度中心日志自动清理功能(至此,度中心 /执行器均支持日志自动清理,过期天数均默认设置为 30 天):调度中心新增配置项("xxl.job.logretentiondays")日志保存天数,过期日志自动清理;解决海量日志情况下日志表慢 SQL 问题;限制大于等于 7 时生效,否则关闭清理功能,默认为 30 ;
    • 2、 调度报表优化:新增日志报表的存储表,三天内的任务日志会以每分钟一次的频率异步同步至报表中;任务报表仅读取报表数据,极大提升加载速度;
    • 3、Cron 在线生成工具:任务新增、编辑框通过组件在线生成 Cron 表达式;
    • 4、Cron 下次执行时间查询:支持通过界面在线查看后续连续 5 次执行时间;
    • 5、 调度中心新增应用健康检查功能,借助“spring-boot-starter-actuator”,相对地址 “/actuator/health”;
    • 6、DB 脚本默认编码改为 utf8mb4,修复字符乱码问题(建议 Mysql 版本 5.7+);
    • 7、 调度中心任务平均分配,触发组件每次获取与线程池数量相关数量的任务,避免大量任务集中在单个调度中心集群节点;
    • 8、 任务触发组件优化,预加载频率正常 1s 一次,当预加载轮空时主动休眠一个加载周期,动态降低加载频率从而降低 DB 压力;
    • 9、 调度组件优化:针对永远不会触发的 Cron 禁止配置和启动;任务 Cron 最后一次触发后再也不会触发时,比如一次性任务,主动停止相关任务;
    • 10、DB 重连优化,修复 DB 宕机重连后任务调度停止的问题,重连后自动加入调度集群触发任务调度;
    • 11、注册监控线程优化,降低死锁几率;
    • 12、调度中心日志删除优化,改为分页获取 ID 并根据 ID 删除的方式,避免批量删除海量日志导致死锁问题;
    • 13、任务重试时参数丢失的问题修复;
    • 14、调度中心移除 SQL 中的 "now()" 函数;集群部署时不再依赖 DB 时钟,仅需要保证调度中心应用节点时钟一致即可;
    • 15、任务触发组件加载顺序调整,避免小概率情况下组件随机加载顺序导致的 I18N 的 NPE 问题;
    • 16、JobThread 自销毁优化,避免并发触发导致 triggerQueue 中任务丢失问题;
    • 17、调度中心密码限制 18 位,修复修改密码超过 18 位无法登陆的问题;
    • 18、任务告警组件分页参数无效问题修复;
    • 19、升级 xxl-rpc 版本:服务端线程优化,降低线程内存开销; IpUtil 优化:增加连通性校,过滤明确非法的网卡;
    • 20、调度中心回调 API 服务改为 restful 方式;
    • 21、UI 优化,任务列表和日志列表数据表格宽度比例调整,避免数据换行提升体验;
    • 22、登录界面取消默认填写的登录账号密码;
    • 23、执行器表属性调整,"顺序" 属性调整为整型,解决执行器数据较多时无法正确排序的问题;
    • 24、任务列表交互优化,支持查看任务所属执行器的注册节点;
    • 25、项目依赖升级至较新稳定版本,如 spring、spring-boot、mybatis、slf4j、groovy 等等;

    简介

    XXL-JOB 是一个轻量级分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。

    输入图片说明

    特性

    • 1、简单:支持通过 Web 页面对任务进行 CRUD 操作,操作简单,一分钟上手;
    • 2、动态:支持动态修改任务状态、启动 /停止任务,以及终止运行中任务,即时生效;
    • 3、调度中心 HA (中心式):调度采用中心式设计,“调度中心”自研调度组件并支持集群部署,可保证调度中心 HA ;
    • 4、执行器 HA (分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行 HA ;
    • 5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址;
    • 6、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务;
    • 7、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性 HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
    • 8、故障转移:任务路由策略选择"故障转移"情况下,如果执行器集群中某一台机器故障,将会自动 Failover 切换到一台正常的执行器发送调度请求。
    • 9、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
    • 10、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务;
    • 11、任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;其中分片任务支持分片粒度的失败重试;
    • 12、任务失败告警;默认提供邮件方式失败告警,同时预留扩展接口,可方便的扩展短信、钉钉等告警方式;
    • 13、分片广播任务:执行器集群部署时,任务路由策略选择"分片广播"情况下,一次任务调度将会广播触发集群中所有执行器执行一次任务,可根据分片参数开发分片任务;
    • 14、动态分片:分片广播任务以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度。
    • 15、事件触发:除了"Cron 方式"和"任务依赖方式"触发任务执行之外,支持基于事件的触发任务方式。调度中心提供触发任务单次执行的 API 服务,可根据业务事件灵活触发。
    • 16、任务进度监控:支持实时监控任务进度;
    • 17、Rolling 实时日志:支持在线查看调度结果,并且支持以 Rolling 方式实时查看执行器输出的完整的执行日志;
    • 18、GLUE:提供 Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持 30 个版本的历史版本回溯。
    • 19、脚本任务:支持以 GLUE 模式开发和运行脚本任务,包括 Shell、Python、NodeJS、PHP、PowerShell 等类型脚本;
    • 20、命令行任务:原生提供通用命令行任务 Handler ( Bean 任务,"CommandJobHandler");业务方只需要提供命令行即可;
    • 21、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
    • 22、一致性:“调度中心”通过 DB 锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;
    • 23、自定义任务参数:支持在线配置调度任务入参,即时生效;
    • 24、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
    • 25、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;
    • 26、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
    • 27、推送 maven 中央仓库: 将会把最新稳定版推送到 maven 中央仓库, 方便用户接入和使用;
    • 28、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;
    • 29、全异步:任务调度流程全异步化设计实现,如异步调度、异步运行、异步回调等,有效对密集调度进行流量削峰,理论上支持任意时长任务的运行;
    • 30、跨平台:原生提供通用 HTTP 任务 Handler ( Bean 任务,"HttpJobHandler");业务方只需要提供 HTTP 链接即可,不限制语言、平台;
    • 31、国际化:调度中心支持国际化设置,提供中文、英文两种可选语言,默认为中文;
    • 32、容器化:提供官方 docker 镜像,并实时更新推送 dockerhub,进一步实现产品开箱即用;
    • 33、线程池隔离:调度线程池进行隔离拆分,慢任务自动降级进入"Slow"线程池,避免耗尽调度线程,提高系统稳定性;;
    • 34、用户管理:支持在线管理系统用户,存在管理员、普通用户两种角色;
    • 35、权限控制:执行器维度进行权限控制,管理员拥有全量权限,普通用户需要分配执行器权限后才允许相关操作;

    文档地址

    技术交流

    7 条回复    2019-12-02 20:51:55 +08:00
    qnsh
        1
    qnsh  
       2019 年 11 月 25 日
    一直在用点赞支持
    cnzjl
        2
    cnzjl  
       2019 年 11 月 25 日
    点赞
    xuxueli
        3
    xuxueli  
    OP
       2019 年 11 月 25 日
    @qnsh 感谢!
    @cnzjl 感谢!
    WEAlex
        4
    WEAlex  
       2019 年 11 月 25 日
    支持一波许雪里
    ming7435
        5
    ming7435  
       2019 年 11 月 25 日
    一直在用,感谢作者!
    xuxueli
        6
    xuxueli  
    OP
       2019 年 11 月 25 日
    @WEAlex 感谢!
    @ming7435 感谢!
    gitgabige
        7
    gitgabige  
       2019 年 12 月 2 日
    公司有用到,感谢
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2621 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 04:50 PVG 12:50 LAX 20:50 JFK 23:50
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86