分布式任务调度平台 XXL-JOB - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xuxueli
V2EX    Markdown

分布式任务调度平台 XXL-JOB

  •  1
     
  •   xuxueli 2017-03-07 16:25:38 +08:00 3724 次点击
    这是一个创建于 3140 天前的主题,其中的信息可能已经有所发展或是发生改变。

    《分布式任务调度平台 XXL-JOB 》

    一、简介

    1.1 概述

    XXL-JOB 是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。

    1.2 特性

    • 1 、简单:支持通过 Web 页面对任务进行 CRUD 操作,操作简单,一分钟上手;
    • 2 、动态:支持动态修改任务状态、暂停 /恢复任务,以及终止运行中任务,即时生效;
    • 3 、调度 HA :“调度中心”基于集群 Quartz 实现,可保证调度中心 HA ;
    • 4 、任务 HA :任务"执行器"支持集群部署,可保证任务执行 HA ;
    • 5 、任务 Failover :执行器集群部署时,调度失败时将会平滑切换执行器进行 Failover ;
    • 6 、一致性:“调度中心”通过 DB 锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;
    • 7 、自定义任务参数:支持在线配置调度任务入参,即时生效;
    • 8 、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
    • 9 、执行日志:支持在线查看调度结果,并且查看完整的执行日志;
    • 10 、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
    • 11 、支持登录验证;
    • 12 、 GLUE :提供 Web IDE ,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持 30 个版本的历史版本回溯。
    • 13 、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;
    • 14 、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
    • 15 、推送 maven 中央仓库: 将会把最新稳定版推送到 maven 中央仓库, 方便用户接入和使用;
    • 16 、任务注册: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。

    1.3 发展

    于 2015 年中,我在 github 上创建 XXL-JOB 项目仓库并提交第一个 commit ,随之进行系统结构设计, UI 选型,交互设计……

    于 2015-11 月, XXL-JOB 终于 REALEASE 了第一个大版本 V1.0 , 随后我将之发布到 OSCHINA , XXL-JOB 在 OSCHINA 上获得了 @红薯的热门推荐,同期分别达到了 OSCHINA 的“热门动弹”排行第一和 git.oschina 的开源软件月热度排行第一,在此特别感谢红薯,感谢大家的关注和支持。

    于 2015-12 月,我将 XXL-JOB 发表到我司内部知识库,并且得到内部同事认可。

    于 2016-01 月我司展开 XXL-JOB 的内部接入和定制工作,在此感谢袁某和尹某两位同事的贡献,同时也感谢内部其他给与关注与支持的同事。

    我司大众点评目前已接入 XXL-JOB ,内部别名《 Ferrari 》( Ferrari 基于 XXL-JOB 的 V1.1 版本定制而成,新接入应用推荐升级最新版本)。据最新统计, 自 2016-01-21 接入至 2017-02-07 期间,该系统已调度约 30 万次,表现优异。新接入应用推荐使用最新版本,因为经过数个大版本的更新,系统的任务模型、 UI 交互模型以及底层调度通讯模型都有了较大的优化和提升,核心功能更加稳定高效。

    至今, XXL-JOB 已接入多家公司的线上产品线,接入场景如电商业务, O2O 业务和大数据作业等,截止 2016-07-19 为止, XXL-JOB 已接入的公司包括不限于:

    - 1 、大众点评; - 2 、山东学而网络科技有限公司; - 3 、安徽慧通互联科技有限公司; - 4 、人人聚财金服; - 5 、上海棠棣信息科技股份有限公司 - 6 、运满满 - 7 、米其林 (中国区) - 8 、妈妈联盟 - 9 、九樱天下(北京)信息技术有限公司 - 10 、万普拉斯科技有限公司(一加手机) - 11 、上海亿保健康管理有限公司 - 12 、海尔馨厨 (海尔) - 13 、河南大红包电子商务有限公司 - 14 、成都顺点科技有限公司 - 15 、深圳市怡亚通 - 16 、深圳麦亚信科技股份有限公司 - 17 、上海博莹科技信息技术有限公司 - …… 

    欢迎大家的关注和使用, XXL-JOB 也将拥抱变化,持续发展。

    1.4 下载

    源码地址 (将会在两个 git 仓库同步发布最新代码)
    中央仓库地址 (最新 Release 版本)
    <!-- http://repo1.maven.org/maven2/com/xuxueli/xxl-job-core/ --> <dependency> <groupId>com.xuxueli</groupId> <artifactId>xxl-job-core</artifactId> <version>1.5.2</version> </dependency> 
    博客地址 (将会在两个博客同步更新文档)
    技术交流群 (仅作技术交流)
    • 群 2 : 438249535 image
    • 群 1 : 367260654 image (群 1 已满,请加群 2 )
    Download: 历史 Release 版本下载位置如下图所示,请自行前往进行选择和下载。

    输入图片说明

    xuxueli
        1
    xuxueli  
    OP
       2017-03-07 16:28:32 +08:00
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1004 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 18:33 PVG 02:33 LAX 11:33 JFK 14:33
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86