博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
SpringBatch的初步了解
阅读量:6260 次
发布时间:2019-06-22

本文共 1029 字,大约阅读时间需要 3 分钟。

  一、SpringBatch是一个批处理的框架,作为一个Spring组件,提供了通过使用Spring的依赖注入来处理批处理的条件。

  什么是批处理呢?

在现代企业应用当中,面对复杂的业务以及海量的数据,除了通过庞杂的人机交互界面进行各种处理外,还有一类工作,不需要人工干预,只需要定期读入大批量数据,然后完成相应业务处理并进行归档。这类工作即为“批处理”。比如近期金融项目中的撮合功能,不需要人工干预,自动对借款人和出借人进行匹配撮合,完成借贷功能。

从上面的描述可以看出,批处理应用有如下几个特点:

    • 数据量大,少则百万,多则上亿的数量级。
    • 不需要人工干预,由系统根据配置自动完成。
    • 与时间相关,如每天执行一次或每月执行一次。

同时,批处理应用又明显分为三个环节:

    • 读数据,数据可能来自文件、数据库或消息队列等
    • 数据处理,如电信支撑系统的计费处理
    • 写数据,将输出结果写入文件、数据库或消息队列等

因此,从系统架构上,应重点考虑批处理应用的事务粒度、日志监控、执行、资源管理(尤其存在并发的情况下)。从系统设计上,应重点考虑数据读写与业务处理的解耦,提高复用性以及可测试性。

  二、SpringBatch的业务场景有:

  • 周期性的提交批处理
  • 把一个任务并行处理
  • 消息驱动应用分级处理
  • 大规模并行批处理
  • 手工或调度使用任务失败之后重新启动
  • 有依赖步骤的顺序执行(使用工作流驱动扩展)
  • 处理时跳过部分记录
  • 成批事务:为小批量的或有的存储过程/脚本的场景使用

  三、SpringBatch的架构图

  SpringBatch使用三层架构,三层分别为应用、核心和基础服务。

  

  细化的体系结构

  

  

  应用层:包含所有的批处理作业,通过Spring框架管理程序员自定义的代码。

  核心层:包含了Batch启动和控制所需要的核心类,如:JobLauncher、Job和step等。

  基础服务层:应用层和核心层建立在基础服务层即基础架构层智商,基础架构层提供共通的读(ItemReader)、写(ItemWriter)和服务(如RetryTemplate:重试模块,可以被应用层和核心层使用)。

  另外我们还需要知道,Spring Batch 是一款批处理应用框架,不是调度框架。它只关注批处理任务相关的问题,如事务、并发、监控、执行等,并不提供相应的调度功能。因此,如果我们希望批处理任务定期执行,可结合 Quartz 等成熟的调度框架实现。

转载地址:http://rjqsa.baihongyu.com/

你可能感兴趣的文章
约瑟夫·奈:透视网络空间
查看>>
我的友情链接
查看>>
大数据入门基础:Hadoop简介
查看>>
jdk1.7新特性
查看>>
杭电1029--Ignatius and the Princess IV(哈希)
查看>>
使用CSS3改变文本选中的默认颜色
查看>>
课后作业-阅读任务-阅读提问-3
查看>>
[130_存储业务]002_富士通存储系统Eternus_高级拷贝之对等拷贝(Advanced Copy EC)
查看>>
计算器作业(摘要算法)
查看>>
嵌入式 Linux 学习 之路
查看>>
北大acm1006
查看>>
下载PhantomJS
查看>>
IOS 3D UI --- CALayer的transform扩展
查看>>
前端常识
查看>>
使用sqlyog将sql server 迁移到mysql
查看>>
解决浏览器Adobe Flash Player不是最新版本问题
查看>>
hdu1503
查看>>
Ubuntu Server14.04 32位安装odoo8.0简单方法
查看>>
js 获取两个日期相差的天数--自定义方法
查看>>
PHP 实现小偷程序
查看>>