可靠的消息处理 样本条款

可靠的消息处理. 保证每个消 息至少能得到一次完整处理。任务失败时,能够从消息源重试消息; 6. 支持Java、P ython等多种编程语言,提升易用性; 7. 自动化云中交付资源隔离的流计算服务实例 。每个服务实例具有独立的流式计算集群,每个服务实例独占CPU、内存和磁盘IO; 8. 提供可视化界面对作业任务进行管理,包括任务的创建、启动、停止以及任务状态和各项指标监控等; 9. 支持以数据表格和图表方式展示物理资源的使用情况,如存储使用率、内存使用率、CPU使用率等;以及组件节点的运行状态、连接数等。并支持针对相关指标的阈值告警功能。 ★ 43 提供实时计算能力,主要满足公安对于自助分析、交互式查询场景的需求,主要用于数据实时读写和数据实时分析两个场景。数据实时读取主要满足对海量数据(TB级以上)写入及查询的需求,如卡口车辆数据实时写入及车辆轨迹查询;数据实时分析主要满足公安对于交互式场景的数据处理需求,主要提供实时关联、比对、碰撞功能,可自助根据数据筛选条件,即时分析和查询海量的数据。实时计算服务采用分布式交换查询分析数据仓库技术,支持标准SQL对数据的并行插入、删除、改、查询等功能 。提供但不限于以下功能: 1. 采用高速分布式并行计算引擎;提供高性能的结构化 数据的即时及复杂查询功能; 2. 支持数据实时采集,保证可以完整的收集到所有数据,为实时应用提供实时数据;支持对实时数据进行数据检索查询和其它处理;支持通过横向扩展增加实时计算能力; 3. 支持百亿级数据OLAP多维分析实时计算,满足 百亿级以上数据的实时查询、比对、关联碰撞需求; 4. 支持SQL标准语法;支持多种计算方式和性能优化策略,支持通过SQL进行交互式数据处理,兼容SQL-92,SQ L-99,SQL-2003,OLAP扩展,支持SQL并行优化器; 5. 支持多用户模式,用户间 资源隔离,为每个用户分配申请的计算资源和存储资源。 ★ 44 提供离线计算能力,主要用于公安海量数据的批量计算、指标汇总计算、数据挖掘等场景提供基础计算服务,如人员轨迹分析、串并案分析等,保障TB/PB级的海量数据处理能够稳定、高可靠的运行。离线计算框架服务设计:分布式计算框架采用类似Ma pReduce框架,将大事务分散到不同设备处理。分布式数据库设计:建立在离线计算服务上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操 作结构化数据。提供但不限于以下功能: 1. 自动化云中交付兼容主流Hadoop MapR educe/Spark框架的分布式离线计算组件。支持分布式横向扩展和弹性计算:能够支持数据存储的分布式扩展及计算任务的分布式运行。支持根据需求弹性增加和移除工作节点,应对业务高峰。 2. 支持自动将一个作业待处理的大数据划分为多个数据块 ,每个数据块由一个计算任务执行,并自动调度计算节点来处理相应的数据块。 3.支持可视化集群配置和多类型作业管理。支持分布式横向扩展和弹性计算:能够支持数据存储的分布式扩展及计算任务的分布式运行。支持根据需求弹性增加和移除工作节点,以从容应对业务高峰。支持多种资源调度策略:对服务实例中各个作业任务,根据其优先级、资源使用限制自动进行调度,设置多种资源调度算法,满足不同场景的多任务资源调度。兼容多种数据接口,方便数据间的相互交换与访问。支持通过编写SQL或者类SQL处理数据,降低数据开发的复杂性。 4. 支持任务编排,提供工作流程管理功能,用户可以对计算任务进行编排,安排任务执行计划、执行顺序等,从整体上提升数据自动化计算处理能力。 5. 提供包括用户认证、用户权限(数据访问权限、服务组件使用权限)和数据加密等在内的一系列安全机制。集群在响应用户请求时,对用户身份进行认证;同时校验用户是否有权限访问数据以及是否有权限使用该服务组件。可以对服务中的数据进行加密,确保数据安全。 6. 支持以数据表格和图表方式展示物理资源的使用情况,如存储使用率、内存使用率、CPU使用率等,以 及组件节点的运行状态、连接数等。并支持针对相关指标的阈值告警功能。 ★ 45 提供图计算能力,图数据库也叫图形数据库,是NoSQL数据库的一种类型,它应用图形理论存储实体之间的关系信息,基于HBase的分布式存储机制,能够支持百亿节点 ,千亿关系的海量数据,提供基于Spark的数据导入和基于Elasticsearch的索引机制 ,应用在关系分析和反电诈等领域。 1. 图引擎:包括图存储引擎和图处理引擎,其中图存储支持按节点、边表达关系数据;图处理引擎负责将数据并行转换为图结构数据及并行执行图运算; 2.

Related to 可靠的消息处理