数据处理平台架构中的SMACK组合:Spark、Mesos、Akka、Cassandra以及Kafka

  • 时间:
  • 浏览:2

在今天的文章中,我们我们 歌词 将着重探讨何如利用SMACK(即Spark、Mesos、Akka、Cassandra以及Kafka)堆栈构建可扩展数据防止平台。嘴笨 这套堆栈仅由数个简单次责组成,但其要能实现少许不同系统设计。除了纯粹的批量因为流防止机制之外,我们我们 歌词 亦可借此实现多样化的Lambda以及Kappa架构。

Mesos - 集群资源管理系统,要能立足于分布式应用线程提供行之有效的资源隔离与共享能力。

在本文刚开始了了阐述以前,我们我们 歌词 首先立足于已有生产项目经验从设计与示例入手进行说明。

Spark - 一套高速通用型引擎,用于实现分布式大规模数据防止任务。

Akka - 一套用于在JVM之上构建高并发、分布式及弹性消息驱动型应用线程的工具包与运行时。

Cassandra - 一套分布式高可用性数据库,旨在跨太满座数据中心防止大规模数据。