网站

# 个人收藏夹

# 资料网站

IT书籍在线阅读 (opens new window)

# 数据湖

Apache Iceberg (opens new window) Apache Iceberg是由 Netflix 开发开源的用于庞大分析数据集的开放表格式
Apache Hudi (opens new window) Apache Hudi是由Uber开发并开源的Data Lakes解决方案
Delta Lake (opens new window) Delta Lake是一个开源存储层，为数据湖带来了可靠性

# 全链路监控

CAT (opens new window) CAT 是基于 Java 开发的实时应用监控平台，为美团点评提供了全面的实时监控告警服务
Pinpoint (opens new window) Pinpoint是一个开源的 APM (Application Performance Management/应用性能管理)工具
zipkin (opens new window) Zipkin是由Twitter公司开源，开放源代码分布式的跟踪系统
SkyWalking (opens new window) Skywalking 专门为微服务架构和云原生架构系统而设计并且支持分布式链路追踪的APM系统。

# 数据采集

Loki (opens new window)loki是一个水平可扩展，高可用性，多租户的日志聚合系统
Streamsets (opens new window)Streamsets是一款用于数据集成、处理及流转的开源平台
jmxtrans (opens new window)jmxtrans是一个基于jmx接口的数据采集工具
Apache nifi (opens new window)Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。
Telegraf (opens new window)Telegraf 是一个用 Go 编写的收集和报告指标和数据的程序
gohangout (opens new window)gohangout是携程公司开源的一个日志采集系统
rsyslog (opens new window)rsyslog是Linux系统自带的高性能、高安全性的用来收集、处理日志的程序
Logstash (opens new window)Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理
scribe (opens new window)Scribe是facebook开源的日志收集系统
beats (opens new window)Beats 是一个免费且轻量型数据采集器
fluentd (opens new window)Fluentd是一个开源的数据收集器，专为处理数据流设计
flume (opens new window)Apache Flume是一个分布式的、可靠的、可用的，从多种不同的源收集、聚集、移动大量日志数据到集中数据存储的系统

# 消息队列

RabbitMQ (opens new window)RabbitMQ 是一款具有高可靠、易扩展、高可用及丰富的功能特性的消息中间件
RocketMQ (opens new window)RocketMQ 是一个分布式消息中间件，其具有低延迟、高性能和可靠性、万亿级容量、灵活的可扩展性特性
nsq (opens new window)NSQ是Go语言编写的，开源的分布式消息队列中间件
Pulsar (opens new window)Apache Pulsar由雅虎开发并开源的下一代分布式消息系统
kafka (opens new window)Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。

# 数据同步

Nifi (opens new window)Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统
CloudCanal (opens new window)CloudCanal 是一款数据迁移同步工具，帮助企业快速构建高质量数据流通通道，产品包含 SaaS 模式和私有输出专享模式
canal (opens new window)一个阿里巴巴开源的数据同步工具
Kafka Connect (opens new window)Kafka connect 是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。
Waterdrop (opens new window)Waterdrop 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品
Sqoop (opens new window)Sqoop是一款在Hadoop与传统的数据库间进行数据同步的开源工具
Datax (opens new window)DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台
Chunjun (opens new window)FlinkX是一个基于Flink的批流统一的数据同步工具

# 分布式存储

minio (opens new window)MinIO 是一个基于 Apache License v2.0 开源协议的对象存储服务。
Ignite (opens new window)Apache Ignite是一个开源的分布式数据库、缓存和处理平台
Kudu (opens new window)Apache Kudu是为Hadoop平台开发的一个列式存储管理器
Alluxio (opens new window)Alluxio是一个基于内存的分布式文件系统
HDFS (opens new window)HDFS是Hadoop框架中的一个分布式的文件存储系统
OpenStack Swift (opens new window)OpenStack Swift 是一个提供了弹性可伸缩、高可用的分布式对象存储服务
Ceph (opens new window)Ceph是一个开源的分布式对象，块和文件存储。
Ozone (opens new window)Ozone是专门为Hadoop设计的可扩展的分布式对象存储系统。

# 数据库

# OLTP引擎

Lealone (opens new window)一个兼具RDBMS、NoSQL优点的面向OLTP场景的异步化NewSQL单机与分布式关系数据库
Cassandra (opens new window)Cassandra 是一个来自Apache 的分布式数据库，具有高度可扩展性，可用于管理大量的结构化数据。
HBase (opens new window)HBase是一个分布式的、面向列的开源数据库

# LOAP引擎

Greenplum (opens new window)GreenPlum数据库是基于 PostgreSQL 基础上开发，具有巨大的并行处理能力的数据仓库
StarRocks (opens new window)StarRocks是一款经过业界检验、现代化，面向多种数据分析场景的、兼容MySQL协议的、高性能分布式关系型分析数据库
Apache Drill (opens new window)Apache Drill是一个低延迟的分布式海量数据交互式查询引擎。
TiDB (opens new window)TIDB是pingcap公司开源的一款分布式数据库，结合了RDBMS和NOSQL两者的特性，支持对业务无感知的水平扩容，具备数据强一致性和高可用性
Apache Doris (opens new window)Doris是一款基于大规模并行处理技术的分布式 SQL 数据库
SnappyData (opens new window)SnappyData是一个基于Spark+GemFire实现的分布式内存数据库
Kudu (opens new window)Apache Kudu是为Hadoop平台开发的一个列式存储管理器。
Impala (opens new window)impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果
ClickHouse (opens new window)Clickhouse由俄罗斯yandex公司开发。专为在线数据分析而设计
Presto (opens new window)Presto 是由 Facebook 开源的大数据分布式 SQL 查询引擎
spark sql (opens new window)SparkSQL的前身是Shark，它将 SQL 查询与 Spark 程序无缝集成,可以将结构化数据作为 Spark 的 RDD 进行查询
kylin (opens new window)Apache Kylin™是一个开源的、分布式的分析型数据仓库
hive (opens new window)hive是基于Hadoop的一个数据仓库工具

# 时序数据库

Druid (opens new window)Druid是一个快速的列式分布式的支持实时分析的序列数据库
Elasticsearch (opens new window)Elasticsearch是一个高度可扩展的、开源的、基于 Lucene 的全文搜索和分析引擎
OpenTSDB (opens new window)基于Hbase的分布式的，可伸缩的时间序列数据库。
TimescaleDB (opens new window)TimescaleDB是目前市面上唯一一个开源的并且完全支持SQL的数据库
InfluxDB (opens new window)InfluxDB是一款用Go语言编写的开源分布式时序、事件和指标数据库，无需外部依赖。

# 图数据库

HugeGraph (opens new window)HugeGraph是一款易用、高效、通用的开源图数据库
JanusGraph (opens new window)JanusGraph是一个图形数据库引擎
Cayley (opens new window)Cayley图数据库是 Google 的一个开源图(Graph)数据库
Titan (opens new window)Titan是一个分布式的，支持横向扩展，可容纳数千亿个顶点和边的图数据库
Nebula Graph (opens new window)Nebula Graph 是一个开源 (Apache 2.0)，高性能的分布式图数据库

# KV数据库

RocksDB (opens new window)RocksDB是facebook基于LevelDB开发的一种嵌入式Key-value存储系统

# 数据计算

# 实时计算

Storm (opens new window)Storm是一个免费并开源的分布式实时计算系统
Flink (opens new window)Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架
Spark (opens new window)spark是一个用于大规模数据处理的统一计算引擎

# 批量计算

TEZ (opens new window)TEZ是基于Hadoop YARN之上的DAG（有向无环图，Directed Acyclic Graph）计算框架
kylin (opens new window)Apache Kylin™是一个开源的、分布式的分析型数据仓库
Hive (opens new window)hive是基于Hadoop的一个数据仓库工具
Flink (opens new window)Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架
Spark (opens new window)spark是一个用于大规模数据处理的统一计算引擎

# 作业调度

DolphinScheduler (opens new window)Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。
Taier (opens new window)Taier 是一个分布式可视化的DAG任务调度系统。
Big Whale (opens new window)Big Whale为美柚大数据研发的大数据任务调度平台
PowerJob (opens new window)PowerJob是全新一代分布式调度与计算框架，能让您轻松完成作业的调度与繁杂任务的分布式计算。
Oozie (opens new window)Oozie是一个管理 Apache Hadoop 作业的工作流调度系统。
Airflow (opens new window)Apache Airflow 是Airbnb开源的一款数据流程工具
XXL-JOB (opens new window)XXL-JOB是一个国内轻量级分布式任务调度平台
azkaban (opens new window)Azkaban是由Linkedin开源的一个批量工作流任务调度器

# 元数据管理

amundsen (opens new window)Amundsen 是来自Lyft 开源的元数据管理、数据发现平台，功能点很全，有一个比较全的前端、后端以及数据处理框架。
DataHub (opens new window)LinkedIn开源出来的中央元数据存储库和数据集门户
Apache Atlas (opens new window)Atlas是Hadoop平台元数据框架

# 数据可视化

SQLPad (opens new window)一个用于编写和运行SQL查询并可视化结果的Web应用程序
FlyFish (opens new window)飞鱼（FlyFish）是一个数据可视化编码平台
CBoard (opens new window)CBoard是一款开源自助BI数据分析产品
DataEase (opens new window)DataEase 是开源的数据可视化分析工具
Redash (opens new window)redash是一个支持多数据源的功能强大的可视化BI工具
Caravel (opens new window)Airbnb开源的一款数据探索与可视化工具
Davinci (opens new window)Davinci是一个DVAAS（Data Visualization as a Service）平台解决方案。
Metabase (opens new window)metabase是一款易用、开源、技术成熟、不断并快速迭代的报表系统。
superset (opens new window)Superset是一款轻量级的BI工具，由Airbnb的数据部门开源。整个项目基于Python框架开发
zeppelin (opens new window)Apache Zeppelin是一款基于Web的Notebook
Grafana (opens new window)Grafana是一个开源的度量分析与可视化套件
Kibana (opens new window)Kibana 是一款开源的数据分析和可视化平台

# 数据平台

LogiKM (opens new window)一站式Apache Kafka集群指标监控与运维管控平台
极限数据平台 (opens new window)一个免费的 Elasticsearch 多集群监控和管理平台
EFAK (opens new window)Kafka Eagle是一款用于监控和管理Apache Kafka的完全开源系统
Lenses (opens new window)Lenses 是 Apache Kafka 的流式数据管理平台
Logi-KafkaManager (opens new window)滴滴Logi-KafkaManager是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台
KafkaCenter (opens new window)KafkaCenter是Kafka 集群管理和维护，生产/消费监控，生态组件使用的统一一站式平台。
flink streaming platform web (opens new window)基于Apache Flink 封装的一个可视化的、轻量级的flink web客户端系统
DataSphere Studio (opens new window)微众银行自研的一站式数据应用开发管理门户
StreamX (opens new window)让Flink开发更简单

# 数据权限管理

Project-Rhino Project-Rhino是一个旨在通过直接向相关Apache项目贡献代码来提高Hadoop安全性的项目
Apache Knox Gateway (opens new window)Apache Knox Gateway是一个用于hadoop安全的RESTful API Gateway，为Spark/Hadoop集群提供唯一的REST入口。
Apache Ranger (opens new window)Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计
apache sentry (opens new window)Apache Sentry是Cloudera公司发布的一个Hadoop开源组件