Logstash与Kafka集成

在ELKK的架构中，各个框架的角色分工如下： ElasticSearch1.7.2：数据存储+全文检索+聚合计算+服务端 Logstasch2.2.2：日志收集与分发推送 Kafka0.9.0.0：分布式高可靠消息队列+数据...
2016/2/24 18:50:30 阅读(462) 评论(0)

Kakfa集群搭建

先来整体熟悉下Kafka的一些概念和架构 （一）什么是Kafka？ Kafka是由LinkedIn开发并开源的一个分布式消息系统，因其分布式和高吞吐率被广泛应用，现在已经在Hadoop和Spark等大数据的生态系统中成为一...
2016/2/23 15:59:35 阅读(342) 评论(0)

Hbase协处理器介绍

（一）Hbase协处理器的前世今生 Hbase是仿照Google的BigTable设计的，而其协处理器也是仿照BigTable的协处理实现完成的，具体链接可 参考：http://research.google.com/pe...
2016/2/18 11:53:19 阅读(293) 评论(0)

Hive使用ORC格式存储离线表

在大数据时代，列式存储变得越来越流行了，当然并不是说行式存储就没落了，只是针对的场景不同，行式存储的代表就是我们大多数时候经常用的数据库，比较适合数据量小，字段数目少，查询性能高的场景，列式存储主要针对大多数互联网公司中的业...
2016/2/14 18:16:28 阅读(906) 评论(0)

SolrCloud5.4.1集群实战（一）

古时候，人们用一头牛拉不动一个耕地的犁时，不会去找个比这头牛更大的牛，而是会直接使用两个牛一起参与耕地。在分布式计算中，道理同样如此，Hadoop就是一个典型的例子。诸如此类的有很多，这就是典型水平切分架构。早期的solr仅...
2016/2/6 10:16:11 阅读(405) 评论(0)

大数据日志收集框架之Flume入门

Flume是Cloudrea公司开源的一款优秀的日志收集框架，主要经历了两个大的版本，分别是 Flume-OG Flume-NG OG是0.9.x的版本，依赖zookeeper，角色职责不够单一， NG是新版本指1.x的版本...
2016/2/2 14:35:14 阅读(416) 评论(0)