(一)数据备份,在日常数据维护中,非常重要,定期备份数据是一个好习惯,防止机器突然挂了,或者人为误删数据等,下面来看下在mongo版本3.0.2如何对库级别的数据进行备份和恢复: 备份库: bin/mongodump -h...
阅读(179) 评论(0)
在es中,mapping的存在类似数据库的表结构定义或者solr里面的schemal文件,它里面定义了每个添加的doc的处理方式。 mapping type定义了不同的逻辑上组隔离,这一点类似于数据库的各个表,例如用户表,...
阅读(344) 评论(0)
首先要明确一点,ElasticSearch是基于Lucene的,它的很多基础性组件,都是由Apache Lucene提供的,而es则提供了更高层次的封装以及分布式方面的增强与扩展。 所以要想熟练的掌握的关于es中分词方面的知...
阅读(224) 评论(0)
在开发Maven项目中,我们可能有各种各样的打包需求,当然最简单的就是,把整个Application打包成一个jar,这是Spring-boot项目中,常见的打包项目,有些项目可能比较复杂,还需要打包一些外部的配置的文件,或...
阅读(1567) 评论(0)
让一个研究生男收集一份资料,快下班了问结果,竟然毛也没有。见我要怒,他慷慨激昂地说:“我已经很努力找了,但真的查不到。” 作为主管,“我已经努力”这话我不知听过多少次,每次都要面对一张无比诚恳的脸。但我要说:你的“努力...
阅读(188) 评论(0)
今天,需要查询一个东西,在q里面大概有900左右参数,使用solr查询,报异常,看log提示: Jetty HttpParser Full 从上面的原因不难分析出事jetty的问题,上stackoverflow查了下,果...
阅读(208) 评论(0)
基本概念: 学习es必须得了解一些它的基本概念,对学会学好es起着至关重要的作用。 近实时: es是一个近实时的搜索引擎,这意味着它会有轻微的延迟(正常情况上是1秒),从你添加一个文档知道它 能被搜索出来,这是由它的...
阅读(528) 评论(0)
Hbase的Hmaster配置HA相比Hadoop的NameNode和ResourceManager的HA来说,比较简单,几乎不用配置什么: <configuration> <property...
阅读(238) 评论(0)
关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml 关于ResourceManager高可靠需要配置的文件有yarn-site.xml 逻辑结构: NameNode-H...
阅读(256) 评论(0)
今天写了关于Pig的EvalFunc UDF函数,结果一执行,发现返回值,总是bag类型,我就纳闷了,我明明指定了返回是String类型,怎么会变成Bag类型呢?经查找,发现拷贝的问题,由于先前写的UDF函数,返回值是多个...
阅读(250) 评论(0)
今天是2015年11月06日,早上起床,北京天气竟然下起了大雪,不错,最近几年已经很少见到雪了,想起小时候冬天的样子,回忆的影子还是历历在目。 进入正题吧,上篇介绍了Logstash的基础知识和入门demo,本篇介绍几个比...
阅读(741) 评论(0)
(一)logstash是什么? logstash是一种分布式日志收集框架,开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好,非常简洁强大,经常与ElasticSearch,Kibana配置,...
阅读(363) 评论(0)