1,执行命令安装一些依赖组件 yum install -y hadoop-lzo lzo lzo-devel hadoop-lzo-native  lzop 2, 下载lzo的源码包并解压 wget http:...
阅读(150) 评论(0)
今天在开发环境,重启了下hadoop,发现log里面竟然打出,需要让重新输入本机器密码的提示,仔细查看,发现仅仅本机需要密码,其他的几台机器正常,碰到这种问题,一般都是SSH免密出现了问题,那就重新生成一个吧,先不出去追究哪...
阅读(125) 评论(0)
在DT大数据时代,海量数据的存储和分析是一个巨大的挑战,给我们的hadoop或者hbase集群添加数据压缩的能力,是必不可少的,通过压缩我们不但能节约磁盘空间,而且也能节省集群间网络带宽的损耗,从而间接提高了集群任务的整体执...
阅读(177) 评论(0)
Gradle是一款非常简洁的项目构建工具,相比ant和maven的繁琐的xml配置,gradle提供了非常简洁的命令,而这正得益于它的底层语言Groovy,目前在Android的项目的中,几乎都是使用的gradle来管理项目...
阅读(150) 评论(0)
基于solr或者elasticsearch提供的多核,多索引,多shard等查询能力,一般都是由lucene提供的多索引查询的功能演化而来的,这个功能在单机版的lucene里面确实没有发挥多大的威力,但是确是solrclou...
阅读(260) 评论(0)
总结下使用ssh远程执行命令需要注意点: 一般我们会使用ssh ip "执行命令"这种格式来执行远程是shell命令,但是如果是简单的一些操作还好,比如cd,rm,ls,mv等命令一般不会出问题 ,但是如果你的脚本任务是,...
阅读(127) 评论(0)
es里面提供了两种批量建索引的方法: 1,使用 Bulk Api         特点是:使用比较简单,但控制不够灵活 2,使用Bulk Pro...
阅读(292) 评论(0)
上次已经写过一篇关于solr中,查询条件过多的异常的文章,这次在总结扩展一下: 有时候我们的查询条件会非常多,由于solr的booleanquery默认设置的条件数为1024,所以超过这个限制的 会报异常,这样设置的原因是...
阅读(186) 评论(0)
(一)数据备份,在日常数据维护中,非常重要,定期备份数据是一个好习惯,防止机器突然挂了,或者人为误删数据等,下面来看下在mongo版本3.0.2如何对库级别的数据进行备份和恢复: 备份库: bin/mongodump -h...
阅读(128) 评论(0)
在es中,mapping的存在类似数据库的表结构定义或者solr里面的schemal文件,它里面定义了每个添加的doc的处理方式。 mapping type定义了不同的逻辑上组隔离,这一点类似于数据库的各个表,例如用户表,...
阅读(249) 评论(0)
首先要明确一点,ElasticSearch是基于Lucene的,它的很多基础性组件,都是由Apache Lucene提供的,而es则提供了更高层次的封装以及分布式方面的增强与扩展。 所以要想熟练的掌握的关于es中分词方面的知...
阅读(156) 评论(0)
在开发Maven项目中,我们可能有各种各样的打包需求,当然最简单的就是,把整个Application打包成一个jar,这是Spring-boot项目中,常见的打包项目,有些项目可能比较复杂,还需要打包一些外部的配置的文件,或...
阅读(1468) 评论(0)
让一个研究生男收集一份资料,快下班了问结果,竟然毛也没有。见我要怒,他慷慨激昂地说:“我已经很努力找了,但真的查不到。” 作为主管,“我已经努力”这话我不知听过多少次,每次都要面对一张无比诚恳的脸。但我要说:你的“努力...
阅读(127) 评论(0)
今天,需要查询一个东西,在q里面大概有900左右参数,使用solr查询,报异常,看log提示: Jetty HttpParser Full 从上面的原因不难分析出事jetty的问题,上stackoverflow查了下,果...
阅读(149) 评论(0)
基本概念: 学习es必须得了解一些它的基本概念,对学会学好es起着至关重要的作用。 近实时: es是一个近实时的搜索引擎,这意味着它会有轻微的延迟(正常情况上是1秒),从你添加一个文档知道它 能被搜索出来,这是由它的...
阅读(441) 评论(0)
上一页 1 2 ... 5 6 7 8 9 10 11 12 ... 下一页共21页  到第