今天在开发环境,重启了下hadoop,发现log里面竟然打出,需要让重新输入本机器密码的提示,仔细查看,发现仅仅本机需要密码,其他的几台机器正常,碰到这种问题,一般都是SSH免密出现了问题,那就重新生成一个吧,先不出去追究哪...
阅读(183) 评论(0)
在DT大数据时代,海量数据的存储和分析是一个巨大的挑战,给我们的hadoop或者hbase集群添加数据压缩的能力,是必不可少的,通过压缩我们不但能节约磁盘空间,而且也能节省集群间网络带宽的损耗,从而间接提高了集群任务的整体执...
阅读(301) 评论(0)
Gradle是一款非常简洁的项目构建工具,相比ant和maven的繁琐的xml配置,gradle提供了非常简洁的命令,而这正得益于它的底层语言Groovy,目前在Android的项目的中,几乎都是使用的gradle来管理项目...
阅读(211) 评论(0)
基于solr或者elasticsearch提供的多核,多索引,多shard等查询能力,一般都是由lucene提供的多索引查询的功能演化而来的,这个功能在单机版的lucene里面确实没有发挥多大的威力,但是确是solrclou...
阅读(348) 评论(0)
总结下使用ssh远程执行命令需要注意点: 一般我们会使用ssh ip "执行命令"这种格式来执行远程是shell命令,但是如果是简单的一些操作还好,比如cd,rm,ls,mv等命令一般不会出问题 ,但是如果你的脚本任务是,...
阅读(184) 评论(0)
es里面提供了两种批量建索引的方法: 1,使用 Bulk Api         特点是:使用比较简单,但控制不够灵活 2,使用Bulk Pro...
阅读(376) 评论(0)
上次已经写过一篇关于solr中,查询条件过多的异常的文章,这次在总结扩展一下: 有时候我们的查询条件会非常多,由于solr的booleanquery默认设置的条件数为1024,所以超过这个限制的 会报异常,这样设置的原因是...
阅读(247) 评论(0)