1,Tez是什么? Tez是Hortonworks公司开源的一种新型基于DAG有向无环图开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能,看下面一张图,就能说明问题: 2,Tez能...
阅读(1195) 评论(0)
1,使用CDH的hadoop里面有对应的组件Pig,但版本较低,所以放弃使用了,直接下载 Apache Pig0.15最新的版本(支持Tez,比Hive更容易集成) 下载地址:http://archive.apache.or...
阅读(225) 评论(0)
版本使用范围,大致 与Apache Hadoop编译步骤一致大同小异,因为CDH的Hadoop的本来就是从社区版迁过来的,所以,这篇文章同样适合所有的以Apache Hadoop为原型的其他商业版本的hadoop编译,例如,C...
阅读(239) 评论(0)
有时候,我们在向vim打开的一个xml,或者任意文件中,拷贝粘贴的代码时,格式莫名其毛的就混乱了,然后自己一个个再重新,把格式排列好,非常耗时,而且很不爽,那么有没有办法避免呢? 答案是肯定的,设置下缩进格式就可以了,非...
阅读(179) 评论(0)
记录两个问题: (1)在配置分词的场景中,如何让精确查询的排在前面,模糊查询的排在后面,这个需求算是比较常见的,但如果你是在数据库中,那么就非常容易了,where xxx=xxx 出来就是精确匹配的,但是在Lucene或...
阅读(280) 评论(0)
笔记三个小问题: (1):使用solrj添加索引时,主要有两种方法, 第一种是直接使用solrinputDoucument的方法添加。 第二种是面向对象的形式将一份索引映射成一个Bean对象封装。 当使用第二种时,需要注...
阅读(172) 评论(0)
今天要测试使用maven构建的模块化的maven的web项目,由于原来没有用过IDEA来运行web项目,所以出了小问题,特此总结下步骤: 首先我们的项目时服务化的使用的时阿里的dubbo作为服务注册的中间调度,现在要发布的...
阅读(216) 评论(0)
今天在用Solr5.1测试检索时,发现一个奇怪的问题,便于大家对比,先介绍下散仙的环境: JDK1.7 Lucene5.1 Solr5.1 分词器用的ik(改的ik源码) 先看下测试的5条数据: id,name,co...
阅读(288) 评论(0)
今天在用新装的IDEA 14.0.2,来导入SVN的项目时,报了一个奇怪的异常,截图如下: 其实,提示很明显了,不能运行svn命令, 而且我检出的项目地址是以svn://xxxx/xx开头的,看到idea默认提示是...
阅读(180) 评论(0)
solr是什么? 来自维基百科的解释: Solr5.x已经发布有一段时间了,相比Solr4.x来说,修复了不少了Bug,也新增了一些不错的特性比如在Admin页面就可以查看索引结构,SolrCloud支持使用J...
阅读(194) 评论(0)