近日由于工作所需,需要使用到Pig来分析线上的搜索日志数据,散仙本打算使用hive来分析的,但由于种种原因,没有用成,而Pig(pig0.12-cdh)散仙一直没有接触过,所以只能临阵磨枪了,花了两天时间,大致看完了pig官网...
阅读(213) 评论(0)
相信还有不少的同行程序员,都是单身贵族,那么问题来了,年关逼近,是否有来自父母催婚的压力呢? 是否有打算过年回家相亲的计划呢?是否还有找不到女朋友的种种感慨么?是否还有面对其他同学,同事,朋友,都结婚成家的羡慕嫉妒恨么? 如...
阅读(197) 评论(0)
散仙,在上篇文章对ElasticSearch整体入门作了个介绍,那么本篇我们来看下,如何安装,部署es,以及如何安装es的几个比较常用的插件. es的安装和部署,是非常简单方便的,至少这一点散仙在es和solr之间,能够很明...
阅读(236) 评论(0)
ElasticSearch也是一款非常优秀的开源的全文检索框架,以大名鼎鼎的Apache Lucene为基础,高度封装了更丰富,易用的API,同时与Apache Solr一样,提供了非常强大的分布式集群功能! 有不懂Ela...
阅读(233) 评论(0)
话说这程序员家族一般都是,缺少运动锻炼的,平时坐在电脑前,周末有时还加班,运动时间是更少了,周末和朋友去滑雪了,散仙也是第一次去,以前从没学过,就连什么旱冰都没滑过,我那2个朋友也都是第一次滑雪,不过人家以前会滑旱冰,滑雪虽然...
阅读(213) 评论(0)
这几天,由于项目要求,需要写一个从数据库批量读取数据然后写入HDFS的一个程序,本来算不上什么比较难的问题,但程序运行完后,发现在程序log里记录的数据总量,与实际的写入到文件里的总数不一致,然后就开始检查程序,发现程序没啥问...
阅读(175) 评论(0)
刚装的hadoop2.2的集群,散仙在执行bin/hadoop checknative 命令时,出现如下警告: bizip2的的本地压缩支持无效,整个编译过程,并没有出现任何错误,或异常,而且去cenots下的lib6...
阅读(223) 评论(0)
solr4.x发布以后,最值得人关注的一个功能,就是原子更新功能,传说的solr是否能真正的做到像数据库一样,支持单列更新呢? 在solr官方的介绍中,原子更新是filed级别的更新,不会涉及整个Documnet级别的更新,但...
阅读(181) 评论(0)
原创不易,转载请务必注明,原创地址,谢谢配合! http://qindongliang.iteye.com/blog/2164583 Lucene内置很多的分词器工具包,几乎涵盖了全球所有的国家和地区,最近散仙,在搞多语言...
阅读(281) 评论(0)
我们都知道在JAVA里,我们可以使用POI来操作Excel文件,在POI的API里有HSSFWorkbook支持03版的excel的读写,有XSSFWorkbook是针对07以后的excel文件的读写,那么在python3.x...
阅读(14623) 评论(0)
今天简单测了下使用Jsoup和Xpath解析XML的文件的方便程度,两者都可以完成解析,提取特定的元素或节点内容,但明显Jsoup更胜一筹,我们都知道Xpath是专业的xml结构化文档的查询语言,虽然语法功能强大,但是代码还...
阅读(271) 评论(0)
最近用python(3.2的版本)写了根据特定规则,处理数据的一个小程序,用到了一些python常用的基础知识,在此总结一下: 1,python读文件 2,python写文件 3,python的流程控制 4,python的...
阅读(276) 评论(0)
本篇主要介绍DButils工具类的使用跟Spring的JDBCTemplate框架非常类似,比我们纯手写JDBC的sql语句,会方便许多,如果加上了连接池的配置,那么效果就会更加完美, 首先我们来看下DButils的简介: C...
阅读(248) 评论(0)