此刻,夜深人静,时间已超过凌晨零点,散仙还在读张龙老师的一篇博客,特别是读到如下的一段话,感触颇深,内心思绪良久,觉得此段话若能在25岁之前领悟,其价值真胜敲过十年代码,下面,散仙会把张龙老师的这段领悟,原样贴在下面,供各位道...
阅读(238) 评论(0)
Hbase是够建在HDFS之上的半结构化的分布式存储系统,具有HDFS的所有优点,同时也有自己的亮点,支持更快速的随机读写以及更灵活的Scan操作,而在HDFS上这一点我们是远远做不到的,因为HDFS仅支持Append追加操作...
阅读(422) 评论(0)
HDFS是Hadoop生态系统的根基,也是Hadoop生态系统中的重要一员,大部分时候,我们都会使用Linux shell命令来管理HDFS,包括一些文件的创建,删除,修改,上传等等,因为使用shell命令操作HDFS的方式,...
阅读(321) 评论(0)
刚刚,在iteye博客里看了一下,散仙的几篇文章好像都挨在一起,不知道这篇文章发了之后,会不会刷屏,实在是不好意思啊。 上班没时间,只能利用下班的时间,留在公司,给大家分享一些有用的技能,也算散仙比较懒吧,散仙实在不愿意晚上回...
阅读(249) 评论(0)
继昨天的NIO文件夹遍历,散仙今天要分享另外两个基于NIO的比较实用的知识,第一个分享的是使用NIO对操作系统的文件进行监控,第二个要分享的是关于操作系统的文件锁,(散仙:这个会放在下一篇博客中)。 在Java以前的版本中...
阅读(227) 评论(0)
现在如下一个简单的需求:要你用程序要遍历指定目录下的所有文件和子目录,你会怎么做? 估计大部分人,依旧使用的是老方式,采用递归的方式,来进行遍历,这种方式不仅复杂,而且灵活性也不高。那么现在我们就可以通过使用Java NIO里...
阅读(245) 评论(0)
转载请务必注明,原创地址,谢谢配合! http://qindongliang1922.iteye.com/blog/1980262 Lucene在最近的几个月里已经频繁更新了好几个版本了,越是更新的频繁,就越证明一件事,这...
阅读(272) 评论(0)
Java 7对原有的NIO进行了重大改进,这个改进主要包括2个方面: 第一,提供了全面的文件IO和文件系统访问支持。 第二,基于异步Channel的IO IO流的操作在Java中属于一项高级的技能,因为这个知识在很多场景中都需...
阅读(224) 评论(0)
散仙,在上篇文章,已经介绍了Hbase的完全分布式集群部署,这次要介绍的,也是基于Hbase的完全分布式集群,只不过集群的zookeeper与上次的不同,我们都知道Hbase为了简化集群部署,已经内置了zookeeper,大部...
阅读(301) 评论(0)
上篇文章,散仙介绍了Hbase的单机伪分布式的安装,那么今天,散仙再来介绍下Hbase的完全分布式的安装部署,完全分布式的安装同样是基于Hadoop的HDFS底层的,也就是说,要想完成Hbase分布式的安装,那么你的Hadoo...
阅读(264) 评论(0)
HBase 全称Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 本篇散仙要介绍下怎么部署安装Hbase的伪分...
阅读(281) 评论(0)
此篇文章,是散仙不经意间,看到的一篇文章,本来散仙是在解决Hbase的一个异常,但无意间,看见此文章,也算有缘,内容说的也很不错,散仙已经把比较重要的部分给用大号的红色字体给标出来了,大家感悟一下吧,欢迎发表你读完后的任何感受...
阅读(233) 评论(0)
不得不说,Hadoop确实是处理海量离线数据的利器,当然,凡是一个东西有优点必定也有缺点,hadoop的缺点也很多,比如对流式计算,实时计算,DAG具有依赖关系的计算,支持都不友好,所以,由此诞生了很多新的分布式计算框架,St...
阅读(247) 评论(0)
转载请注明,原创地址,谢谢配合! http://qindongliang1922.iteye.com/blog/1972785 不知不觉,已经又过去一个多月了,lucene已经更新到4.5.1的版本了,散仙这段时间在研究...
阅读(226) 评论(0)
虽然使用Java编写MapReduce作业有点繁琐,但是对于刚入门hadoop的新手来说,有利于理解hadoop的一些底层实现,这无疑也是一种巨大的收获。目前大部分的MapReduce作业都是使用Hive,Pig完成的,当然也...
阅读(333) 评论(0)
现有如下的一个需求,向已存在1G数据的txt文本里末尾追加一行文字,内容如下“Lucene是一款非常优秀的全文检索库”。可能大多数朋友会觉得这个需求很easy,说实话,确实easy,然后XXX君开始实现了,直接使用Java中的...
阅读(226) 评论(0)
长期以来,我们一直都会说XXX文件系统支持随机读写,XXX数据结构或XXX开源项目支持随机访问,这种称为随机XX的叫法,其实是一种错误的说法,如果你是一位真正了解"随机读写或随机访问"的人,可能并不是太会在意这种说法,但是对于...
阅读(220) 评论(0)
在hadoop1.2.x的版本中,直接运行自带的WordCount的例子会报异常,这个原因是因为它路径的问题,所以,想要正常运行自带的例子,我们还是需要做一些准备工作的,当然你可以直接在eclipse中修改它的源码然后重新编译...
阅读(238) 评论(0)
熟悉Linux的朋友们,对linux的命令,肯定都不陌生,大部分时候我们都可以使用系统自带的命令来轻松完成我们的工作。如果我们再能简单掌握下这些shell的制作,在某些场景下对我们的工作是非常有利的,当然如果你shell功底深...
阅读(323) 评论(0)