资源调度器是Hadoop集群中一个比较重要的模块,最初的hadoop资源调度器是基于队列形式的FIFO调度的,这种模式在大规模集群的时候,资源分配并不是很合理,比如一个后提交的任务,但想要它先执行怎么办,而在FIFO模式下,只...
阅读(322) 评论(0)
散仙上篇博客,介绍了Hadoop基于单机模式下的伪分布式的部署,那么今天我们来看下Hadoop完全分布式的部署,其实只要伪分布式部署的会了,那么完全分布式的相对来说就很简单了,只要我们在一台机器上部署好,然后远程拷贝给其他的子...
阅读(171) 评论(0)
今天做一个业务时,结果由于跟权重有关,Java默认显示保留的是15位小数,所以客户要求保留3位小数,其实这个需求很简单,前台,后台都可以完成这个任务,但是为了系统的性能考虑,这种工作,能用前台完成就用前台完成吧,尽量用客户端分...
阅读(199) 评论(0)
基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了  新版本解决了1.x中的NameNode,JobTracker单点故障问题,使用yarn统一了分布式开发的集群平台,给集群的资源管理及部署大大提供...
阅读(201) 评论(0)
上一篇博客,散仙详细的描述了SSH的无验证登陆方式,但会发现命令流程还是有点复杂的,那么有没有一种简单,快捷的方式来搞定呢?答案是肯定的。 上篇我们在远程拷贝公钥文件时,用的是scp的方式,先把公钥从原机拷贝到从机上,然后使用...
阅读(155) 评论(0)
配置SSH无登陆验证,在很多场景下是非常方便的,尤其是在管理大型集群服务时,避免了繁琐的密码验证,在安全级别越高的服务器上,通常密码的设置更复杂,配置SSH,不仅可以用密钥保证节点间通信的安全性,同时也降低了频繁输入密码登陆的...
阅读(168) 评论(0)
  转载请注明,原创地址,谢谢配合! http://qindongliang1922.iteye.com/blog/1953409 高亮功能一直都是全文检索的一项非常优秀的模块,在一个标准的搜索引擎中,高亮的...
阅读(162) 评论(0)