2013年10月文摘归档 - qindongliang1922

资源调度器是Hadoop集群中一个比较重要的模块，最初的hadoop资源调度器是基于队列形式的FIFO调度的，这种模式在大规模集群的时候，资源分配并不是很合理，比如一个后提交的任务，但想要它先执行怎么办，而在FIFO模式下，只...

2013/10/31 18:07:24 阅读(205) 评论(0)

散仙上篇博客，介绍了Hadoop基于单机模式下的伪分布式的部署，那么今天我们来看下Hadoop完全分布式的部署，其实只要伪分布式部署的会了，那么完全分布式的相对来说就很简单了，只要我们在一台机器上部署好，然后远程拷贝给其他的子...

2013/10/25 19:09:29 阅读(127) 评论(0)

今天做一个业务时，结果由于跟权重有关，Java默认显示保留的是15位小数，所以客户要求保留3位小数，其实这个需求很简单，前台，后台都可以完成这个任务，但是为了系统的性能考虑，这种工作，能用前台完成就用前台完成吧，尽量用客户端分...

2013/10/24 18:47:45 阅读(143) 评论(0)

基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了新版本解决了1.x中的NameNode，JobTracker单点故障问题，使用yarn统一了分布式开发的集群平台，给集群的资源管理及部署大大提供...

2013/10/22 17:16:21 阅读(160) 评论(0)

上一篇博客，散仙详细的描述了SSH的无验证登陆方式，但会发现命令流程还是有点复杂的，那么有没有一种简单，快捷的方式来搞定呢？答案是肯定的。上篇我们在远程拷贝公钥文件时，用的是scp的方式，先把公钥从原机拷贝到从机上，然后使用...

2013/10/16 13:59:57 阅读(133) 评论(0)

配置SSH无登陆验证，在很多场景下是非常方便的，尤其是在管理大型集群服务时，避免了繁琐的密码验证，在安全级别越高的服务器上，通常密码的设置更复杂，配置SSH，不仅可以用密钥保证节点间通信的安全性，同时也降低了频繁输入密码登陆的...

2013/10/15 18:06:47 阅读(138) 评论(0)

转载请注明，原创地址，谢谢配合! http://qindongliang1922.iteye.com/blog/1953409 高亮功能一直都是全文检索的一项非常优秀的模块，在一个标准的搜索引擎中，高亮的...

2013/10/8 20:18:50 阅读(143) 评论(0)