Storm有几种不同的守护进程。Nimbus调度worker,Supervisor运行和杀死worker,log viewer 提供对于日志的访问方式,UI展示集群的状态。   一、问:如果一个Worker死掉了,那么会发生什么?...
阅读(13) 评论(0)
此时此刻,正在等到6.18的到来,趁着没事写个博客,,,   storm集群在worker down掉以后会自动启动新的woker,但是有很多情况下是感觉不应该重启的时候,woker重启了,因此就走上了排查woker重启的道路上~...
阅读(165) 评论(0)
下图是近来学习和用到的大数据方面的技术,现在做一个总结。并且在总结的过程中,也进行更加进一步的学习和了解。 以上为个人所接触到的大数据相关的一些技术,后续的章节将围绕这些技术展开,具体的介绍方式是从应用和原理两个方面进行。...
阅读(38) 评论(0)
遇见的 Unable to locate xxx NamespaceHandler for XML schema namespace 相关问题以后,目前总结主要有两种情况: 1.  非spring的xml Schema报错...
阅读(48) 评论(0)
合理的业务逻辑设计可以避免80%产生的问题,剩下的20%,则需要一些额外的工作和辅助手动进行处理。 现总结的程序设计的一些原则如下: 程序内部设计原则 对于非常严重认为不能容忍的异常,要中断程序; 对于可以容忍的异常,要进行异...
阅读(33) 评论(0)
前两天,突然收到了QA的反馈,我跑程序的storm集群(20多台)所有机器CPU居高不下。这就让我非常莫名其妙了,我的程序在最近一次上线以后,已经连续运行了3天了,怎么会突然就有问题了呢?   这时,我还是感觉程序不会...
阅读(60) 评论(0)
最近一段时间,再做一个用pig写的基于曝光数据的为大广告主提供一些搞搞效果数据的项目,最近苦逼的加班了好久,周末加过班、晚上加班、回家以后跑数据还得加班,总之是我大学毕业一年半以来最苦逼的日子。   本来给pm的档期是今天上线,可...
阅读(77) 评论(0)
fg、bg、jobs、&、nohup、ctrl + z命令 一、& 加在一个命令的最后,可以把这个命令放到后台执行,如gftp &, 二、ctrl + z 可以将一个正在前台执行的命令放到后台,并且处于...
阅读(71) 评论(0)
Oozie所支持工作流,工作流定义通过将多个Hadoop Job的定义按照一定的顺序组织起来,然后作为一个整体按照既定的路径运行。一个工作流已经定义了,通过启动该工作流Job,就会执行该工作流中包含的多个Hadoop Job,直到完成...
阅读(100) 评论(0)
在某些使用场景中,我们并不需要使用redis的持久化,反而需要发挥redis的内存数据库特性,实现完全内存运行,达到需要的高性能。 Redis 本身支持持久化,通过在一定时间间隔或触发操作,将内存中的数据同步到磁盘来保证持久...
阅读(136) 评论(0)
摘要 JDK本身提供了很多方便的JVM性能调优监控工具,除了集成式的VisualVM和jConsole外,还有jps、jstack、jmap、jhat、jstat、hprof等小巧的工具,本博客希望能起抛砖引玉之用,让大家能开始对J...
阅读(93) 评论(0)
jstack -- 如果java程序崩溃生成core文件,jstack工具可以用来获得core文件的java stack和native stack的信息,从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。另外,jstack...
阅读(85) 评论(0)
摘要 Storm 全部的配置项都被写入在 backtype.strom.Config类中,此配置项为一直从Storm0.6以来不变化的引用。   配置项配置说明 storm.zookeeper.serversZooKee...
阅读(96) 评论(0)
两列分别使用:col1 和 col2。 当col1=1, 结果为:251(col2中的第一个); 当col1=2, 结果为:251+182(col2中的第前两个相加); 当col1=3, 结果为:251+182+15...
阅读(80) 评论(0)
其中,遍历出来的文件的名file为:/data0/jd_ad/shangjianguo/user_pin_relation_data/20150709user_relation.dat/20150709user_relation.da...
阅读(90) 评论(0)
1 2 3 4 下一页共4页  到第