前两天,突然收到了QA的反馈,我跑程序的storm集群(20多台)所有机器CPU居高不下。这就让我非常莫名其妙了,我的程序在最近一次上线以后,已经连续运行了3天了,怎么会突然就有问题了呢?   这时,我还是感觉程序不会...
阅读(23) 评论(0)
最近一段时间,再做一个用pig写的基于曝光数据的为大广告主提供一些搞搞效果数据的项目,最近苦逼的加班了好久,周末加过班、晚上加班、回家以后跑数据还得加班,总之是我大学毕业一年半以来最苦逼的日子。   本来给pm的档期是今天上线,可...
阅读(43) 评论(0)
fg、bg、jobs、&、nohup、ctrl + z命令 一、& 加在一个命令的最后,可以把这个命令放到后台执行,如gftp &, 二、ctrl + z 可以将一个正在前台执行的命令放到后台,并且处于...
阅读(46) 评论(0)
Oozie所支持工作流,工作流定义通过将多个Hadoop Job的定义按照一定的顺序组织起来,然后作为一个整体按照既定的路径运行。一个工作流已经定义了,通过启动该工作流Job,就会执行该工作流中包含的多个Hadoop Job,直到完成...
阅读(55) 评论(0)
在某些使用场景中,我们并不需要使用redis的持久化,反而需要发挥redis的内存数据库特性,实现完全内存运行,达到需要的高性能。 Redis 本身支持持久化,通过在一定时间间隔或触发操作,将内存中的数据同步到磁盘来保证持久...
阅读(96) 评论(0)
摘要 JDK本身提供了很多方便的JVM性能调优监控工具,除了集成式的VisualVM和jConsole外,还有jps、jstack、jmap、jhat、jstat、hprof等小巧的工具,本博客希望能起抛砖引玉之用,让大家能开始对J...
阅读(58) 评论(0)
jstack -- 如果java程序崩溃生成core文件,jstack工具可以用来获得core文件的java stack和native stack的信息,从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。另外,jstack...
阅读(48) 评论(0)
摘要 Storm 全部的配置项都被写入在 backtype.strom.Config类中,此配置项为一直从Storm0.6以来不变化的引用。   配置项配置说明 storm.zookeeper.serversZooKee...
阅读(55) 评论(0)
两列分别使用:col1 和 col2。 当col1=1, 结果为:251(col2中的第一个); 当col1=2, 结果为:251+182(col2中的第前两个相加); 当col1=3, 结果为:251+182+15...
阅读(41) 评论(0)
其中,遍历出来的文件的名file为:/data0/jd_ad/shangjianguo/user_pin_relation_data/20150709user_relation.dat/20150709user_relation.da...
阅读(49) 评论(0)
怎样才能快速的定位到并发高是由于磁盘io开销大呢?可以通过三种方式:   第一种:用 top 命令 中的cpu 信息观察   Top可以看到的cpu信息有:   Tasks: 29 total, 1 running, 28 sl...
阅读(42) 评论(0)
Storm中的日志级级别默认为INFO,并且,日志文件是根据worker号来进行区分的,这样,同一个log文件中的信息不一定是一个业务的,这样就会有以下两个需求出现: 1. 想要进行一些调试信息的输出 2. 调试信息或者业务日志信...
阅读(303) 评论(0)
1. Hash Redis 哈希确实跟期待的“哈希”长的差不多,有 field-value 对: Java代码  127.0.0.1:6666> hmset user:1000 username henush...
阅读(1572) 评论(0)
1. 理论篇 在学习List之前先对其来一点理论的了解是有好处的。 简单来说比如 10,20,1,2,3  的序列就是一个List。不过 List 是继承自ArrayList 还是LinkedList,他们之间的差别还是很大的。L...
阅读(62) 评论(0)
1. String 类型 String 类型是Redis 中最简单的值类型,这也是memcached 中唯一的数据类型。所以对于新手来说在Redis中使用也是非常自然的。 因为Redis的Key是字符串,值也可以是St...
阅读(89) 评论(0)
1 2 3 4 下一页共4页  到第