ubuntu利用了crossover安装了qq,需要解决乱码问题 把win7中的宋体文件拷贝到/opt/cxoffice/support/apps.com.qq.im/drive_c/windows/Fonts里面去,重启,解...
阅读(43) 评论(0)
首先定义一个类,继承Actorclass akka001 extends Actor{ override def preStart() ={ println("this is preStart()") }...
阅读(34) 评论(0)
基于standalone模式 这里,我们主要关注最主要的2个地方的初始化,首先是TaskScheduler的创建初始化。// Create and start the scheduler val (sched, t...
阅读(24) 评论(0)
在原有的spark程序中,其中包含hhase,spark等,会出现jar包冲突导致有异常的问题,程序中都是使用maven。 在异常中,包含nosuchmethod的异常错误信息,可以看出是guava版本与hadoop版本不一致...
阅读(44) 评论(0)
hadoop1版本中提供了获取文件名的功能,就是在map阶段可以获取每一行记录属于哪个文件,可以得到这个文件名,代码如下://获取文件名 InputSplit inputSplit=(InputSplit)context.g...
阅读(82) 评论(0)
时间同步这个需求在很多地方都有。比如安装cm和cdh的话,需要ntp时间同步,否则会出现红色警告 这里主要是设置一台服务器作为主服务器,让其他机器同步这台机器的时间,而且是配置的本地时间,没有同步internet时间,因为很多...
阅读(77) 评论(0)
主要是数据从flume进去kafka,然后交给sparkstreaming处理的流程 本文依旧以单词计数例子为例 首先,flume使用1.6版本,如果是1.6以下的话,没带有官方的kafkasink,需要自己实现,自己实现也不...
阅读(66) 评论(0)
这里写一个flume整合sparkstreaming的例子 我这里使用scala ide和maven的方式 spark用的1.2版本,scala是2.10版本,flume使用最新版的1.6 整合的第一步,要加上flume的m...
阅读(49) 评论(0)
搭建一个flume集群,设置2个节点,如下图这样的集群 2个节点分别为192.168.5.220和192.168.5.221 设置成这样的情景,第一个接受日志传过来的数据(这里使用配置log4j往里面写数据), 第一个节点...
阅读(76) 评论(0)
例子为100W 条数据 取出前十个最值(纯本人看完课程后的手写,没有参考网上,结果应该没问题的,也没找到标准答案写法。。) 首先,由于值都是double,默认的排序方式是升序,这里面我们取得是降序,所以自定义hadoop对象...
阅读(84) 评论(0)
hadoop求最大值问题,代码比求最值前N个要简单一些,因为直接使用LongWritable类型,不需要自定义hadoop对象进行比较,所以直接覆盖map和reduce方法,并且覆盖cleanup方法,这是在map和reduc...
阅读(75) 评论(0)
最近一直在学习hadoop  这是一个简单的关于MapReduce的示例 通过实现map和reduce2个函数完成操作 首先定义一个自定义对象 class MyWriterble implements Writab...
阅读(55) 评论(0)
我们在项目中肯定会遇到一种情况 就是表中没有主键 有重复数据 或者有主键 但是部分字段有重复数据 而我们需要过滤掉重复数据 下面是一种解决方法 delete from mytest ms where rowid in...
阅读(80) 评论(0)
在写循环游标过程中,做一些操作 就像select into 这种,当查到的是null值时就会报这个 异常 这个时候加NVL是不能解决问题的  把查询的字段加上MAX这样的组函数就可以了  这样就不会报错了...
阅读(74) 评论(0)
今天 在项目中看一个存储过程的时候,发现同事写的之前的有些逻辑错误,可能这个错误比较典型吧 拿出来分享一下,不使用公司的数据库,所以在自己的机子上模拟了一下这个场景。OK 首先,就是2个表, 表temp1,包括id1,val...
阅读(76) 评论(0)
1 2 下一页共2页  到第