前提Spark集群已经搭建完毕,如果不知道怎么搭建,请参考这个链接: http://qindongliang.iteye.com/blog/2224797 注意提交作业,需要使用sbt打包成一个jar,然后在主任务里面添加j...
阅读(1491) 评论(0)
Spring Boot是什么? Spring Boot提供了一个强大的一键式Spring的集成开发环境,能够单独进行一个Spring应用的开发,其中: (1)集中式配置(application.properties...
阅读(248) 评论(0)
先简单说下业务:有一个单独的模块,可以在远程下载Hadoop上的索引,然后合并压缩,最后推送到solr服务器上 原来使用的是Ant打包,外部的jar是在执行主体的jar时cp进环境变量的,所以没有出现今天要说的这个问题,伪代...
阅读(116) 评论(0)
现在大公司的项目一般都会采取maven管理,因为大公司往往有多套环境配置,原来在的公司5套环境: (1)开发 (2)测试 (3)沙箱 (4)灰度 (5)线上 当然这只是理论上的,搞这么多环境的目的只有一个,就是尽量防止或减少...
阅读(108) 评论(0)
1,使用curl查询结果,并转成csv保存 curl http://localhost:8983/solr/company/query -d ' q=*:*& start=500& rows=300&...
阅读(81) 评论(0)
Spark简介 Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目,8个月...
阅读(133) 评论(0)