文摘首页 | 我的好库
好库文摘

如何管理Spark Streaming消费Kafka的偏移量(二)

上篇文章,讨论了在spark streaming中管理消费kafka的偏移量的方式,本篇就接着聊聊上次说升级失败的案例。 事情发生一个月前,由于当时我们想提高spark streaming程序的并行处理性能,于是需要增加ka......

qindongliang1922 发布于 2017/11/19 14:40:12 阅读(42) 评论(0)

设计模式(二)--观察者模式

观察者模式:定义了对象之间的一对多依赖,当一个对象改变状态时,它的所有依赖者都会收到通知并自动更新。 设计原则: 1.为交互对象之间的松耦合设计   注意:java本身自带了这种模式的接口。     具体实现如下:......

henu_zhangyang 发布于 2017/11/19 14:37:45 阅读(15) 评论(0)

重构手法之Replace Temp with Query(以查询取代临时变量)

 返回总目录 6.4Replace Temp with Query(以查询取代临时变量) 概要 你的程序以一个临时变量保存某一表达式的运算结果。 将这个表达式提炼到一个独立函数中。将这个临时变量的所有引用点替换......

NaYoung 发布于 2017/11/19 14:36:34 阅读(13) 评论(0)

绩效,历练与成长---研发管理的天平

曾经有个新入职的小伙伴问我这么一个问题:“老大,像我这样的菜鸟,是不是还有很多东西要学?感觉现在压力好大,每个方面都缺好多,学不过来”。   我只回了他两个字:“淡定!”   这是......

尘世中 发布于 2017/11/19 14:35:36 阅读(16) 评论(0)

压缩感知重构算法之压缩采样匹配追踪(CoSaMP)

压缩采样匹配追踪(CompressiveSampling MP)是D. Needell继ROMP之后提出的又一个具有较大影响力的重构算法。CoSaMP也是对OMP的一种改进,每次迭代选择多个原子,除了原子的选择标准之外,它有一点不同于R......

闪电gogogo 发布于 2017/10/31 8:03:09 阅读(47) 评论(0)

66、django之模型层(model)--多表相关操作(图书管理小练习)

前面几篇随笔的数据库增删改查操作都是在单表的操作上的,然而现实中不可能都是单表操作,更多的是多表操作,一对一,一对多,多对多的表结构才是我们经常需要处理的,本篇将带我们了解多表操作的一些相关操作。也会带着大家做一个简单的图书管理的小练习......

布吉岛丶 发布于 2017/10/31 8:00:51 阅读(48) 评论(0)

DesignPatternPrinciple(设计模式原则)一

设计模式六大原则(1):单一职责原则 定义:不要存在多于一个导致类变更的原因。通俗的说,即一个类只负责一项职责。  问题由来:类T负责两个不同的职责:职责P1,职责P2。当由于职责P1需求发生改变而需要修改类T时,有可能会导致......

西码 发布于 2017/8/27 11:18:39 阅读(67) 评论(0)

测试流程?项目管理流程?

背景 工作五年了,一直是做测试。认识了很多人大牛,也接触到很多新人,从他们身上看到了很多,自己的过去,自己的未来(当然很多是自己达不到的高度)。 做这测试这一行的,很多人都追求技术:自动化+性能,往往忽略测试流程,或者说是项目管理流......

whendream 发布于 2017/8/27 9:22:32 阅读(45) 评论(0)

浅析egg-cluster多进程管理模块(一)

浅析egg-cluster多进程管理模块(一) nodejs/cluster集群模块 cluster模块采用Master-Worker模式,以主进程操控子进程的方式启动多个http或https服务器。主要需解决两个问题:......

schifred 发布于 2017/8/14 12:39:57 阅读(69) 评论(0)

设计模式的征途—19.命令(Command)模式

在生活中,我们装修新房的最后几道工序之一是安装插座和开关,通过开关可以控制一些电器的打开和关闭,例如电灯或换气扇。在购买开关时,用户并不知道它将来到底用于控制什么电器,也就是说,开关与电灯、换气扇并无直接关系,一个开关在安装之后可能用来......

Edison Chou 发布于 2017/8/14 12:35:40 阅读(51) 评论(0)

设计模式解密(11)- 命令模式

1、简介 定义:将一个请求封装为一个对象,从而使你可以用不同的请求对客户进行参数化,对请求排队和记录请求日志,以及支持可撤销的操作; 主要解决:在软件系统中,行为请求者与行为实现者通常是一种紧耦合的关系,但某些场合,比如需要对行......

_Json 发布于 2017/7/19 17:35:53 阅读(99) 评论(0)

设计模式之-工厂模式

前言 回顾上篇的设计模式之-简单工厂模式 我们可以从中发现一些问题。 先看看以计算器为例的简单工厂的结构图如下: 那此时我们换成工厂模式呢?我们先看看工厂的结构图: 承接上篇计算器为例,我们需要新建一个工厂接口......

潇十一郎 发布于 2017/7/18 14:56:08 阅读(75) 评论(0)

设计模式解密(10)- 迭代器模式

1、简介 定义:提供一种方法顺序访问一个聚合对象中各个元素, 而又无须暴露该对象的内部表示; 主要用途:帮助我们遍历聚合对象; 关键代码:定义接口:hasNext, next; 英文:Iterator 类型:行为型模式......

_Json 发布于 2017/7/17 19:37:12 阅读(80) 评论(0)

设计模式解密(9)- 装饰者模式

1、简介 定义:装饰模式是在不必改变原类文件和使用继承的情况下,动态的扩展一个对象的功能。它是通过创建一个包装对象,也就是装饰来包裹真实的对象。 拆分定义,总结特点:        1、不改变原类文件。......

_Json 发布于 2017/7/17 12:35:41 阅读(79) 评论(0)

Lucene的使用与重构

忽然一想好久不写博客了,工作原因个人原因,这些天一直希望一天假如36个小时该多好,但是,假如不可能。 由于近期在项目中接触了lucene,这个已经没有人维护的全文搜索框架,确实踩了不少坑,为什么用lucene呢?其实我也不知道 关于lu......

行走即歌 发布于 2017/7/17 0:49:11 阅读(74) 评论(0)

面向对象设计模式——观察者(OBSERVER)模式

定义    定义对象间的一种一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新。    Observer模式描述了如何建立这种关系。这一模式中的关键对象是目标(subject)和观......

SpartacusIn21 发布于 2017/7/15 15:35:25 阅读(65) 评论(0)

设计模式解密(8)- 适配器模式

  1、简介 定义:适配器模式把一个类的接口变换成客户端所期待的另一种接口,从而使原本因接口不匹配而无法在一起工作的两个类能够在一起工作。 主要解决:主要解决在软件系统中,常常要将一些"现存的对象"放到新的环境中,而新环......

_Json 发布于 2017/7/14 17:09:20 阅读(98) 评论(0)

设计模式解密(7)- 代理模式

  1、简介 定义:为其他对象提供一种代理以控制对这个对象的访问 ; 分类: 静态代理(静态定义代理类,我们自己静态定义的代理类) 动态代理(通过程序动态生成代理类,该代理类不是我们自己定义的。而是由程序自动生成......

_Json 发布于 2017/7/13 17:07:31 阅读(82) 评论(0)

小团队管理与大团队管理

  我们公司和大部分传统软件公司一样,随着业务的发展和新领域的开拓,公司的管理风格越来越像华为,这是不是最佳的演进路线,我觉得值得探讨,以下是我的思考,希望跟领导讨论。 一个问题 前段时间跟一个创业的朋友聊天,说起他们最......

liulun 发布于 2017/7/13 13:04:01 阅读(63) 评论(0)

你的知识需要管理PKM

有一段时间没有更新技术博客了~,大脑中总感觉有点东西要写,却不知道从哪里开始写~至少写点东西,也算是一个阶段的成长、反思~ 学习(充电过程)、工作(知识变现过程)不是简单重复,永远都是最值得去反思、玩味的事儿~ 对于处在信息爆炸时代......

Avenstar 发布于 2017/7/11 8:19:28 阅读(78) 评论(0)
1 2 3 4 5 6 7 8 ... 下一页共223页  到第