<img src="https: 阅读(18) 评论(0)

今天早上一上午,对滴,没错,从九点开始配,配到了12点多,才把集群搭配起来。

唉,毕竟渣渣的第一次配置集群,犯了好多错误。

从百度 -> 官方文档 -> Google 无不尽其用。但我发觉百度的好多文章都是你抄我的,我抄你的,最终并不能解决问题,还是要靠自己多踩坑,踩多了,你下次就会绕路了,不过花费时间感觉有点长。

记录下来,当作自己的学习,也为后人百度或者查找资料做一点贡献。

(1)redis集群配置文件

 

1 daemonize yes
2 port 7000
3 cluster-enabled yes
4 cluster-config-file nodes-7000.conf
5 bind 127.0.0.1
6 cluster-node-timeout 5000
7 appendonly yes

 

这配置文件及其的重要,我就因为这个花了很长很长的时间找错。

首先第一条 daemonize yes 后台运行,我以为是默认为yes,并且我开启后,ps -ef | grep redis 也可以看到服务开启,但就是连接不上。而且你百度的所有教程,包括我看的张益军老师的《Redis开发与运维》也没有这一条。

第二条端口;

第三条将集群打开;

第四条为集群的配置文件,自动生成,可以不用理会

第五条当时找错的时候以为这里出错了,但不清楚要不要配置,有待考究

第六条第七条 可配可不配

ps. 假如你在配置文件里面配置了密码,注意。请修改 这个文件的密码,默认为空。否则也会连不上集群

/usr/local/share/gems/gems/redis-3.3.0/lib/redis/client.rb

(2)开启集群

1:首先建立六个配置文件(三主三从),每个配置文件除了端口,日志不同,其他几乎相同

2:开启redis服务,开启六个。说实话挺麻烦的。

3:这里用redis官方提供的 redis-trib.rb 来进行设置。这里需要安装ruby以及gem等一些,可能会遇到一些问题,比如国内访问不了,如何换成国内的taobao源等,大家可以百度,这个还是可以解决的。

4:运行下面这个命令,如果按照上述步骤来,我保证没有问题。如果最后出现error,连接失败,那么就出现了问题。

1 redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

 

5:最终效果大概如下图(6个节点,3主3从经典模式)。主节点也相互的有联系。

 (3)redis集群原理

Redis Cluster 没有并使用传统的一致性哈希来分配数据,而是采用另外一种叫做哈希槽 (hash slot)的方式来分配的。类似与Java集合HashMap的桶,这样好理解了把。每一个节点负责一部分槽,比如节点1负责0-3276号槽,节点2负责3277-6553个槽等等。redis一共有16384个槽,每个槽必须都有分配,集群才能建立

ps. 为何为16384个槽呢?因为类似于HashMap的hash。

 

hash & (n - 1) 和 hash % n 效果类似,但是 & 在计算机中运算更加的迅速。

n必须为2的倍数,所以合适大小又要是2的倍数,那么16384是一个比较好的选择吧

 

 

例子:我们这里来简单的使用一下集群,来做一个更好的理解。

看以下图片

 

1:首先我在端口为7000的节点 set了一个key值,命令为:set k1 v1。然后redis根据hash计算出该槽为12706,而12706的槽,端口7002节点所管理的,那么就跳转到7002节点。

2:然后可以进行测试以下。你会发觉,k1这个值在节点7000,节点7001都不存在,只在节点7002存在。并且7002的子节点(slave), 节点为7005也有这个k1的值

3:同样可以试试其他值。首先计算key的hash,然后放到对应的slot中,被所管理slot的节点所维护。

ps。在主从复制中,子节点是不能set值的,那么在集群中,作为子节点的7003,7004,7005可以set值么?

答案是ok的。自己可以试试,我这里就不贴图片了

(4)key的hash槽计算

 我在7000这个主节点,我用一下命令:set k v 他如何计算出相应的槽节点呢?能保证hash足够分散么?

以下是用来把键映射到哈希槽的算法(下一段哈希标签例外就是按照这个规则):

HASH_SLOT = CRC16(key) mod 16384

其中,CRC16的定义如下:

  • 名称:XMODEM(也可以称为 ZMODEM 或 CRC-16/ACORN)
  • 输出长度:16 bit
  • 多项数(poly):1021(即是 x16 + x12 + x5 + 1 )
  • 初始化:0000
  • 反射输入字节(Reflect Input byte):False
  • 反射输入CRC(Reflect Output CRC):False
  • 用于输出CRC的异或常量(Xor constant to output CRC):0000
  • 该算法对于输入”123456789”的输出:31C3

CRC16的16位输出中的14位会被使用(这也是为什么上面的式子中有一个对 16384 取余的操作)。 在我们的测试中,CRC16能相当好地把不同的键均匀地分配到 16384 个槽中。

 

 1 static const uint16_t crc16tab[256]= {
 2     0x0000,0x1021,0x2042,0x3063,0x4084,0x50a5,0x60c6,0x70e7,
 3     0x8108,0x9129,0xa14a,0xb16b,0xc18c,0xd1ad,0xe1ce,0xf1ef,
 4     0x1231,0x0210,0x3273,0x2252,0x52b5,0x4294,0x72f7,0x62d6,
 5     0x9339,0x8318,0xb37b,0xa35a,0xd3bd,0xc39c,0xf3ff,0xe3de,
 6     0x2462,0x3443,0x0420,0x1401,0x64e6,0x74c7,0x44a4,0x5485,
 7     0xa56a,0xb54b,0x8528,0x9509,0xe5ee,0xf5cf,0xc5ac,0xd58d,
 8     0x3653,0x2672,0x1611,0x0630,0x76d7,0x66f6,0x5695,0x46b4,
 9     0xb75b,0xa77a,0x9719,0x8738,0xf7df,0xe7fe,0xd79d,0xc7bc,
10     0x48c4,0x58e5,0x6886,0x78a7,0x0840,0x1861,0x2802,0x3823,
11     0xc9cc,0xd9ed,0xe98e,0xf9af,0x8948,0x9969,0xa90a,0xb92b,
12     0x5af5,0x4ad4,0x7ab7,0x6a96,0x1a71,0x0a50,0x3a33,0x2a12,
13     0xdbfd,0xcbdc,0xfbbf,0xeb9e,0x9b79,0x8b58,0xbb3b,0xab1a,
14     0x6ca6,0x7c87,0x4ce4,0x5cc5,0x2c22,0x3c03,0x0c60,0x1c41,
15     0xedae,0xfd8f,0xcdec,0xddcd,0xad2a,0xbd0b,0x8d68,0x9d49,
16     0x7e97,0x6eb6,0x5ed5,0x4ef4,0x3e13,0x2e32,0x1e51,0x0e70,
17     0xff9f,0xefbe,0xdfdd,0xcffc,0xbf1b,0xaf3a,0x9f59,0x8f78,
18     0x9188,0x81a9,0xb1ca,0xa1eb,0xd10c,0xc12d,0xf14e,0xe16f,
19     0x1080,0x00a1,0x30c2,0x20e3,0x5004,0x4025,0x7046,0x6067,
20     0x83b9,0x9398,0xa3fb,0xb3da,0xc33d,0xd31c,0xe37f,0xf35e,
21     0x02b1,0x1290,0x22f3,0x32d2,0x4235,0x5214,0x6277,0x7256,
22     0xb5ea,0xa5cb,0x95a8,0x8589,0xf56e,0xe54f,0xd52c,0xc50d,
23     0x34e2,0x24c3,0x14a0,0x0481,0x7466,0x6447,0x5424,0x4405,
24     0xa7db,0xb7fa,0x8799,0x97b8,0xe75f,0xf77e,0xc71d,0xd73c,
25     0x26d3,0x36f2,0x0691,0x16b0,0x6657,0x7676,0x4615,0x5634,
26     0xd94c,0xc96d,0xf90e,0xe92f,0x99c8,0x89e9,0xb98a,0xa9ab,
27     0x5844,0x4865,0x7806,0x6827,0x18c0,0x08e1,0x3882,0x28a3,
28     0xcb7d,0xdb5c,0xeb3f,0xfb1e,0x8bf9,0x9bd8,0xabbb,0xbb9a,
29     0x4a75,0x5a54,0x6a37,0x7a16,0x0af1,0x1ad0,0x2ab3,0x3a92,
30     0xfd2e,0xed0f,0xdd6c,0xcd4d,0xbdaa,0xad8b,0x9de8,0x8dc9,
31     0x7c26,0x6c07,0x5c64,0x4c45,0x3ca2,0x2c83,0x1ce0,0x0cc1,
32     0xef1f,0xff3e,0xcf5d,0xdf7c,0xaf9b,0xbfba,0x8fd9,0x9ff8,
33     0x6e17,0x7e36,0x4e55,0x5e74,0x2e93,0x3eb2,0x0ed1,0x1ef0
34 };
35 
36 uint16_t crc16(const char *buf, int len) {
37     int counter;
38     uint16_t crc = 0;
39     for (counter = 0; counter < len; counter++)
40             crc = (crc<<8) ^ crc16tab[((crc>>8) ^ *buf++)&0x00FF];
41     return crc;
42 }

 

 

实验结果:set k v ,k计算出来为7629,利用上述代码计算出来也是7629.可得知,上述代码没有问题。

 

  通常根据CRC校验码的位数(也等于生成多项式【G(x)】最高的幂次)的不同来区分不同的CRC算法,如CRC-1、CRC-8、CRC-16等。幂次相同的情况下,不同的标准也有不同的CRC算法。比如G(x)最高次幂为16的时候有:CRC-16-CCITT、CRC-16-IBM等。Redis使用的是CRC-16-CCITT标准,即G(x)为:x16 + x12 + x5 + 1 。

        G(x)的通常表征方式是将多项式转换成二进制: 1 0001 0000 0010 0001。用十六进制表示为:0x11021。该数存储空间是17位(2个字节+1个位,C语言实际存储是3个字节),实际上,在模二除的时候,被除数的最高位 1 和除数最高位 1 总是对齐的,其异或结果,总为0,故可省略,则G(x) = 0x1021(2个字节),节省了一个字节的空间。 

 引用自 https://blog.csdn.net/guodongxiaren/article/details/44706613 。这里面讲解CRC16是非常的到位,奈何我是个数学渣,看的并不是很懂。而且我很奇怪字符怎么异或呢?转化成ASCll好像也不太对。

 

至此,集群算是搭建完毕了,并且相关知识也大概有个了解了。下面就可以慢慢深挖了。