【转】Redis学习手册(主从复制)

一、Redis的Replication:

这里首先需要说明的是,在Redis中配置Master-Slave模式真是太简单了。相信在阅读完这篇Blog之后你也可以轻松做到。这里我们还是先列出一些理论性的知识,后面给出实际操作的案例。
下面的列表清楚的解释了Redis Replication的特点和优势。
1). 同一个Master可以同步多个Slaves。
2). Slave同样可以接受其它Slaves的连接和同步请求,这样可以有效的分载Master的同步压力。因此我们可以将Redis的Replication架构视为图结构。
3). Master Server是以非阻塞的方式为Slaves提供服务。所以在Master-Slave同步期间,客户端仍然可以提交查询或修改请求。
4). Slave Server同样是以非阻塞的方式完成数据同步。在同步期间,如果有客户端提交查询请求,Redis则返回同步之前的数据。
5). 为了分载Master的读操作压力,Slave服务器可以为客户端提供只读操作的服务,写服务仍然必须由Master来完成。即便如此,系统的伸缩性还是得到了很大的提高。
6). Master可以将数据保存操作交给Slaves完成,从而避免了在Master中要有独立的进程来完成此操作。

二、Replication的工作原理:

在Slave启动并连接到Master之后,它将主动发送一个SYNC命令。此后Master将启动后台存盘进程,同时收集所有接收到的用于修改数据集的命令,在后台进程执行完毕后,Master将传送整个数据库文件到Slave,以完成一次完全同步。而Slave服务器在接收到数据库文件数据之后将其存盘并加载到内存中。此后,Master继续将所有已经收集到的修改命令,和新的修改命令依次传送给Slaves,Slave将在本次执行这些数据修改命令,从而达到最终的数据同步。
如果Master和Slave之间的链接出现断连现象,Slave可以自动重连Master,但是在连接成功之后,一次完全同步将被自动执行。

三、如何配置Replication:

见如下步骤:
1). 同时启动两个Redis服务器,可以考虑在同一台机器上启动两个Redis服务器,分别监听不同的端口,如6379和6380。
2). 在Slave服务器上执行一下命令:
?/> redis-cli -p 6380?? #这里我们假设Slave的端口号是6380
redis 127.0.0.1:6380> slaveof 127.0.0.1 6379 #我们假设Master和Slave在同一台主机,Master的端口为6379
OK
上面的方式只是保证了在执行slaveof命令之后,redis_6380成为了redis_6379的slave,一旦服务(redis_6380)重新启动之后,他们之间的复制关系将终止。
如果希望长期保证这两个服务器之间的Replication关系,可以在redis_6380的配置文件中做如下修改:
/> cd /etc/redis? #切换Redis服务器配置文件所在的目录。
/> ls
6379.conf? 6380.conf
/> vi 6380.conf

?? ?# slaveof <masterip> <masterport>
改为
?? ?slaveof 127.0.0.1 6379
保存退出。

详细配置项说明:

slaveof <masterip> <masterport>

slave实例需要配置该项,指向master的(ip, port)

masterauth <master-password>

如果master实例启用了密码保护,则该配置项需填master的启动密码;若master未启用密码,该配置项需要注释掉

slave-serve-stale-data

指定slave与master连接中断时的动作。默认为yes,表明slave会继续应答来自client的请求,但这些数据可能已经过期(因为连接中断导致无法从master同步)

若配置为no,则slave除正常应答"INFO""SLAVEOF"命令外,其余来自客户端的请求命令均会得到"SYNC with master in progress"的应答,

直到该slave与master的连接重建成功或该slave被提升为master。

slave-read-only

指定slave是否只读,默认为yes。若配置为no,这表示slave是可写的,但写的内容在主从同步完成后会被删掉

repl-ping-slave-period

Redis部署为Replication模式后,slave会以预定周期(默认10s)发PING包给master,该配置可以更改这个默认周期

repl-timeout

有2种情况的超时均由该配置指定:1) Bulk transfer I/O timeout; 2) master data or ping response timeout

需要特别注意的是:若修改默认值,则用户输入的值必须大于repl-ping-slave-period的配置值,否则在主从链路延时较高时,会频繁timeout

repl-disable-tcp-nodelay

指定向slave同步数据时,是否禁用socket的NO_DELAY选项。

若配置为yes,则禁用NO_DELAY,则TCP协议栈会合并小包统一发送,这样可以减少主从节点间的包数量并节省带宽,但会增加数据同步到slave的时间

若配置为no,表明启用NO_DELAY,则TCP协议栈不会延迟小包的发送时机,这样数据同步的延时会减少,但需要更大的带宽

通常情况下,应该配置为no以降低同步延时,但在主从节点间网络负载已经很高的情况下,可以配置为yes

备注:socket的NO_DELAY选项涉及到TCP协议栈的拥塞控制算法—Nagle's Algorithm

slave-priority

指定slave的优先级。在不只1个slave存在的部署环境下,当master宕机时,Redis Sentinel会将priority值最小的slave提升为master

需要注意的是,若该配置项为0,则对应的slave永远不会被Redis Sentinel自动提升为master

这样就可以保证Redis_6380服务程序在每次启动后都会主动建立与Redis_6379的Replication连接了。

四、应用示例:

这里我们假设Master-Slave已经建立。
?? ?#启动master服务器。
[root@Stephen-PC redis]# redis-cli -p 6379
redis 127.0.0.1:6379>
?? ?#清空Master当前数据库中的所有Keys。
redis 127.0.0.1:6379> flushdb
OK
?? ?#在Master中创建新的Keys作为测试数据。
redis 127.0.0.1:6379> set mykey hello
OK
redis 127.0.0.1:6379> set mykey2 world
OK
?? ?#查看Master中存在哪些Keys。
redis 127.0.0.1:6379> keys *
1) “mykey”
2) “mykey2”

?? ?#启动slave服务器。
[root@Stephen-PC redis]# redis-cli -p 6380
?? ?#查看Slave中的Keys是否和Master中一致,从结果看,他们是相等的。
redis 127.0.0.1:6380> keys *
1) “mykey”
2) “mykey2”

?? ?#在Master中删除其中一个测试Key,并查看删除后的结果。
redis 127.0.0.1:6379> del mykey2
(integer) 1
redis 127.0.0.1:6379> keys *
1) “mykey”

?? ?#在Slave中查看是否mykey2也已经在Slave中被删除。
redis 127.0.0.1:6380> keys *
1) “mykey”

ImageMagick 压缩图片 方法 golang库

Images as a percentage of page weight for the Alexa top 10 global web sites
图片在站点所占的比重越来越重。更好的优化图片能够提高站点速度。降低宽带流量。

1.对用户上传图片进行缩放

对于用户自己上传的图片不能简单的 用css大小限制,由于这样每次载入图片时候还是会载入整幅大图。占用多余的宽带,而且影响页面载入速度。应该依据实际显示须要进行缩放。比方我想要用户相冊里的图片大小不能超过500×300:

用ImageMagick处理起来非常简单

 

  1. convert?-resize?”500×300>“?input.jpg??output.jpg?#假设图片比500×300小就保持原样,以防小图片被放大失真。

2.生成不同比例缩略图

一般相冊等应用,都会提供缩略图和预览图,这些缩略图相同不能简单的用css来大小限制,要为每一个图片生成不同比例的预览图。

3.去除多余信息

Exif信息是数码相机在拍摄过程中採集的一系列信息,这些信息放置在我们熟知的jpg文件的头部,也就是说Exif信息是镶嵌在JPEG图像文件格式内 的一组拍摄參数,主要包含摄影时的光圈、快门、ISO、日期时间等各种与当时摄影条件相关的讯息,相机品牌型号,色彩编码,拍摄时录制的声音以及全球定位 系统(GPS)等信息。简单的说,它就好像是傻瓜相机的日期打印功能一样,仅仅只是Exif信息所记录的资讯更为详尽和完备。只是,具有Exif信息的 JPEG图像文件要比普通的JPEG文件略大一点。还有就是像PS这样的软件处理过的图片会有“program comments”。假设不是专业的摄影类站点,这些信息是没实用的,能够去掉:

  1. convert?-strip?input.jpg?output.jpg

4.调节压缩比

大多时候,我们的站点并不须要那么清楚的图片,适量调节JPG图片的压缩比会降低图片大小,肉眼并不会分辨出质量被压缩后的图片。通常75%是最佳比例。

  1. convert?-quality?75%?input.jpg?output.jpg

上面几个步骤能够一次搞定:

  1. convert?-resize?”500×300″?-strip?-quality?75%?input.jpg?output.jpg

上面说的都是针对JPG格式的处理方式,以下说一下BMP,GIF,PNG等格式的处理。
对于BMP直接转成JPG就能够了。再依照上面的方式处理。

而GIF和PNG貌似有些特殊。GIF的一些特性(动画效果,透明等)是JPG沒有的,能够依据实际情况选择转或不转,假设转换成jpg,取第一帧仅仅须要这样:

  1. convert?-format?jpg?input.gif?input.jpg

PNG也能够通过降低PNG图片color数量的办法达到压缩的目的。可是这样的办法压缩出来的图像能够明显看出来失真,而且呈锯齿状。
对于真实世界的PNG图片(通常指照片),一般先转换成JPG,再通过上面的办法来压缩。

可是要注意一点,透明或半透明的PNG图片在转换成JPG时透明部分会变成黑色。。。建议做用户头像时候不要转成JPG。。非常难看~~~
本人头像就是深受毒害。。

关于图片扩展名

发现大部分站点喜欢把用户上传的图片(头像,相冊等)都统一转成特定格式(一般都是jpg)。这样做的潜在弊端就是在用像ImageMagick这样的软件处理的时候会依据扩展名做隐式格式转换。
个人认为在保存图片的时候不加扩展名处理起来更灵活一些。

注:把上面的命令行用mini_magick改写用到rails里非常easy的。mini_magick本质就调用系统命令行嘛~~

links:
本文所说的都是对用户上传的图片处理,对站点自身的图片(header,banner等)处理《Even Faster Websites》一书第十章里面写的非常具体了:
http://www.graphics.com/modules.php?name=Sections&op=viewarticle&artid=756

许多其他ImageMagick使用方法:
http://www.imagemagick.org/script/index.php

 

GOLANG的实现库:https://github.com/gographics/imagick

纯GOLANG图片处理服务:https://github.com/pierrre/imageserver

Enterprise Architect 连接装mysql

默认Enterprise Architect 是没有装MYSQL驱动的,如果要使用Enterprise Architect 连接MYSQL需要先装MYSQL的连接驱动。

下面是安装MYSQL ODBC驱动的过程与遇到的问题:

官网下载mysql odbc驱动(测试了好多版最好只有3.51.30版是可以正常使用的)

在安装MYSQL ODBC驱动遇到如下问题:丢失msvcr100.dll

QQ截图20150310112448网上搜索得知,此问题是因为系统没有安装VC2010运行库的原因,于是就安装VC2010 64位运行库(因为我机器是64位的),Microsoft .NET Framework 4也一起安装了,重装安装MYSQL ODBC驱动,顺利安装。

这里附上本站下载地址:VC2010 64位运行库

mysql odbc 64位驱动

 

的EA连接MYSQL选择驱动时就会显示出来MYSQL ODBC的驱动,如图:

QQ截图20150310115141