分类目录归档:centos/nginx/apache

SSH远程会话管理工具 – screen使用教程

在刚接触Linux时最怕的就是SSH远程登录Linux VPS编译安装程序时网络突然断开,或者其他情况导致不得不与远程SSH服务器链接断开,远程执行的命令也被迫停止,只能重新连接,重新运行。相信现在有些VPSer也遇到过这个问题,今天就给VPSer们介绍一款远程会话管理工具 – screen命令。

一、screen命令是什么?

Screen是一个可以在多个进程之间多路复用一个物理终端的全屏窗口管理器。Screen中有会话的概念,用户可以在一个screen会话中创建多个screen窗口,在每一个screen窗口中就像操作一个真实的telnet/SSH连接窗口那样。

二、如何安装screen命令?

除部分精简的系统或者定制的系统大部分都安装了screen命令,如果没有安装,CentOS系统可以执行:yum install screen ;

Debian/Ubuntu系统执行:apt-get install screen 。

三、screen命令使用方法?

1、常用的使用方法

用来解决文章开始我们遇到的问题,比如在安装lnmp时。

1.1 创建screen会话

可以先执行:screen -S lnmp ,screen就会创建一个名字为lnmp的会话。 VPS侦探 http://www.vpser.net/

1.2 暂时离开,保留screen会话中的任务或程序

当需要临时离开时(会话中的程序不会关闭,仍在运行)可以用快捷键Ctrl+a d(即按住Ctrl,依次再按a,d)

1.3 恢复screen会话

当回来时可以再执行执行:screen -r lnmp 即可恢复到离开前创建的lnmp会话的工作界面。如果忘记了,或者当时没有指定会话名,可以执行:screen -ls screen会列出当前存在的会话列表,如下图:

11791.lnmp即为刚才的screen创建的lnmp会话,目前已经暂时退出了lnmp会话,所以状态为Detached,当使用screen -r lnmp后状态就会变为Attached,11791是这个screen的会话的进程ID,恢复会话时也可以使用:screen -r 11791

1.4 关闭screen的会话

执行:exit ,会提示:[screen is terminating],表示已经成功退出screen会话。VPS侦探 http://www.vpser.net/

2、远程演示

首先演示者先在服务器上执行 screen -S test 创建一个screen会话,观众可以链接到远程服务器上执行screen -x test 观众屏幕上就会出现和演示者同步。

3、常用快捷键

Ctrl+a c :在当前screen会话中创建窗口
Ctrl+a w :窗口列表
Ctrl+a n :下一个窗口
Ctrl+a p :上一个窗口
Ctrl+a 0-9 :在第0个窗口和第9个窗口之间切换

转载自 http://www.vpser.net/manage/screen.html

Linux C/C++ 内存泄漏检测工具:Valgrind

Valgrind 是一款 Linux下(支持 x86、x86_64和ppc32)程序的内存调试工具,它可以对编译后的二进制程序进行内存使用监测(C语言中的malloc和free,以及C++中的new和delete),找出内存泄漏问题。

Valgrind 中包含的 Memcheck 工具可以检查以下的程序错误:

使用未初始化的内存 (Use of uninitialised memory)
使用已经释放了的内存 (Reading/writing memory after it has been free’d)
使用超过malloc分配的内存空间(Reading/writing off the end of malloc’d blocks)
对堆栈的非法访问 (Reading/writing inappropriate areas on the stack)
申请的空间是否有释放 (Memory leaks – where pointers to malloc’d blocks are lost forever)
malloc/free/new/delete申请和释放内存的匹配(Mismatched use of malloc/new/new [] vs free/delete/delete [])
src和dst的重叠(Overlapping src and dst pointers in memcpy() and related functions)
重复free

1、编译安装 Valgrind:


wget http://valgrind.org/downloads/valgrind-3.4.1.tar.bz2
tar xvf valgrind-3.4.1.tar.bz2
cd valgrind-3.4.1/
./configure --prefix=/usr/local/webserver/valgrind
make
make install

2、使用示例:对“ls”程序进程检查,返回结果中的“definitely lost: 0 bytes in 0 blocks.”表示没有内存泄漏。


[root@xoyo42 /]#/usr/local/webserver/valgrind/bin/valgrind --tool=memcheck --leak-check=full ls /
==1157== Memcheck, a memory error detector.
==1157== Copyright (C) 2002-2008, and GNU GPL'd, by Julian Seward et al.
==1157== Using LibVEX rev 1884, a library for dynamic binary translation.
==1157== Copyright (C) 2004-2008, and GNU GPL'd, by OpenWorks LLP.
==1157== Using valgrind-3.4.1, a dynamic binary instrumentation framework.
==1157== Copyright (C) 2000-2008, and GNU GPL'd, by Julian Seward et al.
==1157== For more details, rerun with: -v
==1157==
bin   data0  dev  home  lib64       media  mnt  opt   root  selinux  sys       tcsql.db.idx.pkey.dec  ttserver.pid  var
boot  data1  etc  lib   lost+found  misc   net  proc  sbin  srv      tcsql.db  tmp                    usr
==1157==
==1157== ERROR SUMMARY: 0 errors from 0 contexts (suppressed: 5 from 1)
==1157== malloc/free: in use at exit: 28,471 bytes in 36 blocks.
==1157== malloc/free: 166 allocs, 130 frees, 51,377 bytes allocated.
==1157== For counts of detected errors, rerun with: -v
==1157== searching for pointers to 36 not-freed blocks.
==1157== checked 174,640 bytes.
==1157==
==1157== LEAK SUMMARY:
==1157==    definitely lost: 0 bytes in 0 blocks.
==1157==      possibly lost: 0 bytes in 0 blocks.
==1157==    still reachable: 28,471 bytes in 36 blocks.
==1157==         suppressed: 0 bytes in 0 blocks.
==1157== Reachable blocks (those to which a pointer was found) are not shown.
==1157== To see them, rerun with: --leak-check=full --show-reachable=yes

3、使用示例:对一个使用libevent库编写的“httptest”程序进程检查,返回结果中的“definitely lost: 255 bytes in 5 blocks.”表示发生内存泄漏。


[root@xoyo42 tcsql-0.1]# /usr/local/webserver/valgrind/bin/valgrind --tool=memcheck --leak-check=full ./httptest
==1274== Memcheck, a memory error detector.
==1274== Copyright (C) 2002-2008, and GNU GPL'd, by Julian Seward et al.
==1274== Using LibVEX rev 1884, a library for dynamic binary translation.
==1274== Copyright (C) 2004-2008, and GNU GPL'd, by OpenWorks LLP.
==1274== Using valgrind-3.4.1, a dynamic binary instrumentation framework.
==1274== Copyright (C) 2000-2008, and GNU GPL'd, by Julian Seward et al.
==1274== For more details, rerun with: -v
==1274==
==1274== ERROR SUMMARY: 0 errors from 0 contexts (suppressed: 1005 from 2)
==1274== malloc/free: in use at exit: 402,291 bytes in 74 blocks.
==1274== malloc/free: 15,939 allocs, 15,865 frees, 6,281,523 bytes allocated.
==1274== For counts of detected errors, rerun with: -v
==1274== searching for pointers to 74 not-freed blocks.
==1274== checked 682,468,160 bytes.
==1274==
==1274== 255 bytes in 5 blocks are definitely lost in loss record 17 of 32
==1274==    at 0x4A05FBB: malloc (vg_replace_malloc.c:207)
==1274==    by 0x3C1D809BC6: evhttp_decode_uri (http.c:2105)
==1274==    by 0x401C75: tcsql_handler (in /data0/tcsql/cankao/tcsql-0.1/tcsql)
==1274==    by 0x3C1D80C88F: evhttp_get_body (http.c:1582)
==1274==    by 0x3C1D8065F7: event_base_loop (event.c:392)
==1274==    by 0x403E2F: main (in /data0/tcsql/cankao/tcsql-0.1/tcsql)
==1274==
==1274== LEAK SUMMARY:
==1274==    definitely lost: 255 bytes in 5 blocks.
==1274==      possibly lost: 0 bytes in 0 blocks.
==1274==    still reachable: 402,036 bytes in 69 blocks.
==1274==         suppressed: 0 bytes in 0 blocks.
==1274== Reachable blocks (those to which a pointer was found) are not shown.
==1274== To see them, rerun with: --leak-check=full --show-reachable=yes

检查httptest程序,发现有一处“char *decode_uri = evhttp_decode_uri(evhttp_request_uri(req));”中的“decode_uri”没有被free,再程序处理完成后加上“free(decode_uri);”后,再使用Valgrind检查,结果已经是“definitely lost: 0 bytes in 0 blocks.”。

转自:http://www.s135.com/post/419/

实时查看linux网卡流量

将下列脚本保存为可执行脚本文件,比如叫traff.sh。

1、本脚本可自定义欲查看接口,精确到小数,并可根据流量大小灵活显示单位。
2、此脚本的采集间隔为1秒。
3、此脚本不需要额外再安装软件,可在急用情况下应付一下,比如临时想看一下是否有流量通过,大概为多少等。
4、一些流量查看软件由于计算的精确度不同,所以与此脚本显示的数值不可能一致,此脚本的显示结果与du meter对比过,相差很小。还有就是传输工具本身显示的传输速度并不准确。
用法为:
1、chmod +x ./traff.sh 将文件改成可执行脚本。
2、./traff.sh eth0即可开始监看接口eth0流量,按ctrl+c退出。


#!/bin/bash
 while [ "1" ]
 do
 eth=$1
 RXpre=$(cat /proc/net/dev | grep $eth | tr : " " | awk '{print $2}')
 TXpre=$(cat /proc/net/dev | grep $eth | tr : " " | awk '{print $10}')
 sleep 1
 RXnext=$(cat /proc/net/dev | grep $eth | tr : " " | awk '{print $2}')
 TXnext=$(cat /proc/net/dev | grep $eth | tr : " " | awk '{print $10}')
 clear
 echo -e "\t RX `date +%k:%M:%S` TX"
 RX=$((${RXnext}-${RXpre}))
 TX=$((${TXnext}-${TXpre}))

if [[ $RX -lt 1024 ]];then
 RX="${RX}B/s"
 elif [[ $RX -gt 1048576 ]];then
 RX=$(echo $RX | awk '{print $1/1048576 "MB/s"}')
 else
 RX=$(echo $RX | awk '{print $1/1024 "KB/s"}')
 fi

if [[ $TX -lt 1024 ]];then
 TX="${TX}B/s"
 elif [[ $TX -gt 1048576 ]];then
 TX=$(echo $TX | awk '{print $1/1048576 "MB/s"}')
 else
 TX=$(echo $TX | awk '{print $1/1024 "KB/s"}')
 fi

echo -e "$eth \t $RX $TX "
 done

备份vps数据文件到dropbox的脚本

备份脚本适用于国外的vps,备份速度快。非linux客户端方式上传,无需实时运行dropbox客户端,只需要上传数据时调用,更省资源!
dropbox上传并非采用的是linux客户端,而是网上一个curl上传的shell脚本,配合数据备份脚本实现vps数据的分卷压缩,上传到dropbox,从而实现vps上数据的异地备份。
采用分卷压缩是因为dropbox限制了单文件上传的大小。

uploader.sh 脚本下载:http://ye55.com/uploader.sh

[codesyntax lang=”bash”]

#! /bin/bash
f=`date +%Y%m%d`
tar zcvf /home/backup/file/$f.tar.gz /home/wwwroot /home/sh /usr/local/nginx/conf/vhost /home/svn
cd /home/backup/file/
tar czvfp - /home/backup/file/$f.tar.gz | split -d -b 300m
echo 'Upload dropbox';
filelist=`ls /home/backup/file/x*`
for filename in $filelist
do
        sleep 1s
        sh /home/sh/uploader.sh dropbox账号 密码 $filename file/$f
done
rm /home/backup/file/* -rf
echo 'ok';

[/codesyntax]

nginx配置多个php fastcgi实现php解析的负载均衡

配置还是非常简单的,充分体现了nginx的强大与配置的简单,下面是大致的服务器结构图: 

应用的最前端是一台nginx服务器,所有静态的内容都由nginx来处理,而将所有php的请求都分摊到下游的若干台运行php fastcgi守护进程的服务器中,这样可以以一种廉价的方案来实现对系统负载的分摊,扩展系统的负载能力。

三台php fastcgi服务器的ip地址分别为:

172.16.236.110 , 172.16.236.111, 172.16.236.112

运行php fastcgi进程时,需要让php-cgi监听到服务器的局域网地址(分别如上所示),而不是之前一般都是监听的本地地址(127.0.0.1)。以172.16.236.110这台服务器为例:

继续阅读

写个php脚本监控buyvm的vps是否有货

目前博客运行在buyvm的openvz的15$/Y 的vps,还有二个月就要到期了,准备换buyvm的 256m kvm vps ,价格不贵,5$/m .

buyvm用过的这段时间里,非常稳定,速度不错,放个博客还是不错的。但货比较少,经常缺货。所以就写个脚本监控buyvm是否有货,网上已有热心网友提供了货源的json数据源,只要每小时获取后分析一下有没货就ok了。

如果有货的话,通过email的方式发送到我的gmail邮箱 ,因为手机是android系统,gmail邮箱可以实时的push邮件,当一有货就知道了,找台电脑就可以抢货了!

通知到有货后,脚本就自动在脚本文件头部加上exit,以后就不会再发邮件了,防止脚本不停的发信!

vim /home/sh/buyvm.php

<?php
$c=file_get_contents("http://doesbuyvmhavestock.com/automation.php?format=json");
$c=json_decode($c,true);
if($c[6]['qty'] > 0){
exitsh();
mail('phpd.cn@gmail.com','buyvm kvm 256m',$c[6]['name'].' : '.$c[6]['qty']."\r\nhttp://buyvm.net");}
function exitSh()
{
$file=file("/home/sh/buyvm.php");
$file[0].="\nexit;";
file_put_contents("/home/sh/buyvm.php",$file);
}

crontab -e

添加 一条crontab记录,让脚本每小时执行一次

01 * * * * root  /usr/local/php/bin/php /home/sh/buyvm.php

图片服务器开发

网站按功能进行分割,采用API方式对应用服务器提供服务

图片服务器,主要的作用是图片的保存、切图、缩放等操作。

后期网站访问量比较大的情况下,采用rsync,使多台图片服务器图片数据同步做集群。前台通过crc32计算调用不同的图片服务器,分摊图片服务器的压力。当数据量比较大的情况下也可以做分布式处理!

流程:

1 应用服务器接收到用户上传的图片

2 使用php的curl函数通过http把图片原封不动的传输到图片服务器。

3 通过参数,告诉图片服务器是否保留源图、切割缩放多大的尺寸等。

4 图片服务器接收到图片后,按参数进行图像操作,同时,把生成的图像放入年月日目录

5 file_md5得到图像文件的md5值,去数据库中搜索,看是否存在已有图片

6 如果存在的话,删除刚刚保存的文件,从数据库中直接返回真实的图片url地址(例:http://img.sm.com/2011/08/2/dfadfa.jpg)。

7 如果是新图片的话,把图片信息写入数据库 ,图像的md5做为ID号,通过hash id号分表保存。

8 图片服务器返回一个数组,数组中保存了处理了的图片的全部图片ID 及 url信息,借应用服务器使用及保存

coreseek索引更新机制

coreseek索引更新机制
原文地址:
http://fatal.blogbus.com/logs/45153968.html

今天的时间都花在coreseek的索引更新机制上了,原来是每隔一分钟更新增量索引,每天再重建一次索引。sph_counter 中存放区分主索引和增量索引的maxid。现在的方法,依旧是每分钟更新增量索引,但是重建索引改成合并,将增量索引合并到主索引中,并更改 sph_counter中的maxid值,清空增量索引。搜索则都是同时从两个索引中搜索。

这个可是折腾了大半天才得出来的结果,合并索引不难。

其他两个都有问题,先说下今天碰到的情况。

先是更新sph_counter的maxid值,这个时候还没有考虑到清空增量索引,所以合并索引这步暂时是没有问题的,而合并索引后,再更新增量 索引,还会得到第一次建立索引后的所有增量,因为没有改变maxid,后来在coreseek.cn上看到有人提到 sql_query_post_index,可以更新增量索引后改变maxid值,于是在增量index中加入了这个选项,= =开始是手工更新增量索引,合并到主索引,这两步一起做,没有问题,后来用crontab才发现,增量索引每更新一次,前面的记录都会丢失,因为这些记录 还没有合并到主索引就被更新的增量索引覆盖了。这个方法行不通,后来问了神仙,= =,原来脚本也可以更改数据表中的值,请教了一下,此问题解决。说完另一个问题,一起贴最终的脚本内容。

继续阅读

安装配置Varnish3.0手记

在内网的vps上安装Varnish的最新版3.0来用做测试

Varnish有centos下的rpm和ubuntu下的deb二进制包下载,但我选择的是源码编译安装

先下载 wget http://repo.varnish-cache.org/source/varnish-3.0.0.tar.gz

分分享一个Varnish老版本的中文手册,比起看英文原版的省事的多。

tar -xzvf varnish-3.0.0.tar.gz

解压varnish进行编译安装

cd varnish-3.0.3

./autogen.sh

./configure

make

make install

安装成功后

varnish -V 查看版本,看是否安装成功

测试varnish

先编辑配置文件

vim /user/local/varnish/etc/varnish/default.vcl

backend default {
.host = “192.168.1.154”;
.port = “80”;
}

表示,通过varnish访问192.168.1.154的80端口

varnishd -f /usr/local/varnish/etc/varnish/default.vcl -s malloc,50m -T 127.0.0.1:200 -a 0.0.0.0:80

启动varnishd服务,端口号绑定80   设最大内存50m  (VPS内存小,没办法,将就着做试验)

现在可以打开varnish了

http://192.168.1.153    (开启varnish的端口号)

戴图显示,nginx 为154上运行的web服务器,出现了varnish字样,表示缓存架设成功,已正常工作了。