作者归档：℃冻番茄

目前正在开发一个c#的flashpaper在线转换服务器

转换服务器用.net开发，win7平台

网站采用apache 的 .htpasswd http认证采用密码保护用户上传的doc等文档源文件。

fp服务器自动从web中依次取得用户上传的doc文档，并且转换后回调web上传接口，实现文档的在线转换

下面的代码是下载web上的源文档用于在线转换

[codesyntax lang=”csharp”]

 try
            {
                String url = "http://localhost:82/api/T1yAdWXgdGXXb1upjX.jpg";
                String fileName = url.Substring(url.LastIndexOf("/") + 1);
                String refer = url.Substring(0, url.LastIndexOf("/") + 1);

                System.Net.HttpWebRequest req = System.Net.HttpWebRequest.Create(url) as System.Net.HttpWebRequest;
                req.AllowAutoRedirect = true;
                req.Referer = refer;
                /*发送http认证*/
                req.Credentials = new NetworkCredential("xzy", "xzy");  
                req.UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 6.1; zh-CN; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13";
                System.Net.HttpWebResponse res = req.GetResponse() as System.Net.HttpWebResponse;
                System.IO.Stream stream = res.GetResponseStream();
                byte[] buffer = new byte[32 * 1024];
                int bytesProcessed = 0;
                System.IO.FileStream fs = System.IO.File.Create("tmp/down/" + fileName);
                int bytesRead;
                do
                {
                    bytesRead = stream.Read(buffer, 0, buffer.Length);
                    fs.Write(buffer, 0, bytesRead);
                    bytesProcessed += bytesRead;
                }
                while (bytesRead > 0);
                fs.Flush();
                fs.Close();
                res.Close();
            }
            catch(Exception err)
            {
                MessageBox.Show(err.Message);
            }

[/codesyntax]

php5使用autoload实现类的自动加载

常州这边的公司用的框架是09年写的，二年了，所以有了重写的冲动！

新版框架采用php5的autoload类自动加载机制，使应用开发时无需require相应的文件，非常爽

[codesyntax lang=”php”]

/**
 *
 * php5自动加载类功能函数
 * @param string $class_name
 */
function loader($class_name){
	$expandCfg=cfg('expand');
	if(!empty($expandCfg) && in_array($class_name,array_keys($expandCfg))){
		$classFile=$expandCfg[$class_name];
	}else{
		$classArr = preg_split("/(?=[A-Z])/", $class_name);
		$classSysArr=array('dao','module','base','core','parent');
		$classArrLast=strtolower($classArr[count($classArr)-1]);
		if(in_array($classArrLast, $classSysArr)){
			if('base'==$classArrLast || 'core'==$classArrLast){
				$classFile=CORE_PATH.strtolower($classArr[0]).'.'.$classArrLast.'.class.php';
			}elseif('parent'==$classArrLast){
				$classFile=SITE_PATH.$classArrLast.'/'.strtolower($classArr[0]).'.'.$classArrLast.'.class.php';
			}else{
				$classFile=INCLUDE_PATH.$classArrLast.'/'.strtolower($classArr[0]).'/'.strtolower($classArr[0]).'.'.strtolower($classArr[1]).'.'.strtolower($classArr[2]).'.class.php';
			}
			//debug($classFile);

		}
		unset($classArr,$classArrLast);
	}
	if(isset($classFile) && file_exists($classFile)){
		include($classFile);
	}
}

spl_autoload_register('loader');

[/codesyntax]

另框架在上线后，自动把运行时的错误信息存log文件

[codesyntax lang=”php”]

register_shutdown_function('error_handler');
/**
 *
 * 判断当前页是否来自ajax提交
 */
function is_ajax()
{
	if(isset($_SERVER['HTTP_X_REQUESTED_WITH']) && trim($_SERVER['HTTP_X_REQUESTED_WITH']) == 'XMLHttpRequest'){
		return true;
	}else{
		return false;
	}
}

function error_handler() {
    if(isset($run_count) && $run_count === 1)
        return false;
    static $run_count = 1;
    //  获取错误信息
    $error_array = error_get_last();
    // 对notice级的错误进行清除
    if($error_array['type'] == 8) {
        $error_array = array();
    }
    if(empty($error_array) === false) {
        $url = htmlspecialchars($_SERVER['REQUEST_URI']);  // 当前请求访问url地址,
        $date = date('Y-m-d H:i:s',time());  // 当前时间
        $error = implode(' | ',$error_array);  // 将错误代码全部转化为数据.
        file_put_contents(PATH.'/log/error'.date('Y_m_d').'.txt',"$date|$url,$error; \r\n",FILE_APPEND);  // 写入日志文件中. 保护一行一条, 并且循环增加开启.
    }
}

[/codesyntax]

使用Varnish代替Squid做网站缓存加速器的详细解决方案[转]

我曾经写过一篇文章──《初步试用Squid的替代产品──Varnish Cache网站加速器》，但当时仅仅是用着玩，没做深入研究。

今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。

在我看来，使用Varnish代替Squid的理由有三点：
1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。
2、Varnish的稳定性还不错，我管理的一台图片服务器运行Varnish已经有一个月，没有发生过故障，而进行相同工作的Squid服务器就倒过几次。
3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的。

下面来安装Varnish网站缓存加速器（Linux系统）：
1、创建www用户和组，以及Varnish缓存文件存放目录（/var/vcache）：

/usr/sbin/groupadd www -g 48
/usr/sbin/useradd -u 48 -g www www
mkdir -p /var/vcache
chmod +w /var/vcache
chown -R www:www /var/vcache

2、创建Varnish日志目录（/var/logs/）：

mkdir -p /var/logs
chmod +w /var/logs
chown -R www:www /var/logs

3、编译安装varnish：

wget http://blog.s135.com/soft/linux/varnish/varnish-1.1.2.tar.gz
tar zxvf varnish-1.1.2.tar.gz
cd varnish-1.1.2
./configure –prefix=/usr/local/varnish
make && make install

4、创建Varnish配置文件：

vi /usr/local/varnish/vcl.conf

输入以下内容：

引用

backend myblogserver {
set backend.host = “192.168.0.5”;
set backend.port = “80”;
}

acl purge {
“localhost”;
“127.0.0.1”;
“192.168.1.0”/24;
}

sub vcl_recv {
if (req.request == “PURGE”) {
if (!client.ip ~ purge) {
error 405 “Not allowed.”;
}
lookup;
}

if (req.http.host ~ “^blog.s135.com”) {
set req.backend = myblogserver;
if (req.request != “GET” && req.request != “HEAD”) {
pipe;
}
else {
lookup;
}
}
else {
error 404 “Zhang Yan Cache Server”;
lookup;
}
}

sub vcl_hit {
if (req.request == “PURGE”) {
set obj.ttl = 0s;
error 200 “Purged.”;
}
}

sub vcl_miss {
if (req.request == “PURGE”) {
error 404 “Not in cache.”;
}
}

sub vcl_fetch {
if (req.request == “GET” && req.url ~ “\.(txt|js)$”) {
set obj.ttl = 3600s;
}
else {
set obj.ttl = 30d;
}
}

这里，我对这段配置文件解释一下：
(1)、Varnish通过反向代理请求后端IP为192.168.0.5，端口为80的web服务器；
(2)、Varnish允许localhost、127.0.0.1、192.168.0.***三个来源IP通过PURGE方法清除缓存；
(3)、Varnish对域名为blog.s135.com的请求进行处理，非blog.s135.com域名的请求则返回“Zhang Yan Cache Server”；
(4)、Varnish对HTTP协议中的GET、HEAD请求进行缓存，对POST请求透过，让其直接访问后端Web服务器。之所以这样配置，是因为POST请求一般是发送数据给服务器的，需要服务器接收、处理，所以不缓存；
(5)、Varnish对以.txt和.js结尾的URL缓存时间设置1小时，对其他的URL缓存时间设置为30天。

5、启动Varnish

ulimit -SHn 51200
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on

6、启动varnishncsa用来将Varnish访问日志写入日志文件：

/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/varnish.log &

7、配置开机自动启动Varnish

vi /etc/rc.local

在末尾增加以下内容：

引用

8、优化Linux内核参数

vi /etc/sysctl.conf

在末尾增加以下内容：

引用

net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000 65000

再看看如何管理Varnish：
1、查看Varnish服务器连接数与命中率：

/usr/local/varnish/bin/varnishstat

2、通过Varnish管理端口进行管理：
用help看看可以使用哪些Varnish命令：

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 help

引用

Available commands:
ping [timestamp]
status
start
stop
stats
vcl.load
vcl.inline
vcl.use
vcl.discard
vcl.list
vcl.show
param.show [-l] []
param.set
help [command]
url.purge
dump.pool

3、通过Varnish管理端口，使用正则表达式批量清除缓存：
(1)、例：清除类似http://blog.s135.com/a/zhangyan.html的URL地址）：

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge /a/

(2)、例：清除类似http://blog.s135.com/tech的URL地址：

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge w*$

(3)、例：清除所有缓存：

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge *$

4、一个清除Squid缓存的PHP函数（清除Varnish缓存同样可以使用该函数，无需作任何修改，十分方便）：

view plain print ?

<?php
function purge($ip, $url)
{
$errstr = ”;
$errno = ”;
$fp = fsockopen ($ip, 80, $errno, $errstr, 2);
if (!$fp)
{
return false;
}
else
{
$out = “PURGE $url HTTP/1.1\r\n”;
$out .= “Host:blog.s135.com\r\n”;
$out .= “Connection: close\r\n\r\n”;
fputs ($fp, $out);
$out = fgets($fp , 4096);
fclose ($fp);
return true;
}
}
purge(“192.168.0.4”, “/index.php”);
?>

<?php function purge($ip, $url) { $errstr = ”; $errno = ”; $fp = fsockopen ($ip, 80, $errno, $errstr, 2); if (!$fp) { return false; } else { $out = “PURGE $url HTTP/1.1\r\n”; $out .= “Host:blog.s135.com\r\n”; $out .= “Connection: close\r\n\r\n”; fputs ($fp, $out); $out = fgets($fp , 4096); fclose ($fp); return true; } } purge(“192.168.0.4”, “/index.php”); ?>

附1：Varnish官方网站：http://www.varnish-cache.org/

附2：2007年12月10日，我写了一个每天0点运行，按天切割Varnish日志，生成一个压缩文件，同时删除上个月旧日志的脚本（/var/logs/cutlog.sh）：
/var/logs/cutlog.sh文件内容如下：

引用

#!/bin/sh
# This file run at 00:00
date=$(date -d “yesterday” +”%Y-%m-%d”)
pkill -9 varnishncsa
mv /var/logs/youvideo.log /var/logs/${date}.log
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &
mkdir -p /var/logs/youvideo/
gzip -c /var/logs/${date}.log > /var/logs/youvideo/${date}.log.gz
rm -f /var/logs/${date}.log
rm -f /var/logs/youvideo/$(date -d “-1 month” +”%Y-%m*”).log.gz

设置在每天00:00定时执行：

/usr/bin/crontab -e

或者

vi /var/spool/cron/root

输入以下内容：

引用

0 0 * * * /bin/sh /var/logs/cutlog.sh