memc_nginx+srcache_nginx+memcached构建透明的动态页面缓存

在上一节《 nginx+memcached构建页面缓存应用http://www.ttlsa.com/html/2418.html中,说道nginx只负责从memcached服务器中读取数据,要往memcached写入数据还得需要后台的应用程序来完成。使用memc-nginx和srcache-nginx模块就可以主动的向memcached添加缓存,对应用程序来说是透明的。大大的提高动态页面访问速度。第一次访问创建缓存,后续访问在缓存过期时间内,直接从memcached返回,不需要再次经过php-fpm处理。 nginx_memc模块与nginx_srcache模块配合使用,来提供缓存服务器后端的操作,在技术上,任何提供REST接口的模块都可以与nginx_srcache配合使用来获取和存储缓存子请求。 使用memcached作为后端缓存,需要注意memcached存储大小的限制,不得超过1M。为了使用更宽松的后端存储服务,建议使用redis等,参见《 srcache_nginx+redis构建缓存系统》。 1. memc-nginx-module模块指令说明: memc_pass 语法:memc_pass address:port or socket; 默认值:none 配置段:http, server, location, if 指定memcached服务器地址。 memc_cmds_allowed 语法:memc_cmds_allowed <cmd>... 默认值: none 配置段:http, server, location, if 列出允许访问的memcached命令。默认情况下,所有的memcached命令都可以访问。 memc_flags_to_last_modified 语法:memc_flags_to_last_modified on|off 默认值:off 配置段:http, server, location, if 读取memcached标识,并将其设置为Last-Modified头部值。对于有条件的get,nginx返回304未修改响应,以便节省带宽。 memc_connect_timeout 语法:memc_connect_timeout <time> 默认值:60s 配置段: http, server, location 与memcached服务器建立连接的超时时间。不得超过597 hours。 memc_send_timeout 语法:memc_send_timeout <time> 默认值:60s 配置段:http, server, location 设置发送请求到memcached服务器的超时时间。不得超过597 hours。 memc_read_timeout 语法:memc_read_timeout <time> 默认值:60s 配置段:http, server, location 定义从memcached服务器读取响应超时时间。不得超过597 hours。 memc_buffer_size 语法:memc_buffer_size <size> 默认值:4k/8k 配置段:http, server, location 读取从memcached服务器接收到响应的缓冲大小。 2. memcached支持的命令 memcached存储命令set、add、replace、prepend、append,以$memc_key作为键。$memc_exptime定义过期时间,默认值为0。$memc_flags作为标识,默认值为0,来建立相应的memcached查询。 如果$memc_value没有定义,那么请求的请求体将作为该值,除了incr和decr命令外。注意:如果$memc_value定义为空的字符串,那么该空字符串仍然被当做该值。 2.1 get $memc_key 使用键来检索值。
location /foo {
set $memc_cmd 'get';
set $memc_key 'my_key';
memc_pass 127.0.0.1:11211;
add_header X-Memc-Flags $memc_flags;
}
如果该键被找到,响应体为该键值,返回200。否则范围404 Not Found。如果发生错误或客户端错误或服务端错误,则返回502。标识码设置到$memc_flags变量。通常使用add_header指令来添加到响应头部。 2.2 set $memc_key $memc_flags $memc_exptime $memc_value 将请求体作为memcached值。如果另外指定值可以通过$memc_value变量来指定。
location /foo {
    set $memc_cmd 'set';
    set $memc_key 'my_key';
    set $memc_flags 12345;
    set $memc_exptime 24;
    memc_pass 127.0.0.1:11211;
}
location /foo {
    set $memc_cmd 'set';
    set $memc_key 'my_key';
    set $memc_flags 12345;
    set $memc_exptime 24;
    set $memc_value 'my_value';
    memc_pass 127.0.0.1:11211;
}
返回201,说明创建memcached缓存存储成功。返回200说明NOT_STORED。返回404说明NOT_FOUND。返回502说明发生错误或客户端错误或服务端错误。 memcached原始响应是响应体,404 NOT FOUND除外。 2.3 add $memc_key $memc_flags $memc_exptime $memc_value 和set命令相似 2.4 prepend $memc_key $memc_flags $memc_exptime $memc_value 和set命令相似 2.5 delete $memc_key 删除该键值
location /foo
set $memc_cmd delete;
set $memc_key my_key;

memc_pass 127.0.0.1:11211;
}
返回200说明删除成功。返回404说明NOT_FOUND。返回502说明发生错误或客户端错误或服务端错误。 2.6 delete $memc_key $memc_exptime 和delete命令相似。 2.7 incr $memc_key $memc_value 给指定的$memc_key对应的$memc_value增量。
location /foo {
set $memc_key my_key;
set $memc_value 2;
memc_pass 127.0.0.1:11211;
}
每次访问/foo将导致my_key的值加2。 返回200说明成功。返回404说明键Not Found。返回502说明发生错误或客户端错误或服务端错误。 2.8 decr $memc_key $memc_value 与incr相似。 2.9 flush_all 刷新memcached上所有的键。
location /foo {
set $memc_cmd flush_all;
memc_pass 127.0.0.1:11211;
}
2.10 flush_all $memc_exptime 与flush_all相似。 2.11 stats 输出memcached统计信息。
location /foo {
set $memc_cmd stats;
memc_pass 127.0.0.1:11211;
}
2.12 version 返回memcached版本信息。
location /foo {
set $memc_cmd version;
memc_pass 127.0.0.1:11211;
}
3. srcache-nginx-module模块指令说明: srcache_fetch 语法:srcache_fetch <method> <uri> <args>? 默认值:no 配置段:http, server, location, location if 查询缓存。返回200说明缓存命中,直接从缓存响应客户端请求。非200需要后端程序处理。 srcache_fetch_skip 语法:srcache_fetch_skip <flag> 默认值:srcache_fetch_skip 0 配置段:http, server, location, location if <flag>支持nginx变量。当这个参数值不为空和不等于0,则从缓存取数据过程被无条件跳过。 srcache_store 语法:srcache_store <method> <uri> <args>? 默认值:no 配置段:http, server, location, location if 将当前请求的响应存入缓存。可以使用srcache_store_skip和srcache_store_max_size指令禁用缓存。不管是响应状态行,响应头,响应体都会被缓存。默认情况下,下列特殊响应头不会被缓存: Connection Keep-Alive Proxy-Authenticate Proxy-Authorization TE Trailers Transfer-Encoding Upgrade Set-Cookie 可以使用srcache_store_pass_header、srcache_store_hide_header指令来控制哪些头要缓存哪些不要。 注意:即使所有的响应数据被立即发送,当前的nginx请求生命周期未必完成,直到srcache_store子请求完成。这意味着服务器端延迟关闭TCP连接,或下一个请求服务发送同一个TCP连接。 srcache_store_max_size 语法:srcache_store_max_size <size> 默认值:srcache_store_max_size 0 配置段:http, server, location, location if 当响应体超过该值,将不会缓存。 当后端缓存存储有对缓存数据做硬限制,这个指令非常有用。比如memcached服务器,上限是1M。 默认值0,不限制。 srcache_store_skip 语法:srcache_store_skip <flag> 默认值:srcache_store_skip 0 配置段:http, server, location, location if <flag>支持nginx变量。当这个参数值不为空和不等于0,则从存入缓存过程被无条件跳过。 srcache_store_statuses 语法:srcache_store_statuses <status1> <status2> .. 默认值:srcache_store_statuses 200 301 302 配置段:http, server, location, location if 该指令控制那些状态码响应被缓存。 srcache_header_buffer_size 语法:srcache_header_buffer_size <size> 默认值:srcache_header_buffer_size 4k/8k 配置段:http, server, location, location if 在序列化响应头时控制头缓冲大小。默认大小为页面大小,通常为4k或8k,取决于具体平台。 注意:该大小是以每个头的,因此,需要足够大来容纳最大响应头。 srcache_store_hide_header 语法:srcache_store_hide_header <header> 默认值:no 配置段:http, server, location, location if 默认情况下,除了以下头缓存所有响应头: Connection Keep-Alive Proxy-Authenticate Proxy-Authorization TE Trailers Transfer-Encoding Upgrade Set-Cookie 可以隐藏多个响应头,不区分大小写。如 srcache_store_hide_header X-Foo; srcache_store_hide_header Last-Modified; srcache_store_pass_header 语法:srcache_store_pass_header <header> 默认值:no 配置段:http, server, location, location if 默认情况下,除了以下头缓存所有响应头: Connection Keep-Alive Proxy-Authenticate Proxy-Authorization TE Trailers Transfer-Encoding Upgrade Set-Cookie 可以缓存多个响应头,不区分大小写。如 srcache_store_pass_header Set-Cookie; srcache_store_pass_header Proxy-Autenticate; srcache_methods 语法:srcache_methods <method>... 默认值:srcache_methods GET HEAD 配置段:http, server, location srcache_ignore_content_encoding 语法:srcache_ignore_content_encoding on|off 默认值: srcache_ignore_content_encoding off 配置段:http, server, location, location if 内容是否编码。 建议后端服务器禁用gzip/deflate压缩。在nginx.conf配置:
proxy_set_header Accept-Encoding "";
srcache_request_cache_control 语法:srcache_request_cache_control on|off 默认值:srcache_request_cache_control off 配置段:http, server, location 当该指令为on时,请求头Cache-Control和Pragma按照下面的方法处理: 1. srcache_fetch查询缓存操作时,当请求头Cache-Control: no-cache 、 Pragma: no-cache 将跳过。 2. srcache_store存入缓存操作时,当请求头Cache-Control: no-store将跳过。 当该指令为off时,将禁用此功能,对于繁忙的站点依赖缓存加速被认为是最安全的。 srcache_response_cache_control 语法:srcache_response_cache_control on|off 默认值:srcache_response_cache_control on 配置段:http, server, location 当该指令为on时,响应头Cache-Control和Expires按照下面的方法处理: Cache-Control: private skips srcache_store, Cache-Control: no-store skips srcache_store, Cache-Control: no-cache skips srcache_store, Cache-Control: max-age=0 skips srcache_store, Expires: <date-no-more-recently-than-now> skips srcache_store. 该指令优先级比srcache_store_no_store,srcache_store_no_cache,srcache_store_private高。 srcache_store_no_store 语法:srcache_store_no_store on|off 默认值:srcache_store_no_store off 配置段:http, server, location 开启该指令,将强制响应头Cache-Control: no-store。默认为关闭。 srcache_store_no_cache 语法:srcache_store_no_cache on|off 默认值:srcache_store_no_cache off 配置段:http, server, location 开启该指令,将强制响应头Cache-Control: no-cache。默认为关闭。 srcache_store_private 语法:srcache_store_private on|off 默认值:srcache_store_private off 配置段:http, server, location 开启该指令,将强制响应头Cache-Control: private。默认为关闭。 srcache_default_expire 语法:srcache_default_expire <time> 默认值:srcache_default_expire 60s 配置段:http, server, location, location if 控制默认过期时间。当响应头既没有Cache-Control: max-age=N也没有指定Expires时,允许的$srcache_expire变量值。 该值必须小于597hours。 srcache_max_expire 语法:srcache_max_expire <time> 默认值:srcache_max_expire 0 配置段:http, server, location, location if 控制最大缓存时间,此设置优先级高于其他计算方法。 该值必须小于597hours。 默认为0,不限制。 4. srcache-nginx-module变量 $srcache_expire 当前的响应存入缓存的过期时间。按照下面的方法计算: 1. 当响应头Cache-Control: max-age=N被指定,那么N将作为过期时间。 2. 如果响应头Expires被指定,那么该值与当前时间差作为过期时间。 3. 当既没有指定Cache-Control: max-age=N也没有指定Expires,那么使用 srcache_default_expire 指定的值。 如果超过srcache_max_expire指令值,那么此变量最终值为srcache_max_expire。 $srcache_fetch_status 获取缓存的三种状态值:HIT, MISS, BYPASS。 $srcache_store_status 存入缓存的两种状态值:STORE ,BYPASS。 5. 安装nginx_memc和nginx_srcache模块
# wget https://github.com/agentzh/memc-nginx-module/archive/master.zip
# wget https://github.com/agentzh/srcache-nginx-module/archive/master.zip
# ./configure --prefix=/usr/local/nginx-1.2.5 \
--add-module=../srcache-nginx-module
--add-module=../memc-nginx-module
# make
# make install
6. 配置
upstream memcacheds {
        server 10.1.240.166:22222;
}
server  {
        listen       8090;
        server_name  test.ttlsa.com;
        index index.html index.htm index.php;
        root  /data/wwwroot/www.ttlsa.com/webroot;

        location /memc {
                internal;
                memc_connect_timeout 100ms;
                memc_send_timeout 100ms;
                memc_read_timeout 100ms;
                set $memc_key $query_string;
                set $memc_exptime 120;
                memc_pass memcacheds;
                }

        location ~ .*\.php?$
        {
                if ($uri ~ /ttlsa/){
                        set $ttlsa_key $request_uri;
                        srcache_fetch GET /memc $ttlsa_key;
                        srcache_store PUT /memc $ttlsa_key;
                        add_header X-Cached-From $srcache_fetch_status;
                        add_header X-Cached-Store $srcache_store_status;
                }
                include fastcgi_params;
                fastcgi_pass  127.0.0.1:10081;
                fastcgi_index index.php;
                fastcgi_connect_timeout 60;
                fastcgi_send_timeout 180;
                fastcgi_read_timeout 180;
                fastcgi_buffer_size 128k;
                fastcgi_buffers 4 256k;
                fastcgi_busy_buffers_size 256k;
                fastcgi_temp_file_write_size 256k;
                fastcgi_intercept_errors on;
                fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name;
        }
}
7. 测试 7.1 第一次访问(404 Not found 创建缓存) ngx-1 7.2 后续访问(直接从缓存中响应) ngx-2 第一次访问创建缓存,后续访问在缓存过期时间内,直接从memcached返回,不需要再次经过php-fpm处理。大大提升动态页面访问速度。 《 memc_nginx+srcache_nginx+memcached遇到的问题》 如需转载请注明出处:http://www.ttlsa.com/html/2460.html

转载于:https://my.oschina.net/766/blog/211446

猜你喜欢

转载自blog.csdn.net/weixin_34257076/article/details/91547528