fqueue: A Java repository from zip01

#FQueue介绍 #labels

Introduction

FQueue是一个高性能、基于磁盘持久存储的队列消息系统。兼容memcached协议，能用memcached的语言都可以良好的与它通信。 FQueue为你提供一个不需要特别优化，高性能的一个消息系统。 ppt介绍

特性

基于磁盘持久化存储。
支持memcached协议。
支持多队列，密码验证功能。
高性能，能达到数十万qps。
低内存消耗。100-300M内存即可工作得很好。
高效率IO读写算法，IO效率高。
纯JAVA代码。支持进程内JVM级别的直接调用。
在不需要强顺序的场景下，支持多机负载均衡。

不支持

不支持topic方式的订阅功能。
不支持主从复制。

使用

下载压缩包，解压后，chmode 755 run.sh ./run.sh start 即可启动，默认监听12000端口测试使用

 //memcached协议入队
 memcache.set("key_abc",0,"message1");//key为队列名，abc为密码，在conf/config.properties中配置
 memcache.set("key_abc",0,"message2");
 //获取队列的数据
 memcache.get("key_abc");//取回的应该是message1
 memcache.get("key_abc");//取回的应该是message2

Fqueue有多快

进程内

Fqueue的底层存储非常高效。下面做个单线程测试（JAVA）：

 public static void main(String[] args) throws Exception {
        FQueue fQueue = new FQueue("/home/q/db/");
        StringBuilder sb = new StringBuilder();
        int length = Integer.parseInt(args[0]);
        for (int i = 0; i < length; i++) {
            sb.append("a");
        }
        byte[] data = sb.toString().getBytes();
        fQueue.add(data);// 预热一下
        long start = System.currentTimeMillis();
        for (int i = 0; i < 100000000; i++) {
            fQueue.add(data);
        }
        System.out.println(100000000.0 / ((System.currentTimeMillis() - start) / 1000) + "qps");
        fQueue.close();
    }

运行后输出：

#每次写入10字节
~/memcachedbench-0.1.0]# ./test.sh 10
9090909qps
#每次写入1024字节
~/memcachedbench-0.1.0]# ./test.sh 1024
196078qps

服务模式

多个客户端往Server端每次写入10byte的数据用以下php脚本测试速度：

$mem=new Memcache();
$mem->connect("host",12000);
$start=microtime(true);
for($i=0;$i<30;$i++){
	$count=$mem->get("size|bbs|pass");
	echo microtime(true)."\t".$count."\r\n";
	sleep(1);
}

输出：

1315645933.5273	288426996
1315645934.5343	288750720
1315645935.5414	289080492
1315645936.5483	289412664
1315645937.5547	289727366
1315645938.5618	290053230
1315645939.5679	290380550
1315645940.5758	290697886
1315645941.5816	291025822
1315645942.5888	291349510
1315645943.5948	291671034
1315645944.6027	292005258
1315645945.6099	292336265
1315645946.6176	292663838
1315645947.6282	292988327
1315645948.6347	293317381
1315645949.6428	293624922
1315645950.6492	293944354
1315645951.6554	294269555
1315645952.6632	294595757
1315645953.6697	294924215
1315645954.677	295253636
1315645955.6829	295593660
1315645956.69	295927374
1315645957.6973	296254742
1315645958.7045	296585110
1315645959.7109	296916046
1315645960.7171	297246379
1315645961.7228	297577807
1315645962.7297	297913268

对应的每秒写入

zip01/fqueue

Introduction

特性

不支持

使用

Fqueue有多快

进程内

服务模式