• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

LFS_FREE: File System 可以同时存储海量大文件和小文件,高并发

原作者: [db:作者] 来自: 网络 收藏 邀请

开源软件名称:

LFS_FREE

开源软件地址:

https://gitee.com/ikCourage/LFS_FREE

开源软件介绍:

LFS

File System(不仅仅是简单)

写入速度提升 29%,读取速度提升 39%,“快”很任性。

非常非常快的文件系统,可以同时存储海量大文件和小文件,高并发
存储视频音乐和图片等非常棒

LFS API Reference

链接:github git@osc

示例:

//上传文件,只需一行//?如果文件特别大怎么办,是不是需要切片?//:为什么需要呢?依然只有这一行,10G? 100G? 1T? 都如你所愿//?是否会有碎片?//:1 个字节都木有//?是否支持断点上传?会不会复杂?//:如果我告诉你,依然只有这一行呢?仅仅多了两个参数而已FileInputStream inputStream = new FileInputStream(file);fileId = LFS_Stream.writeStream(FILE_NAME, fileId, inputStream, file.length());
//下载文件,依然只需一行//?弱弱的问下,断点下载也很简单哈?//:如你所想,再多 1 个 或 2 个参数就好LFS_Stream.readStream(FILE_NAME, fileId, readStream);
//但是 IReadStream 需要自己设计(读出来的数据都通知给了 IReadStream,所以你自己得知道用数据干嘛才行,不是吗)//这里是一个通过 http 显示图片的示例(竟如此简单,而且非常快)IReadStream readStream = new IReadStream(){	public boolean init(long fileId, int size, long sizeTotal, long sizeTotalRead, long offset)	{		response.setIntHeader("Content-Length", (int)sizeTotalRead);		response.setHeader("Cache-Control", "max-age=604800");		response.setIntHeader("Etag", 0);		return true;	}	//参数好多啊,不要被吓到了,只有前两个是你需要用的	//其他的只是为了避免全局变量而已(如果需要的话,所幸,绝大多数场景都不会需要)	public boolean parseData(byte[] b, int bytesAvalibale, int size, long sizeTotal, long sizeTotalRead, long sizeTotalReaded, long offset)	{		try {			//这里应实现自己的数据输出,比如输出到 http			response.getOutputStream().write(b, 0, bytesAvalibale);			return true;		} catch (Exception e) {}		return false;	}};

指南针

#####设置端口号LFS --port 9002

#####设置 IP(如:ipv6,默认同时侦听 ipv4 ipv6)LFS --host ::

#####设置文件存储目录LFS --dir Storage

#####打开打印模式LFS --print

#####守护进程LFS --daemon

#####设置 Socket 的收发缓存大小LFS --inBufferSize 102400 --outBufferSize 102400

测试数据

系统:OS X Yosemite
处理器:2 GHz Intel Core i7
内存:4 GB 1333 MHz DDR3
硬盘:Hitachi 500 GB SATA 磁盘

写入 27.5 万个分词,并构建索引(写入前先查询索引,去重):

  • 全部用时:21.659 s(含本机通信用时)
  • 服务用时:21.645120612 s

根据索引读取:

  • 全部用时:1 ms(含本机通信用时)
  • 服务用时:0.233422 ms

遍历查询(第 275542 项,共 275714 项)

  • 全部用时:1484 ms(含本机通信用时)
  • 服务用时:1483.914973 ms

鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap