目录

一、MemCache是什么

二、MemCache特性和限制

三、MemCache实现原理

四、MemCache的Java实现实例

五、MemCache指令汇总

一、MemCache是什么

MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统，用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。MemCache是一个存储键值对的HashMap，在内存中对任意的数据（比如字符串、对象等）所使用的key-value存储，数据可以来自数据库调用、API调用，或者页面渲染的结果。MemCache设计理念就是小而强大，它简单的设计促进了快速部署、易于开发并解决面对大规模的数据缓存的许多难题，而所开放的API使得MemCache能用于Java、C/C++/C#、Perl、Python、PHP、Ruby等大部分流行的程序语言。

另外，说一下MemCache和MemCached的区别：

1、MemCache是项目的名称，而MemCached是MemCache服务器端可以执行文件的名称；

2、memcache可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，memcached自管理这些HashTable。

二、MemCache特性和限制

在 Memcached中可以保存的item数据量是没有限制的，只要内存足够 。

Memcached单进程在32位系统中最大使用内存为2G，若在64位系统则没有限制,这是由于32位系统限制单进程最多可使用2G内存,要使用更多内存，可以分多个端口开启多个Memcached进程 ,

最大30天的数据过期时间,设置为永久的也会在这个时间过期，常量REALTIME_MAXDELTA

60*60*24*30控制

最大键长为250字节，大于该长度无法存储，常量KEY_MAX_LENGTH 250控制

单个item最大数据是1MB，超过1MB数据不予存储，常量POWER_BLOCK 1048576进行控制，

它是默认的slab大小

最大同时连接数是200，通过 conn_init()中的freetotal进行控制，最大软连接数是1024，通过

settings.maxconns=1024 进行控制

跟空间占用相关的参数：settings.factor=1.25, settings.chunk_size=48, 影响slab的数据占用和步进方式

memcached是一种无阻塞的socket通信方式服务，基于libevent库，由于无阻塞通信，对内存读写速度非常之快。

memcached分服务器端和客户端，可以配置多个服务器端和客户端，应用于分布式的服务非常广泛。

memcached作为小规模的数据分布式平台是十分有效果的。

memcached是键值一一对应，key默认最大不能超过128个字 节，value默认大小是1M，也就是一个slabs，如果要存2M的值（连续的），不能用两个slabs，因为两个slabs不是连续的，无法在内存中 存储，故需要修改slabs的大小，多个key和value进行存储时，即使这个slabs没有利用完，那么也不会存放别的数据。

memcached已经可以支持C/C++、Perl、PHP、Python、Ruby、Java、C#、Postgres、Chicken Scheme、Lua、MySQL和Protocol等语言客户端。

三、MemCache实现原理

首先：memcached是以守护程序方式运行于一个或多个服务器中，随时接受客户端的连接操作。

其次：客户端在与memcached服务建立连接之后，接下来的事情就是存取对象了，每个被存取的对象都有一个唯一的标识符key，存取操作均通过这个key进行，保存到memcached中的对象实际上是放置内存中的，并不是保存cache文件中的，这也是为什么memcached能够如此高效快速的原因。注意，这些对象并不是持久的，服务停止之后，里边的数据就会丢失。

memcache采用了C/S的模式，在server端启动服务进程，在启动时可以指定监听的ip、自己的端口号，所使用的内存大小等几个关键参数。一旦启动，服务就一直处于可用状态。

memcached 的目前版本是通过C实现，采用了单进程、单线程、异步I/O，基于事件(event_based)的服务方式.使用libevent作为事件通知实现。多个Server可以协同工作，但这些 Server 之间是没有任何通讯联系的，每个Server只是对自己的数据进行管理。Client端通过指定Server端的ip地址(通过域名应该也可以)。需要缓存的对象或数据是以key->value对的形式保存在Server端。key的值通过hash进行转换，根据hash值把value传递到对应的具体的某个Server上。当需要获取对象数据时，也根据key进行。首先对key进行hash，通过获得的值可以确定它被保存在了哪台Server上，然后再向该Server发出请求。Client端只需要知道保存hash(key)的值在哪台服务器上就可以了。

memcache 的工作就是在专门的机器的内存里维护一张巨大的 hash 表，来存储经常被读写的一些数组与文件，从而极大的提高网站的运行效率。

说白了memcache是一种内存缓存技术，是一种缓存手段，要看情况来使用。

对于频繁读取，每次读取重复率高，数据更新频度低的数据，用memcache可以优化你的系统响应速度。

内置内存存储方式

为了提高性能，memcached中保存的数据都存储在memcache内置的内存存储空间中。由于数据仅存在于内存中，因此，重启memcached、重启操作系统就会导致全部数据消失。另外，内容容量达到指定值之后，就基于LRU(Least Recently Used)算法自动删除不使用的缓存。memcached本身是为缓存而设计的服务器，因此并没有过多考虑数据的永久性问题。

memcached的内存算法

Memcached利用slab allocation机制来分配和管理内存，它按照预先规定的大小，将分配的内存分割成特定长度的内存块，再把尺寸相同的内存块分成组，数据在存放时，根据键值大小去匹配slab大小，找就近的slab存放，所以存在空间浪费现象。

传统的内存管理方式是，使用完通过malloc分配的内存后通过free来回收内存，这种方式容易产生内存碎片并降低操作系统对内存的管理效率。

Memcached的缓存策略

Memcached的缓存策略是LRU（最近最少使用）加上到期失效策略。当你在memcached内存储数据项时，你有可能会指定它在缓存的失效时间，默认为永久。当memcached服务器用完分配的内时，失效的数据被首先替换，然后也是最近未使用的数据。在LRU中，memcached使用的是一种Lazy Expiration策略，自己不会监控存入的key/vlue对是否过期，而是在获取key值时查看记录的时间戳，检查key/value对空间是否过期，这样可减轻服务器的负载。

Memcached的分布式算法

当向memcached集群存入/取出key/value时，memcached客户端程序根据一定的算法计算存入哪台服务器，然后再把key/value值存到此服务器中。也就是说，存取数据分二步走，第一步，选择服务器，第二步存取数据。

 

选择服务器算法有两种，一种是根据余数来计算分布，另一种是根据散列算法来计算分布。

余数算法：先求得键的整数散列值，再除以服务器台数，根据余数确定存取服务器，这种方法计算简单，高效，但在memcached服务器增加或减少时，几乎所有的缓存都会失效。

散列算法：先算出memcached服务器的散列值，并将其分布到0到2的32次方的圆上，然后用同样的方法算出存储数据的键的散列值并映射至圆上，最后从数据映射到的位置开始顺时针查找，将数据保存到查找到的第一个服务器上，如果超过2的32次方，依然找不到服务器，就将数据保存到第一台memcached服务器上。如果添加了一台memcached服务器，只在圆上增加服务器的逆时针方向的第一台服务器上的键会受到影响。

memcached不互相通信的分布式

memcached尽管是“分布式”缓存服务器，但服务器并没有分布式功能。各个memcached不会互相通信以共享信息。那么，怎么进行分布呢？这完全取决于客户端 实现。

四、MemCache的Java实现实例

MemCache的客户端有很多第三方jar包提供了实现，其中比较好的当属XMemCached了，XMemCached具有效率高、IO非阻塞、资源耗费少、支持完整的协议、允许设置节点权重、允许动态增删节点、支持JMX、支持与Spring框架集成、使用连接池、可扩展性好等诸多优点，因而被广泛使用。这里利用XMemCache写一个简单的MemCache客户单实例：

public class MemCacheManager
{private static MemCacheManager instance = new MemCacheManager();/** XMemCache允许开发者通过设置节点权重来调节MemCache的负载，设置的权重越高，该MemCache节点存储的数据越多，负载越大 */private static MemcachedClientBuilder mcb = new XMemcachedClientBuilder(AddrUtil.getAddresses("127.0.0.1:11211 127.0.0.2:11211 127.0.0.3:11211"), new int[]{1, 3, 5});private static MemcachedClient mc = null;/** 初始化加载客户端MemCache信息 */static{mcb.setCommandFactory(new BinaryCommandFactory()); // 使用二进制文件mcb.setConnectionPoolSize(10); // 连接池个数，即客户端个数try{mc = mcb.build();}catch (IOException e){e.printStackTrace();}}private MemCacheManager(){}public MemCacheManager getInstance(){return instance;}/** 向MemCache服务器设置数据 */public void set(String key, int expiry, Object obj) throws Exception{mc.set(key, expiry, obj);}/** 从MemCache服务器获取数据 */public Object get(String key) throws Exception{return mc.get(key);}/*** MemCache通过compare and set即cas协议实现原子更新，类似乐观锁，每次请求存储某个数据都要附带一个cas值，MemCache* 比对这个cas值与当前存储数据的cas值是否相等，如果相等就覆盖老数据，如果不相等就认为更新失败，这在并发环境下特别有用*/public boolean update(String key, Integer i) throws Exception{GetsResponse<Integer> result = mc.gets(key);long cas = result.getCas();// 尝试更新key对应的valueif (!mc.cas(key, 0, i, cas)){return false;}return true;}
}

五、MemCache指令汇总

MemCache命令参数：

MemCache服务器的基本信息参数：

stats slab指令解读：