fastdfs

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的metadata进行管理。所谓文件的metadata就是文件的相关属性，以键值对（keyvaluepair）方式表示，如：width=，其中的key为width，value为。文件metadata是文件属性列表，可以包含多个键值对。

跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。

为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。

在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

FastDFSfileupload

上传文件交互过程：

1.client询问tracker上传到的storage，不需要附加参数；

2.tracker返回一台可用的storage；

3.client直接和storage通讯完成文件上传。

FastDFSfiledownload

下载文件交互过程：

1.client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；

2.tracker返回一台可用的storage；

3.client直接和storage通讯完成文件下载。

group0/M00/00/02/Cs8b8lFJIIyAHAAAbpQt7xVI

组名：group0磁盘：M00目录：00/02文件名：Cs8b8lFJIIyAHAAAbpQt7xVI

文件名包含的信息：采用Base64编码，包含的字段包括:源storageserverIp地址文件创建时间文件大小文件CRC32效验码随机数

需要说明的是，client为使用FastDFS服务的调用方，client也应该是一台服务器，它对tracker和storage的调用均为服务器间的调用。

FastDFS同步机制说明：

trackerserver会在内存中保存storage分组及各个组下的storageserver，并将连接过自己的storageserver及其分组保存到文件中，以便下次重启服务时能直接从本地磁盘中获得storage相关信息。storageserver会在内存中记录本组的所有服务器，并将服务器信息记录到文件中。trackerserver和storageserver之间相互同步storageserver列表：

1.如果一个组内增加了新的storage

server或者storageserver的状态发生了改变，trackerserver都会将storageserver列表同步给该组内的所有storageserver。以新增storageserver为例，因为新加入的storage

server主动连接trackerserver，trackerserver发现有新的storageserver加入，就会将该组内所有的storageserver返回给新加入的storageserver，并重新将该组的storageserver列表返回给该组内的其他storageserver；

2.如果新增加一台trackerserver，storageserver连接该trackerserver，发现该trackerserver返回的本组storageserver列表比本机记录的要少，就会将该trackerserver上没有的storageserver同步给该trackerserver。同一组内的storageserver之间是对等的，文件上传、删除等操作可以在任意一台storageserver上进行。文件同步只在同组内的storageserver之间进行，采用push方式，即源服务器同步给目标服务器。以文件上传为例，假设一个组内有3台storageserverA、B和C，文件F上传到服务器B，由B将文件F同步到其余的两台服务器A和C。我们不妨把文件F上传到服务器B的操作为源头操作，在服务器B上的F文件为源头数据；文件F被同步到服务器A和C的操作为备份操作，在A和C上的F文件为备份数据。同步规则总结如下：

1.只在本组内的storageserver之间进行同步；

2.源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了；

3.上述第二条规则有个例外，就是新增加一台storageserver时，由已有的一台storageserver将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。storageserver有7个状态，如下：

#FDFS_STORAGE_STATUS_INIT:初始化，尚未得到同步已有数据的源服务器

#FDFS_STORAGE_STATUS_WAIT_SYNC:等待同步，已得到同步已有数据的源服务器

#FDFS_STORAGE_STATUS_SYNCING:同步中

#FDFS_STORAGE_STATUS_DELETED:已删除，该服务器从本组中摘除（注：本状态的功能尚未实现）

#FDFS_STORAGE_STATUS_OFFLINE:离线

#FDFS_STORAGE_STATUS_ONLINE:在线，尚不能提供服务

#FDFS_STORAGE_STATUS_ACTIVE:在线，可以提供服务

当storage

server的状态为FDFS_STORAGE_STATUS_ONLINE时，当该storageserver向trackerserver发起一次heartbeat时，trackerserver将其状态更改为FDFS_STORAGE_STATUS_ACTIVE。

组内新增加一台storageserverA时，由系统自动完成已有数据同步，处理逻辑如下：

1.storageserverA连接trackerserver，trackerserver将storageserverA的状态设置为FDFS_STORAGE_STATUS_INIT。storageserverA询问追加同步的源服务器和追加同步截至时间点，如果该组内只有storageserverA或该组内已成功上传的文件数为0，则没有数据需要同步，storageserverA就可以提供在线服务，此时tracker将其状态设置为FDFS_STORAGE_STATUS_ONLINE，否则tracker

server将其状态设置为FDFS_STORAGE_STATUS_WAIT_SYNC，进入第二步的处理；

2.假设tracker

server分配向storageserverA同步已有数据的源storageserver为B。同组的storageserver和trackerserver通讯得知新增了storageserverA，将启动同步线程，并向trackerserver询问向storageserverA追加同步的源服务器和截至时间点。storageserverB将把截至时间点之前的所有数据同步给storageserverA；而其余的storageserver从截至时间点之后进行正常同步，只把源头数据同步给storageserverA。到了截至时间点之后，storageserverB对storageserverA的同步将由追加同步切换为正常同步，只同步源头数据；

3.storageserver

B向storageserverA同步完所有数据，暂时没有数据要同步时，storageserverB请求trackerserver将storageserverA的状态设置为FDFS_STORAGE_STATUS_ONLINE；

4当storageserverA向trackerserver发起heartbeat时，trackerserver将其状态更改为FDFS_STORAGE_STATUS_ACTIVE。

FastDFS原理

存储节点采用了分组（group）的方式。存储系统由一个或多个group组成，group与group之间的文件是相互独立的，所有group的文件容量累加就是整个存储系统中的文件容量。一个group可以由一台或多台存储服务器组成，一个group下的存储服务器中的文件都是相同的，group中的多台存储服务器起到了冗余备份和负载均衡的作用（一个组的存储容量为该组内存储服务器容量最小的那个，不同组的Storageserver之间不会相互通信，同组内的Storageserver之间会相互连接进行文件同步）。

在group中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时，可以动态添加group。只需要增加一台或多台服务器，并将它们配置为一个新的group，这样就扩大了存储系统的容量。

FastDFS只有两个角色：Trackerserver和Storageserver。Trackerserver作为中心结点，其主要作用是负载均衡和调度。Trackerserver在内存中记录分组和Storageserver的状态等信息，不记录文件索引信息，占用的内存量很少。另外，客户端（应用）和Storageserver访问Trackerserver时，Trackerserver扫描内存中的分组和Storageserver信息，然后给出应答。由此可以看出Trackerserver非常轻量化，不会成为系统瓶颈。

FastDFS中的Storageserver在其他文件系统中通常称作Trunkserver或Dataserver。Storageserver直接利用OS的文件系统存储文件。FastDFS不会对文件进行分块存储，客户端上传的文件和Storageserver上的文件一一对应（FastDFS中的文件标识分为两个部分：组名和文件名，二者缺一不可）。