drivers/staging/erofs/Documentation/filesystems/erofs.txt

   1 Overview
   2 ========
   3
   4 EROFS file-system stands for Enhanced Read-Only File System. Different
   5 from other read-only file systems, it aims to be designed for flexibility,
   6 scalability, but be kept simple and high performance.
   7
   8 It is designed as a better filesystem solution for the following scenarios:
   9  - read-only storage media or
  10
  11  - part of a fully trusted read-only solution, which means it needs to be
  12    immutable and bit-for-bit identical to the official golden image for
  13    their releases due to security and other considerations and
  14
  15  - hope to save some extra storage space with guaranteed end-to-end performance
  16    by using reduced metadata and transparent file compression, especially
  17    for those embedded devices with limited memory (ex, smartphone);
  18
  19 Here is the main features of EROFS:
  20  - Little endian on-disk design;
  21
  22  - Currently 4KB block size (nobh) and therefore maximum 16TB address space;
  23
  24  - Metadata & data could be mixed by design;
  25
  26  - 2 inode versions for different requirements:
  27                           v1            v2
  28    Inode metadata size:   32 bytes      64 bytes
  29    Max file size:         4 GB          16 EB (also limited by max. vol size)
  30    Max uids/gids:         65536         4294967296
  31    File creation time:    no            yes (64 + 32-bit timestamp)
  32    Max hardlinks:         65536         4294967296
  33    Metadata reserved:     4 bytes       14 bytes
  34
  35  - Support extended attributes (xattrs) as an option;
  36
  37  - Support xattr inline and tail-end data inline for all files;
  38
  39  - Support POSIX.1e ACLs by using xattrs;
  40
  41  - Support transparent file compression as an option:
  42    LZ4 algorithm with 4 KB fixed-output compression for high performance;
  43
  44 The following git tree provides the file system user-space tools under
  45 development (ex, formatting tool mkfs.erofs):
  46 >> git://git.kernel.org/pub/scm/linux/kernel/git/xiang/erofs-utils.git
  47
  48 Bugs and patches are welcome, please kindly help us and send to the following
  49 linux-erofs mailing list:
  50 >> linux-erofs mailing list   <linux-erofs@lists.ozlabs.org>
  51
  52 Note that EROFS is still working in progress as a Linux staging driver,
  53 Cc the staging mailing list as well is highly recommended:
  54 >> Linux Driver Project Developer List <devel@driverdev.osuosl.org>
  55
  56 Mount options
  57 =============
  58
  59 fault_injection=%d     Enable fault injection in all supported types with
  60                        specified injection rate. Supported injection type:
  61                        Type_Name                Type_Value
  62                        FAULT_KMALLOC            0x000000001
  63                        FAULT_READ_IO            0x000000002
  64 (no)user_xattr         Setup Extended User Attributes. Note: xattr is enabled
  65                        by default if CONFIG_EROFS_FS_XATTR is selected.
  66 (no)acl                Setup POSIX Access Control List. Note: acl is enabled
  67                        by default if CONFIG_EROFS_FS_POSIX_ACL is selected.
  68 cache_strategy=%s      Select a strategy for cached decompression from now on:
  69                          disabled: In-place I/O decompression only;
  70                         readahead: Cache the last incomplete compressed physical
  71                                    cluster for further reading. It still does
  72                                    in-place I/O decompression for the rest
  73                                    compressed physical clusters;
  74                        readaround: Cache the both ends of incomplete compressed
  75                                    physical clusters for further reading.
  76                                    It still does in-place I/O decompression
  77                                    for the rest compressed physical clusters.
  78
  79 Module parameters
  80 =================
  81 use_vmap=[0|1]         Use vmap() instead of vm_map_ram() (default 0).
  82
  83 On-disk details
  84 ===============
  85
  86 Summary
  87 -------
  88 Different from other read-only file systems, an EROFS volume is designed
  89 to be as simple as possible:
  90
  91                                 |-> aligned with the block size
  92    ____________________________________________________________
  93   | |SB| | ... | Metadata | ... | Data | Metadata | ... | Data |
  94   |_|__|_|_____|__________|_____|______|__________|_____|______|
  95   0 +1K
  96
  97 All data areas should be aligned with the block size, but metadata areas
  98 may not. All metadatas can be now observed in two different spaces (views):
  99  1. Inode metadata space
 100     Each valid inode should be aligned with an inode slot, which is a fixed
 101     value (32 bytes) and designed to be kept in line with v1 inode size.
 102
 103     Each inode can be directly found with the following formula:
 104          inode offset = meta_blkaddr * block_size + 32 * nid
 105
 106                                 |-> aligned with 8B
 107                                            |-> followed closely
 108     + meta_blkaddr blocks                                      |-> another slot
 109      _____________________________________________________________________
 110     |  ...   | inode |  xattrs  | extents  | data inline | ... | inode ...
 111     |________|_______|(optional)|(optional)|__(optional)_|_____|__________
 112              |-> aligned with the inode slot size
 113                   .                   .
 114                 .                         .
 115               .                              .
 116             .                                    .
 117           .                                         .
 118         .                                              .
 119       .____________________________________________________|-> aligned with 4B
 120       | xattr_ibody_header | shared xattrs | inline xattrs |
 121       |____________________|_______________|_______________|
 122       |->    12 bytes    <-|->x * 4 bytes<-|               .
 123                           .                .                 .
 124                     .                      .                   .
 125                .                           .                     .
 126            ._______________________________.______________________.
 127            | id | id | id | id |  ... | id | ent | ... | ent| ... |
 128            |____|____|____|____|______|____|_____|_____|____|_____|
 129                                            |-> aligned with 4B
 130                                                        |-> aligned with 4B
 131
 132     Inode could be 32 or 64 bytes, which can be distinguished from a common
 133     field which all inode versions have -- i_advise:
 134
 135         __________________               __________________
 136        |     i_advise     |             |     i_advise     |
 137        |__________________|             |__________________|
 138        |        ...       |             |        ...       |
 139        |                  |             |                  |
 140        |__________________| 32 bytes    |                  |
 141                                         |                  |
 142                                         |__________________| 64 bytes
 143
 144     Xattrs, extents, data inline are followed by the corresponding inode with
 145     proper alignes, and they could be optional for different data mappings,
 146     _currently_ there are totally 3 valid data mappings supported:
 147
 148      1) flat file data without data inline (no extent);
 149      2) fixed-output size data compression (must have extents);
 150      3) flat file data with tail-end data inline (no extent);
 151
 152     The size of the optional xattrs is indicated by i_xattr_count in inode
 153     header. Large xattrs or xattrs shared by many different files can be
 154     stored in shared xattrs metadata rather than inlined right after inode.
 155
 156  2. Shared xattrs metadata space
 157     Shared xattrs space is similar to the above inode space, started with
 158     a specific block indicated by xattr_blkaddr, organized one by one with
 159     proper align.
 160
 161     Each share xattr can also be directly found by the following formula:
 162          xattr offset = xattr_blkaddr * block_size + 4 * xattr_id
 163
 164                            |-> aligned by  4 bytes
 165     + xattr_blkaddr blocks                     |-> aligned with 4 bytes
 166      _________________________________________________________________________
 167     |  ...   | xattr_entry |  xattr data | ... |  xattr_entry | xattr data  ...
 168     |________|_____________|_____________|_____|______________|_______________
 169
 170 Directories
 171 -----------
 172 All directories are now organized in a compact on-disk format. Note that
 173 each directory block is divided into index and name areas in order to support
 174 random file lookup, and all directory entries are _strictly_ recorded in
 175 alphabetical order in order to support improved prefix binary search
 176 algorithm (could refer to the related source code).
 177
 178                  ___________________________
 179                 /                           |
 180                /              ______________|________________
 181               /              /              | nameoff1       | nameoffN-1
 182  ____________.______________._______________v________________v__________
 183 | dirent | dirent | ... | dirent | filename | filename | ... | filename |
 184 |___.0___|____1___|_____|___N-1__|____0_____|____1_____|_____|___N-1____|
 185      \                           ^
 186       \                          |                           * could have
 187        \                         |                             trailing '\0'
 188         \________________________| nameoff0
 189
 190                              Directory block
 191
 192 Note that apart from the offset of the first filename, nameoff0 also indicates
 193 the total number of directory entries in this block since it is no need to
 194 introduce another on-disk field at all.
 195
 196 Compression
 197 -----------
 198 Currently, EROFS supports 4KB fixed-output clustersize transparent file
 199 compression, as illustrated below:
 200
 201          |---- Variant-Length Extent ----|-------- VLE --------|----- VLE -----
 202          clusterofs                      clusterofs            clusterofs
 203          |                               |                     |   logical data
 204 _________v_______________________________v_____________________v_______________
 205 ... |    .        |             |        .    |             |  .          | ...
 206 ____|____.________|_____________|________.____|_____________|__.__________|____
 207     |-> cluster <-|-> cluster <-|-> cluster <-|-> cluster <-|-> cluster <-|
 208          size          size          size          size          size
 209           .                             .                .                   .
 210            .                       .               .                  .
 211             .                  .              .                .
 212       _______._____________._____________._____________._____________________
 213          ... |             |             |             | ... physical data
 214       _______|_____________|_____________|_____________|_____________________
 215              |-> cluster <-|-> cluster <-|-> cluster <-|
 216                   size          size          size
 217
 218 Currently each on-disk physical cluster can contain 4KB (un)compressed data
 219 at most. For each logical cluster, there is a corresponding on-disk index to
 220 describe its cluster type, physical cluster address, etc.
 221
 222 See "struct z_erofs_vle_decompressed_index" in erofs_fs.h for more details.
 223