fs/overlayfs/export.c

   1 /*
   2  * Overlayfs NFS export support.
   3  *
   4  * Amir Goldstein <amir73il@gmail.com>
   5  *
   6  * Copyright (C) 2017-2018 CTERA Networks. All Rights Reserved.
   7  *
   8  * This program is free software; you can redistribute it and/or modify it
   9  * under the terms of the GNU General Public License version 2 as published by
  10  * the Free Software Foundation.
  11  */
  12
  13 #include <linux/fs.h>
  14 #include <linux/cred.h>
  15 #include <linux/mount.h>
  16 #include <linux/namei.h>
  17 #include <linux/xattr.h>
  18 #include <linux/exportfs.h>
  19 #include <linux/ratelimit.h>
  20 #include "overlayfs.h"
  21
  22 /*
  23  * We only need to encode origin if there is a chance that the same object was
  24  * encoded pre copy up and then we need to stay consistent with the same
  25  * encoding also after copy up. If non-pure upper is not indexed, then it was
  26  * copied up before NFS export was enabled. In that case we don't need to worry
  27  * about staying consistent with pre copy up encoding and we encode an upper
  28  * file handle. Overlay root dentry is a private case of non-indexed upper.
  29  *
  30  * The following table summarizes the different file handle encodings used for
  31  * different overlay object types:
  32  *
  33  *  Object type         | Encoding
  34  * --------------------------------
  35  *  Pure upper          | U
  36  *  Non-indexed upper   | U
  37  *  Indexed upper       | L (*)
  38  *  Non-upper           | L (*)
  39  *
  40  * U = upper file handle
  41  * L = lower file handle
  42  *
  43  * (*) Connecting an overlay dir from real lower dentry is not always
  44  * possible when there are redirects in lower layers. To mitigate this case,
  45  * we copy up the lower dir first and then encode an upper dir file handle.
  46  */
  47 static bool ovl_should_encode_origin(struct dentry *dentry)
  48 {
  49         struct ovl_fs *ofs = dentry->d_sb->s_fs_info;
  50
  51         if (!ovl_dentry_lower(dentry))
  52                 return false;
  53
  54         /*
  55          * Decoding a merge dir, whose origin's parent is under a redirected
  56          * lower dir is not always possible. As a simple aproximation, we do
  57          * not encode lower dir file handles when overlay has multiple lower
  58          * layers and origin is below the topmost lower layer.
  59          *
  60          * TODO: copy up only the parent that is under redirected lower.
  61          */
  62         if (d_is_dir(dentry) && ofs->upper_mnt &&
  63             OVL_E(dentry)->lowerstack[0].layer->idx > 1)
  64                 return false;
  65
  66         /* Decoding a non-indexed upper from origin is not implemented */
  67         if (ovl_dentry_upper(dentry) &&
  68             !ovl_test_flag(OVL_INDEX, d_inode(dentry)))
  69                 return false;
  70
  71         return true;
  72 }
  73
  74 static int ovl_encode_maybe_copy_up(struct dentry *dentry)
  75 {
  76         int err;
  77
  78         if (ovl_dentry_upper(dentry))
  79                 return 0;
  80
  81         err = ovl_want_write(dentry);
  82         if (err)
  83                 return err;
  84
  85         err = ovl_copy_up(dentry);
  86
  87         ovl_drop_write(dentry);
  88         return err;
  89 }
  90
  91 static int ovl_d_to_fh(struct dentry *dentry, char *buf, int buflen)
  92 {
  93         struct dentry *origin = ovl_dentry_lower(dentry);
  94         struct ovl_fh *fh = NULL;
  95         int err;
  96
  97         /*
  98          * If we should not encode a lower dir file handle, copy up and encode
  99          * an upper dir file handle.
 100          */
 101         if (!ovl_should_encode_origin(dentry)) {
 102                 err = ovl_encode_maybe_copy_up(dentry);
 103                 if (err)
 104                         goto fail;
 105
 106                 origin = NULL;
 107         }
 108
 109         /* Encode an upper or origin file handle */
 110         fh = ovl_encode_fh(origin ?: ovl_dentry_upper(dentry), !origin);
 111
 112         err = -EOVERFLOW;
 113         if (fh->len > buflen)
 114                 goto fail;
 115
 116         memcpy(buf, (char *)fh, fh->len);
 117         err = fh->len;
 118
 119 out:
 120         kfree(fh);
 121         return err;
 122
 123 fail:
 124         pr_warn_ratelimited("overlayfs: failed to encode file handle (%pd2, err=%i, buflen=%d, len=%d, type=%d)\n",
 125                             dentry, err, buflen, fh ? (int)fh->len : 0,
 126                             fh ? fh->type : 0);
 127         goto out;
 128 }
 129
 130 static int ovl_dentry_to_fh(struct dentry *dentry, u32 *fid, int *max_len)
 131 {
 132         int res, len = *max_len << 2;
 133
 134         res = ovl_d_to_fh(dentry, (char *)fid, len);
 135         if (res <= 0)
 136                 return FILEID_INVALID;
 137
 138         len = res;
 139
 140         /* Round up to dwords */
 141         *max_len = (len + 3) >> 2;
 142         return OVL_FILEID;
 143 }
 144
 145 static int ovl_encode_inode_fh(struct inode *inode, u32 *fid, int *max_len,
 146                                struct inode *parent)
 147 {
 148         struct dentry *dentry;
 149         int type;
 150
 151         /* TODO: encode connectable file handles */
 152         if (parent)
 153                 return FILEID_INVALID;
 154
 155         dentry = d_find_any_alias(inode);
 156         if (WARN_ON(!dentry))
 157                 return FILEID_INVALID;
 158
 159         type = ovl_dentry_to_fh(dentry, fid, max_len);
 160
 161         dput(dentry);
 162         return type;
 163 }
 164
 165 /*
 166  * Find or instantiate an overlay dentry from real dentries and index.
 167  */
 168 static struct dentry *ovl_obtain_alias(struct super_block *sb,
 169                                        struct dentry *upper_alias,
 170                                        struct ovl_path *lowerpath,
 171                                        struct dentry *index)
 172 {
 173         struct dentry *lower = lowerpath ? lowerpath->dentry : NULL;
 174         struct dentry *upper = upper_alias ?: index;
 175         struct dentry *dentry;
 176         struct inode *inode;
 177         struct ovl_entry *oe;
 178
 179         /* We get overlay directory dentries with ovl_lookup_real() */
 180         if (d_is_dir(upper ?: lower))
 181                 return ERR_PTR(-EIO);
 182
 183         inode = ovl_get_inode(sb, dget(upper), lower, index, !!lower);
 184         if (IS_ERR(inode)) {
 185                 dput(upper);
 186                 return ERR_CAST(inode);
 187         }
 188
 189         if (index)
 190                 ovl_set_flag(OVL_INDEX, inode);
 191
 192         dentry = d_find_any_alias(inode);
 193         if (!dentry) {
 194                 dentry = d_alloc_anon(inode->i_sb);
 195                 if (!dentry)
 196                         goto nomem;
 197                 oe = ovl_alloc_entry(lower ? 1 : 0);
 198                 if (!oe)
 199                         goto nomem;
 200
 201                 if (lower) {
 202                         oe->lowerstack->dentry = dget(lower);
 203                         oe->lowerstack->layer = lowerpath->layer;
 204                 }
 205                 dentry->d_fsdata = oe;
 206                 if (upper_alias)
 207                         ovl_dentry_set_upper_alias(dentry);
 208         }
 209
 210         return d_instantiate_anon(dentry, inode);
 211
 212 nomem:
 213         iput(inode);
 214         dput(dentry);
 215         return ERR_PTR(-ENOMEM);
 216 }
 217
 218 /* Get the upper or lower dentry in stach whose on layer @idx */
 219 static struct dentry *ovl_dentry_real_at(struct dentry *dentry, int idx)
 220 {
 221         struct ovl_entry *oe = dentry->d_fsdata;
 222         int i;
 223
 224         if (!idx)
 225                 return ovl_dentry_upper(dentry);
 226
 227         for (i = 0; i < oe->numlower; i++) {
 228                 if (oe->lowerstack[i].layer->idx == idx)
 229                         return oe->lowerstack[i].dentry;
 230         }
 231
 232         return NULL;
 233 }
 234
 235 /*
 236  * Lookup a child overlay dentry to get a connected overlay dentry whose real
 237  * dentry is @real. If @real is on upper layer, we lookup a child overlay
 238  * dentry with the same name as the real dentry. Otherwise, we need to consult
 239  * index for lookup.
 240  */
 241 static struct dentry *ovl_lookup_real_one(struct dentry *connected,
 242                                           struct dentry *real,
 243                                           struct ovl_layer *layer)
 244 {
 245         struct inode *dir = d_inode(connected);
 246         struct dentry *this, *parent = NULL;
 247         struct name_snapshot name;
 248         int err;
 249
 250         /*
 251          * Lookup child overlay dentry by real name. The dir mutex protects us
 252          * from racing with overlay rename. If the overlay dentry that is above
 253          * real has already been moved to a parent that is not under the
 254          * connected overlay dir, we return -ECHILD and restart the lookup of
 255          * connected real path from the top.
 256          */
 257         inode_lock_nested(dir, I_MUTEX_PARENT);
 258         err = -ECHILD;
 259         parent = dget_parent(real);
 260         if (ovl_dentry_real_at(connected, layer->idx) != parent)
 261                 goto fail;
 262
 263         /*
 264          * We also need to take a snapshot of real dentry name to protect us
 265          * from racing with underlying layer rename. In this case, we don't
 266          * care about returning ESTALE, only from dereferencing a free name
 267          * pointer because we hold no lock on the real dentry.
 268          */
 269         take_dentry_name_snapshot(&name, real);
 270         this = lookup_one_len(name.name, connected, strlen(name.name));
 271         err = PTR_ERR(this);
 272         if (IS_ERR(this)) {
 273                 goto fail;
 274         } else if (!this || !this->d_inode) {
 275                 dput(this);
 276                 err = -ENOENT;
 277                 goto fail;
 278         } else if (ovl_dentry_real_at(this, layer->idx) != real) {
 279                 dput(this);
 280                 err = -ESTALE;
 281                 goto fail;
 282         }
 283
 284 out:
 285         release_dentry_name_snapshot(&name);
 286         dput(parent);
 287         inode_unlock(dir);
 288         return this;
 289
 290 fail:
 291         pr_warn_ratelimited("overlayfs: failed to lookup one by real (%pd2, layer=%d, connected=%pd2, err=%i)\n",
 292                             real, layer->idx, connected, err);
 293         this = ERR_PTR(err);
 294         goto out;
 295 }
 296
 297 /*
 298  * Lookup an indexed or hashed overlay dentry by real inode.
 299  */
 300 static struct dentry *ovl_lookup_real_inode(struct super_block *sb,
 301                                             struct dentry *real,
 302                                             struct ovl_layer *layer)
 303 {
 304         struct dentry *this = NULL;
 305         struct inode *inode;
 306
 307         inode = ovl_lookup_inode(sb, real, !layer->idx);
 308         if (IS_ERR(inode))
 309                 return ERR_CAST(inode);
 310         if (inode) {
 311                 this = d_find_any_alias(inode);
 312                 iput(inode);
 313         }
 314
 315         /* TODO: use index when looking up by origin inode */
 316         if (!this)
 317                 return NULL;
 318
 319         if (WARN_ON(ovl_dentry_real_at(this, layer->idx) != real)) {
 320                 dput(this);
 321                 this = ERR_PTR(-EIO);
 322         }
 323
 324         return this;
 325 }
 326
 327 /*
 328  * Lookup an indexed or hashed overlay dentry, whose real dentry is an
 329  * ancestor of @real.
 330  */
 331 static struct dentry *ovl_lookup_real_ancestor(struct super_block *sb,
 332                                                struct dentry *real,
 333                                                struct ovl_layer *layer)
 334 {
 335         struct dentry *next, *parent = NULL;
 336         struct dentry *ancestor = ERR_PTR(-EIO);
 337
 338         if (real == layer->mnt->mnt_root)
 339                 return dget(sb->s_root);
 340
 341         /* Find the topmost indexed or hashed ancestor */
 342         next = dget(real);
 343         for (;;) {
 344                 parent = dget_parent(next);
 345
 346                 /*
 347                  * Lookup a matching overlay dentry in inode/dentry
 348                  * cache or in index by real inode.
 349                  */
 350                 ancestor = ovl_lookup_real_inode(sb, next, layer);
 351                 if (ancestor)
 352                         break;
 353
 354                 if (parent == layer->mnt->mnt_root) {
 355                         ancestor = dget(sb->s_root);
 356                         break;
 357                 }
 358
 359                 /*
 360                  * If @real has been moved out of the layer root directory,
 361                  * we will eventully hit the real fs root. This cannot happen
 362                  * by legit overlay rename, so we return error in that case.
 363                  */
 364                 if (parent == next) {
 365                         ancestor = ERR_PTR(-EXDEV);
 366                         break;
 367                 }
 368
 369                 dput(next);
 370                 next = parent;
 371         }
 372
 373         dput(parent);
 374         dput(next);
 375
 376         return ancestor;
 377 }
 378
 379 /*
 380  * Lookup a connected overlay dentry whose real dentry is @real.
 381  * If @real is on upper layer, we lookup a child overlay dentry with the same
 382  * path the real dentry. Otherwise, we need to consult index for lookup.
 383  */
 384 static struct dentry *ovl_lookup_real(struct super_block *sb,
 385                                       struct dentry *real,
 386                                       struct ovl_layer *layer)
 387 {
 388         struct dentry *connected;
 389         int err = 0;
 390
 391         connected = ovl_lookup_real_ancestor(sb, real, layer);
 392         if (IS_ERR(connected))
 393                 return connected;
 394
 395         while (!err) {
 396                 struct dentry *next, *this;
 397                 struct dentry *parent = NULL;
 398                 struct dentry *real_connected = ovl_dentry_real_at(connected,
 399                                                                    layer->idx);
 400
 401                 if (real_connected == real)
 402                         break;
 403
 404                 /* Find the topmost dentry not yet connected */
 405                 next = dget(real);
 406                 for (;;) {
 407                         parent = dget_parent(next);
 408
 409                         if (parent == real_connected)
 410                                 break;
 411
 412                         /*
 413                          * If real has been moved out of 'real_connected',
 414                          * we will not find 'real_connected' and hit the layer
 415                          * root. In that case, we need to restart connecting.
 416                          * This game can go on forever in the worst case. We
 417                          * may want to consider taking s_vfs_rename_mutex if
 418                          * this happens more than once.
 419                          */
 420                         if (parent == layer->mnt->mnt_root) {
 421                                 dput(connected);
 422                                 connected = dget(sb->s_root);
 423                                 break;
 424                         }
 425
 426                         /*
 427                          * If real file has been moved out of the layer root
 428                          * directory, we will eventully hit the real fs root.
 429                          * This cannot happen by legit overlay rename, so we
 430                          * return error in that case.
 431                          */
 432                         if (parent == next) {
 433                                 err = -EXDEV;
 434                                 break;
 435                         }
 436
 437                         dput(next);
 438                         next = parent;
 439                 }
 440
 441                 if (!err) {
 442                         this = ovl_lookup_real_one(connected, next, layer);
 443                         if (IS_ERR(this))
 444                                 err = PTR_ERR(this);
 445
 446                         /*
 447                          * Lookup of child in overlay can fail when racing with
 448                          * overlay rename of child away from 'connected' parent.
 449                          * In this case, we need to restart the lookup from the
 450                          * top, because we cannot trust that 'real_connected' is
 451                          * still an ancestor of 'real'. There is a good chance
 452                          * that the renamed overlay ancestor is now in cache, so
 453                          * ovl_lookup_real_ancestor() will find it and we can
 454                          * continue to connect exactly from where lookup failed.
 455                          */
 456                         if (err == -ECHILD) {
 457                                 this = ovl_lookup_real_ancestor(sb, real,
 458                                                                 layer);
 459                                 err = IS_ERR(this) ? PTR_ERR(this) : 0;
 460                         }
 461                         if (!err) {
 462                                 dput(connected);
 463                                 connected = this;
 464                         }
 465                 }
 466
 467                 dput(parent);
 468                 dput(next);
 469         }
 470
 471         if (err)
 472                 goto fail;
 473
 474         return connected;
 475
 476 fail:
 477         pr_warn_ratelimited("overlayfs: failed to lookup by real (%pd2, layer=%d, connected=%pd2, err=%i)\n",
 478                             real, layer->idx, connected, err);
 479         dput(connected);
 480         return ERR_PTR(err);
 481 }
 482
 483 /*
 484  * Get an overlay dentry from upper/lower real dentries and index.
 485  */
 486 static struct dentry *ovl_get_dentry(struct super_block *sb,
 487                                      struct dentry *upper,
 488                                      struct ovl_path *lowerpath,
 489                                      struct dentry *index)
 490 {
 491         struct ovl_fs *ofs = sb->s_fs_info;
 492         struct ovl_layer upper_layer = { .mnt = ofs->upper_mnt };
 493         struct ovl_layer *layer = upper ? &upper_layer : lowerpath->layer;
 494         struct dentry *real = upper ?: (index ?: lowerpath->dentry);
 495
 496         /*
 497          * Obtain a disconnected overlay dentry from a non-dir real dentry
 498          * and index.
 499          */
 500         if (!d_is_dir(real))
 501                 return ovl_obtain_alias(sb, upper, lowerpath, index);
 502
 503         /* Removed empty directory? */
 504         if ((real->d_flags & DCACHE_DISCONNECTED) || d_unhashed(real))
 505                 return ERR_PTR(-ENOENT);
 506
 507         /*
 508          * If real dentry is connected and hashed, get a connected overlay
 509          * dentry whose real dentry is @real.
 510          */
 511         return ovl_lookup_real(sb, real, layer);
 512 }
 513
 514 static struct dentry *ovl_upper_fh_to_d(struct super_block *sb,
 515                                         struct ovl_fh *fh)
 516 {
 517         struct ovl_fs *ofs = sb->s_fs_info;
 518         struct dentry *dentry;
 519         struct dentry *upper;
 520
 521         if (!ofs->upper_mnt)
 522                 return ERR_PTR(-EACCES);
 523
 524         upper = ovl_decode_fh(fh, ofs->upper_mnt);
 525         if (IS_ERR_OR_NULL(upper))
 526                 return upper;
 527
 528         dentry = ovl_get_dentry(sb, upper, NULL, NULL);
 529         dput(upper);
 530
 531         return dentry;
 532 }
 533
 534 static struct dentry *ovl_lower_fh_to_d(struct super_block *sb,
 535                                         struct ovl_fh *fh)
 536 {
 537         struct ovl_fs *ofs = sb->s_fs_info;
 538         struct ovl_path origin = { };
 539         struct ovl_path *stack = &origin;
 540         struct dentry *dentry = NULL;
 541         struct dentry *index = NULL;
 542         struct inode *inode = NULL;
 543         bool is_deleted = false;
 544         int err;
 545
 546         /* First lookup indexed upper by fh */
 547         if (ofs->indexdir) {
 548                 index = ovl_get_index_fh(ofs, fh);
 549                 err = PTR_ERR(index);
 550                 if (IS_ERR(index)) {
 551                         if (err != -ESTALE)
 552                                 return ERR_PTR(err);
 553
 554                         /* Found a whiteout index - treat as deleted inode */
 555                         is_deleted = true;
 556                         index = NULL;
 557                 }
 558         }
 559
 560         /* Then try to get upper dir by index */
 561         if (index && d_is_dir(index)) {
 562                 struct dentry *upper = ovl_index_upper(ofs, index);
 563
 564                 err = PTR_ERR(upper);
 565                 if (IS_ERR_OR_NULL(upper))
 566                         goto out_err;
 567
 568                 dentry = ovl_get_dentry(sb, upper, NULL, NULL);
 569                 dput(upper);
 570                 goto out;
 571         }
 572
 573         /* Then lookup origin by fh */
 574         err = ovl_check_origin_fh(ofs, fh, NULL, &stack);
 575         if (err) {
 576                 goto out_err;
 577         } else if (index) {
 578                 err = ovl_verify_origin(index, origin.dentry, false);
 579                 if (err)
 580                         goto out_err;
 581         } else if (is_deleted) {
 582                 /* Lookup deleted non-dir by origin inode */
 583                 if (!d_is_dir(origin.dentry))
 584                         inode = ovl_lookup_inode(sb, origin.dentry, false);
 585                 err = -ESTALE;
 586                 if (!inode || atomic_read(&inode->i_count) == 1)
 587                         goto out_err;
 588
 589                 /* Deleted but still open? */
 590                 index = dget(ovl_i_dentry_upper(inode));
 591         }
 592
 593         dentry = ovl_get_dentry(sb, NULL, &origin, index);
 594
 595 out:
 596         dput(origin.dentry);
 597         dput(index);
 598         iput(inode);
 599         return dentry;
 600
 601 out_err:
 602         dentry = ERR_PTR(err);
 603         goto out;
 604 }
 605
 606 static struct dentry *ovl_fh_to_dentry(struct super_block *sb, struct fid *fid,
 607                                        int fh_len, int fh_type)
 608 {
 609         struct dentry *dentry = NULL;
 610         struct ovl_fh *fh = (struct ovl_fh *) fid;
 611         int len = fh_len << 2;
 612         unsigned int flags = 0;
 613         int err;
 614
 615         err = -EINVAL;
 616         if (fh_type != OVL_FILEID)
 617                 goto out_err;
 618
 619         err = ovl_check_fh_len(fh, len);
 620         if (err)
 621                 goto out_err;
 622
 623         flags = fh->flags;
 624         dentry = (flags & OVL_FH_FLAG_PATH_UPPER) ?
 625                  ovl_upper_fh_to_d(sb, fh) :
 626                  ovl_lower_fh_to_d(sb, fh);
 627         err = PTR_ERR(dentry);
 628         if (IS_ERR(dentry) && err != -ESTALE)
 629                 goto out_err;
 630
 631         return dentry;
 632
 633 out_err:
 634         pr_warn_ratelimited("overlayfs: failed to decode file handle (len=%d, type=%d, flags=%x, err=%i)\n",
 635                             len, fh_type, flags, err);
 636         return ERR_PTR(err);
 637 }
 638
 639 static struct dentry *ovl_fh_to_parent(struct super_block *sb, struct fid *fid,
 640                                        int fh_len, int fh_type)
 641 {
 642         pr_warn_ratelimited("overlayfs: connectable file handles not supported; use 'no_subtree_check' exportfs option.\n");
 643         return ERR_PTR(-EACCES);
 644 }
 645
 646 static int ovl_get_name(struct dentry *parent, char *name,
 647                         struct dentry *child)
 648 {
 649         /*
 650          * ovl_fh_to_dentry() returns connected dir overlay dentries and
 651          * ovl_fh_to_parent() is not implemented, so we should not get here.
 652          */
 653         WARN_ON_ONCE(1);
 654         return -EIO;
 655 }
 656
 657 static struct dentry *ovl_get_parent(struct dentry *dentry)
 658 {
 659         /*
 660          * ovl_fh_to_dentry() returns connected dir overlay dentries, so we
 661          * should not get here.
 662          */
 663         WARN_ON_ONCE(1);
 664         return ERR_PTR(-EIO);
 665 }
 666
 667 const struct export_operations ovl_export_operations = {
 668         .encode_fh      = ovl_encode_inode_fh,
 669         .fh_to_dentry   = ovl_fh_to_dentry,
 670         .fh_to_parent   = ovl_fh_to_parent,
 671         .get_name       = ovl_get_name,
 672         .get_parent     = ovl_get_parent,
 673 };