]> asedeno.scripts.mit.edu Git - linux.git/blob - fs/xfs/xfs_mount.c
Merge branch 'irq-core-for-linus' of git://git.kernel.org/pub/scm/linux/kernel/git...
[linux.git] / fs / xfs / xfs_mount.c
1 // SPDX-License-Identifier: GPL-2.0
2 /*
3  * Copyright (c) 2000-2005 Silicon Graphics, Inc.
4  * All Rights Reserved.
5  */
6 #include "xfs.h"
7 #include "xfs_fs.h"
8 #include "xfs_shared.h"
9 #include "xfs_format.h"
10 #include "xfs_log_format.h"
11 #include "xfs_trans_resv.h"
12 #include "xfs_bit.h"
13 #include "xfs_sb.h"
14 #include "xfs_mount.h"
15 #include "xfs_inode.h"
16 #include "xfs_dir2.h"
17 #include "xfs_ialloc.h"
18 #include "xfs_alloc.h"
19 #include "xfs_rtalloc.h"
20 #include "xfs_bmap.h"
21 #include "xfs_trans.h"
22 #include "xfs_trans_priv.h"
23 #include "xfs_log.h"
24 #include "xfs_error.h"
25 #include "xfs_quota.h"
26 #include "xfs_fsops.h"
27 #include "xfs_icache.h"
28 #include "xfs_sysfs.h"
29 #include "xfs_rmap_btree.h"
30 #include "xfs_refcount_btree.h"
31 #include "xfs_reflink.h"
32 #include "xfs_extent_busy.h"
33 #include "xfs_health.h"
34
35
36 static DEFINE_MUTEX(xfs_uuid_table_mutex);
37 static int xfs_uuid_table_size;
38 static uuid_t *xfs_uuid_table;
39
40 void
41 xfs_uuid_table_free(void)
42 {
43         if (xfs_uuid_table_size == 0)
44                 return;
45         kmem_free(xfs_uuid_table);
46         xfs_uuid_table = NULL;
47         xfs_uuid_table_size = 0;
48 }
49
50 /*
51  * See if the UUID is unique among mounted XFS filesystems.
52  * Mount fails if UUID is nil or a FS with the same UUID is already mounted.
53  */
54 STATIC int
55 xfs_uuid_mount(
56         struct xfs_mount        *mp)
57 {
58         uuid_t                  *uuid = &mp->m_sb.sb_uuid;
59         int                     hole, i;
60
61         /* Publish UUID in struct super_block */
62         uuid_copy(&mp->m_super->s_uuid, uuid);
63
64         if (mp->m_flags & XFS_MOUNT_NOUUID)
65                 return 0;
66
67         if (uuid_is_null(uuid)) {
68                 xfs_warn(mp, "Filesystem has null UUID - can't mount");
69                 return -EINVAL;
70         }
71
72         mutex_lock(&xfs_uuid_table_mutex);
73         for (i = 0, hole = -1; i < xfs_uuid_table_size; i++) {
74                 if (uuid_is_null(&xfs_uuid_table[i])) {
75                         hole = i;
76                         continue;
77                 }
78                 if (uuid_equal(uuid, &xfs_uuid_table[i]))
79                         goto out_duplicate;
80         }
81
82         if (hole < 0) {
83                 xfs_uuid_table = kmem_realloc(xfs_uuid_table,
84                         (xfs_uuid_table_size + 1) * sizeof(*xfs_uuid_table),
85                         0);
86                 hole = xfs_uuid_table_size++;
87         }
88         xfs_uuid_table[hole] = *uuid;
89         mutex_unlock(&xfs_uuid_table_mutex);
90
91         return 0;
92
93  out_duplicate:
94         mutex_unlock(&xfs_uuid_table_mutex);
95         xfs_warn(mp, "Filesystem has duplicate UUID %pU - can't mount", uuid);
96         return -EINVAL;
97 }
98
99 STATIC void
100 xfs_uuid_unmount(
101         struct xfs_mount        *mp)
102 {
103         uuid_t                  *uuid = &mp->m_sb.sb_uuid;
104         int                     i;
105
106         if (mp->m_flags & XFS_MOUNT_NOUUID)
107                 return;
108
109         mutex_lock(&xfs_uuid_table_mutex);
110         for (i = 0; i < xfs_uuid_table_size; i++) {
111                 if (uuid_is_null(&xfs_uuid_table[i]))
112                         continue;
113                 if (!uuid_equal(uuid, &xfs_uuid_table[i]))
114                         continue;
115                 memset(&xfs_uuid_table[i], 0, sizeof(uuid_t));
116                 break;
117         }
118         ASSERT(i < xfs_uuid_table_size);
119         mutex_unlock(&xfs_uuid_table_mutex);
120 }
121
122
123 STATIC void
124 __xfs_free_perag(
125         struct rcu_head *head)
126 {
127         struct xfs_perag *pag = container_of(head, struct xfs_perag, rcu_head);
128
129         ASSERT(atomic_read(&pag->pag_ref) == 0);
130         kmem_free(pag);
131 }
132
133 /*
134  * Free up the per-ag resources associated with the mount structure.
135  */
136 STATIC void
137 xfs_free_perag(
138         xfs_mount_t     *mp)
139 {
140         xfs_agnumber_t  agno;
141         struct xfs_perag *pag;
142
143         for (agno = 0; agno < mp->m_sb.sb_agcount; agno++) {
144                 spin_lock(&mp->m_perag_lock);
145                 pag = radix_tree_delete(&mp->m_perag_tree, agno);
146                 spin_unlock(&mp->m_perag_lock);
147                 ASSERT(pag);
148                 ASSERT(atomic_read(&pag->pag_ref) == 0);
149                 xfs_iunlink_destroy(pag);
150                 xfs_buf_hash_destroy(pag);
151                 mutex_destroy(&pag->pag_ici_reclaim_lock);
152                 call_rcu(&pag->rcu_head, __xfs_free_perag);
153         }
154 }
155
156 /*
157  * Check size of device based on the (data/realtime) block count.
158  * Note: this check is used by the growfs code as well as mount.
159  */
160 int
161 xfs_sb_validate_fsb_count(
162         xfs_sb_t        *sbp,
163         uint64_t        nblocks)
164 {
165         ASSERT(PAGE_SHIFT >= sbp->sb_blocklog);
166         ASSERT(sbp->sb_blocklog >= BBSHIFT);
167
168         /* Limited by ULONG_MAX of page cache index */
169         if (nblocks >> (PAGE_SHIFT - sbp->sb_blocklog) > ULONG_MAX)
170                 return -EFBIG;
171         return 0;
172 }
173
174 int
175 xfs_initialize_perag(
176         xfs_mount_t     *mp,
177         xfs_agnumber_t  agcount,
178         xfs_agnumber_t  *maxagi)
179 {
180         xfs_agnumber_t  index;
181         xfs_agnumber_t  first_initialised = NULLAGNUMBER;
182         xfs_perag_t     *pag;
183         int             error = -ENOMEM;
184
185         /*
186          * Walk the current per-ag tree so we don't try to initialise AGs
187          * that already exist (growfs case). Allocate and insert all the
188          * AGs we don't find ready for initialisation.
189          */
190         for (index = 0; index < agcount; index++) {
191                 pag = xfs_perag_get(mp, index);
192                 if (pag) {
193                         xfs_perag_put(pag);
194                         continue;
195                 }
196
197                 pag = kmem_zalloc(sizeof(*pag), KM_MAYFAIL);
198                 if (!pag)
199                         goto out_unwind_new_pags;
200                 pag->pag_agno = index;
201                 pag->pag_mount = mp;
202                 spin_lock_init(&pag->pag_ici_lock);
203                 mutex_init(&pag->pag_ici_reclaim_lock);
204                 INIT_RADIX_TREE(&pag->pag_ici_root, GFP_ATOMIC);
205                 if (xfs_buf_hash_init(pag))
206                         goto out_free_pag;
207                 init_waitqueue_head(&pag->pagb_wait);
208                 spin_lock_init(&pag->pagb_lock);
209                 pag->pagb_count = 0;
210                 pag->pagb_tree = RB_ROOT;
211
212                 if (radix_tree_preload(GFP_NOFS))
213                         goto out_hash_destroy;
214
215                 spin_lock(&mp->m_perag_lock);
216                 if (radix_tree_insert(&mp->m_perag_tree, index, pag)) {
217                         WARN_ON_ONCE(1);
218                         spin_unlock(&mp->m_perag_lock);
219                         radix_tree_preload_end();
220                         error = -EEXIST;
221                         goto out_hash_destroy;
222                 }
223                 spin_unlock(&mp->m_perag_lock);
224                 radix_tree_preload_end();
225                 /* first new pag is fully initialized */
226                 if (first_initialised == NULLAGNUMBER)
227                         first_initialised = index;
228                 error = xfs_iunlink_init(pag);
229                 if (error)
230                         goto out_hash_destroy;
231                 spin_lock_init(&pag->pag_state_lock);
232         }
233
234         index = xfs_set_inode_alloc(mp, agcount);
235
236         if (maxagi)
237                 *maxagi = index;
238
239         mp->m_ag_prealloc_blocks = xfs_prealloc_blocks(mp);
240         return 0;
241
242 out_hash_destroy:
243         xfs_buf_hash_destroy(pag);
244 out_free_pag:
245         mutex_destroy(&pag->pag_ici_reclaim_lock);
246         kmem_free(pag);
247 out_unwind_new_pags:
248         /* unwind any prior newly initialized pags */
249         for (index = first_initialised; index < agcount; index++) {
250                 pag = radix_tree_delete(&mp->m_perag_tree, index);
251                 if (!pag)
252                         break;
253                 xfs_buf_hash_destroy(pag);
254                 xfs_iunlink_destroy(pag);
255                 mutex_destroy(&pag->pag_ici_reclaim_lock);
256                 kmem_free(pag);
257         }
258         return error;
259 }
260
261 /*
262  * xfs_readsb
263  *
264  * Does the initial read of the superblock.
265  */
266 int
267 xfs_readsb(
268         struct xfs_mount *mp,
269         int             flags)
270 {
271         unsigned int    sector_size;
272         struct xfs_buf  *bp;
273         struct xfs_sb   *sbp = &mp->m_sb;
274         int             error;
275         int             loud = !(flags & XFS_MFSI_QUIET);
276         const struct xfs_buf_ops *buf_ops;
277
278         ASSERT(mp->m_sb_bp == NULL);
279         ASSERT(mp->m_ddev_targp != NULL);
280
281         /*
282          * For the initial read, we must guess at the sector
283          * size based on the block device.  It's enough to
284          * get the sb_sectsize out of the superblock and
285          * then reread with the proper length.
286          * We don't verify it yet, because it may not be complete.
287          */
288         sector_size = xfs_getsize_buftarg(mp->m_ddev_targp);
289         buf_ops = NULL;
290
291         /*
292          * Allocate a (locked) buffer to hold the superblock. This will be kept
293          * around at all times to optimize access to the superblock. Therefore,
294          * set XBF_NO_IOACCT to make sure it doesn't hold the buftarg count
295          * elevated.
296          */
297 reread:
298         error = xfs_buf_read_uncached(mp->m_ddev_targp, XFS_SB_DADDR,
299                                       BTOBB(sector_size), XBF_NO_IOACCT, &bp,
300                                       buf_ops);
301         if (error) {
302                 if (loud)
303                         xfs_warn(mp, "SB validate failed with error %d.", error);
304                 /* bad CRC means corrupted metadata */
305                 if (error == -EFSBADCRC)
306                         error = -EFSCORRUPTED;
307                 return error;
308         }
309
310         /*
311          * Initialize the mount structure from the superblock.
312          */
313         xfs_sb_from_disk(sbp, XFS_BUF_TO_SBP(bp));
314
315         /*
316          * If we haven't validated the superblock, do so now before we try
317          * to check the sector size and reread the superblock appropriately.
318          */
319         if (sbp->sb_magicnum != XFS_SB_MAGIC) {
320                 if (loud)
321                         xfs_warn(mp, "Invalid superblock magic number");
322                 error = -EINVAL;
323                 goto release_buf;
324         }
325
326         /*
327          * We must be able to do sector-sized and sector-aligned IO.
328          */
329         if (sector_size > sbp->sb_sectsize) {
330                 if (loud)
331                         xfs_warn(mp, "device supports %u byte sectors (not %u)",
332                                 sector_size, sbp->sb_sectsize);
333                 error = -ENOSYS;
334                 goto release_buf;
335         }
336
337         if (buf_ops == NULL) {
338                 /*
339                  * Re-read the superblock so the buffer is correctly sized,
340                  * and properly verified.
341                  */
342                 xfs_buf_relse(bp);
343                 sector_size = sbp->sb_sectsize;
344                 buf_ops = loud ? &xfs_sb_buf_ops : &xfs_sb_quiet_buf_ops;
345                 goto reread;
346         }
347
348         xfs_reinit_percpu_counters(mp);
349
350         /* no need to be quiet anymore, so reset the buf ops */
351         bp->b_ops = &xfs_sb_buf_ops;
352
353         mp->m_sb_bp = bp;
354         xfs_buf_unlock(bp);
355         return 0;
356
357 release_buf:
358         xfs_buf_relse(bp);
359         return error;
360 }
361
362 /*
363  * Update alignment values based on mount options and sb values
364  */
365 STATIC int
366 xfs_update_alignment(xfs_mount_t *mp)
367 {
368         xfs_sb_t        *sbp = &(mp->m_sb);
369
370         if (mp->m_dalign) {
371                 /*
372                  * If stripe unit and stripe width are not multiples
373                  * of the fs blocksize turn off alignment.
374                  */
375                 if ((BBTOB(mp->m_dalign) & mp->m_blockmask) ||
376                     (BBTOB(mp->m_swidth) & mp->m_blockmask)) {
377                         xfs_warn(mp,
378                 "alignment check failed: sunit/swidth vs. blocksize(%d)",
379                                 sbp->sb_blocksize);
380                         return -EINVAL;
381                 } else {
382                         /*
383                          * Convert the stripe unit and width to FSBs.
384                          */
385                         mp->m_dalign = XFS_BB_TO_FSBT(mp, mp->m_dalign);
386                         if (mp->m_dalign && (sbp->sb_agblocks % mp->m_dalign)) {
387                                 xfs_warn(mp,
388                         "alignment check failed: sunit/swidth vs. agsize(%d)",
389                                          sbp->sb_agblocks);
390                                 return -EINVAL;
391                         } else if (mp->m_dalign) {
392                                 mp->m_swidth = XFS_BB_TO_FSBT(mp, mp->m_swidth);
393                         } else {
394                                 xfs_warn(mp,
395                         "alignment check failed: sunit(%d) less than bsize(%d)",
396                                          mp->m_dalign, sbp->sb_blocksize);
397                                 return -EINVAL;
398                         }
399                 }
400
401                 /*
402                  * Update superblock with new values
403                  * and log changes
404                  */
405                 if (xfs_sb_version_hasdalign(sbp)) {
406                         if (sbp->sb_unit != mp->m_dalign) {
407                                 sbp->sb_unit = mp->m_dalign;
408                                 mp->m_update_sb = true;
409                         }
410                         if (sbp->sb_width != mp->m_swidth) {
411                                 sbp->sb_width = mp->m_swidth;
412                                 mp->m_update_sb = true;
413                         }
414                 } else {
415                         xfs_warn(mp,
416         "cannot change alignment: superblock does not support data alignment");
417                         return -EINVAL;
418                 }
419         } else if ((mp->m_flags & XFS_MOUNT_NOALIGN) != XFS_MOUNT_NOALIGN &&
420                     xfs_sb_version_hasdalign(&mp->m_sb)) {
421                         mp->m_dalign = sbp->sb_unit;
422                         mp->m_swidth = sbp->sb_width;
423         }
424
425         return 0;
426 }
427
428 /*
429  * precalculate the low space thresholds for dynamic speculative preallocation.
430  */
431 void
432 xfs_set_low_space_thresholds(
433         struct xfs_mount        *mp)
434 {
435         int i;
436
437         for (i = 0; i < XFS_LOWSP_MAX; i++) {
438                 uint64_t space = mp->m_sb.sb_dblocks;
439
440                 do_div(space, 100);
441                 mp->m_low_space[i] = space * (i + 1);
442         }
443 }
444
445 /*
446  * Check that the data (and log if separate) is an ok size.
447  */
448 STATIC int
449 xfs_check_sizes(
450         struct xfs_mount *mp)
451 {
452         struct xfs_buf  *bp;
453         xfs_daddr_t     d;
454         int             error;
455
456         d = (xfs_daddr_t)XFS_FSB_TO_BB(mp, mp->m_sb.sb_dblocks);
457         if (XFS_BB_TO_FSB(mp, d) != mp->m_sb.sb_dblocks) {
458                 xfs_warn(mp, "filesystem size mismatch detected");
459                 return -EFBIG;
460         }
461         error = xfs_buf_read_uncached(mp->m_ddev_targp,
462                                         d - XFS_FSS_TO_BB(mp, 1),
463                                         XFS_FSS_TO_BB(mp, 1), 0, &bp, NULL);
464         if (error) {
465                 xfs_warn(mp, "last sector read failed");
466                 return error;
467         }
468         xfs_buf_relse(bp);
469
470         if (mp->m_logdev_targp == mp->m_ddev_targp)
471                 return 0;
472
473         d = (xfs_daddr_t)XFS_FSB_TO_BB(mp, mp->m_sb.sb_logblocks);
474         if (XFS_BB_TO_FSB(mp, d) != mp->m_sb.sb_logblocks) {
475                 xfs_warn(mp, "log size mismatch detected");
476                 return -EFBIG;
477         }
478         error = xfs_buf_read_uncached(mp->m_logdev_targp,
479                                         d - XFS_FSB_TO_BB(mp, 1),
480                                         XFS_FSB_TO_BB(mp, 1), 0, &bp, NULL);
481         if (error) {
482                 xfs_warn(mp, "log device read failed");
483                 return error;
484         }
485         xfs_buf_relse(bp);
486         return 0;
487 }
488
489 /*
490  * Clear the quotaflags in memory and in the superblock.
491  */
492 int
493 xfs_mount_reset_sbqflags(
494         struct xfs_mount        *mp)
495 {
496         mp->m_qflags = 0;
497
498         /* It is OK to look at sb_qflags in the mount path without m_sb_lock. */
499         if (mp->m_sb.sb_qflags == 0)
500                 return 0;
501         spin_lock(&mp->m_sb_lock);
502         mp->m_sb.sb_qflags = 0;
503         spin_unlock(&mp->m_sb_lock);
504
505         if (!xfs_fs_writable(mp, SB_FREEZE_WRITE))
506                 return 0;
507
508         return xfs_sync_sb(mp, false);
509 }
510
511 uint64_t
512 xfs_default_resblks(xfs_mount_t *mp)
513 {
514         uint64_t resblks;
515
516         /*
517          * We default to 5% or 8192 fsbs of space reserved, whichever is
518          * smaller.  This is intended to cover concurrent allocation
519          * transactions when we initially hit enospc. These each require a 4
520          * block reservation. Hence by default we cover roughly 2000 concurrent
521          * allocation reservations.
522          */
523         resblks = mp->m_sb.sb_dblocks;
524         do_div(resblks, 20);
525         resblks = min_t(uint64_t, resblks, 8192);
526         return resblks;
527 }
528
529 /* Ensure the summary counts are correct. */
530 STATIC int
531 xfs_check_summary_counts(
532         struct xfs_mount        *mp)
533 {
534         /*
535          * The AG0 superblock verifier rejects in-progress filesystems,
536          * so we should never see the flag set this far into mounting.
537          */
538         if (mp->m_sb.sb_inprogress) {
539                 xfs_err(mp, "sb_inprogress set after log recovery??");
540                 WARN_ON(1);
541                 return -EFSCORRUPTED;
542         }
543
544         /*
545          * Now the log is mounted, we know if it was an unclean shutdown or
546          * not. If it was, with the first phase of recovery has completed, we
547          * have consistent AG blocks on disk. We have not recovered EFIs yet,
548          * but they are recovered transactionally in the second recovery phase
549          * later.
550          *
551          * If the log was clean when we mounted, we can check the summary
552          * counters.  If any of them are obviously incorrect, we can recompute
553          * them from the AGF headers in the next step.
554          */
555         if (XFS_LAST_UNMOUNT_WAS_CLEAN(mp) &&
556             (mp->m_sb.sb_fdblocks > mp->m_sb.sb_dblocks ||
557              !xfs_verify_icount(mp, mp->m_sb.sb_icount) ||
558              mp->m_sb.sb_ifree > mp->m_sb.sb_icount))
559                 xfs_fs_mark_sick(mp, XFS_SICK_FS_COUNTERS);
560
561         /*
562          * We can safely re-initialise incore superblock counters from the
563          * per-ag data. These may not be correct if the filesystem was not
564          * cleanly unmounted, so we waited for recovery to finish before doing
565          * this.
566          *
567          * If the filesystem was cleanly unmounted or the previous check did
568          * not flag anything weird, then we can trust the values in the
569          * superblock to be correct and we don't need to do anything here.
570          * Otherwise, recalculate the summary counters.
571          */
572         if ((!xfs_sb_version_haslazysbcount(&mp->m_sb) ||
573              XFS_LAST_UNMOUNT_WAS_CLEAN(mp)) &&
574             !xfs_fs_has_sickness(mp, XFS_SICK_FS_COUNTERS))
575                 return 0;
576
577         return xfs_initialize_perag_data(mp, mp->m_sb.sb_agcount);
578 }
579
580 /*
581  * This function does the following on an initial mount of a file system:
582  *      - reads the superblock from disk and init the mount struct
583  *      - if we're a 32-bit kernel, do a size check on the superblock
584  *              so we don't mount terabyte filesystems
585  *      - init mount struct realtime fields
586  *      - allocate inode hash table for fs
587  *      - init directory manager
588  *      - perform recovery and init the log manager
589  */
590 int
591 xfs_mountfs(
592         struct xfs_mount        *mp)
593 {
594         struct xfs_sb           *sbp = &(mp->m_sb);
595         struct xfs_inode        *rip;
596         struct xfs_ino_geometry *igeo = M_IGEO(mp);
597         uint64_t                resblks;
598         uint                    quotamount = 0;
599         uint                    quotaflags = 0;
600         int                     error = 0;
601
602         xfs_sb_mount_common(mp, sbp);
603
604         /*
605          * Check for a mismatched features2 values.  Older kernels read & wrote
606          * into the wrong sb offset for sb_features2 on some platforms due to
607          * xfs_sb_t not being 64bit size aligned when sb_features2 was added,
608          * which made older superblock reading/writing routines swap it as a
609          * 64-bit value.
610          *
611          * For backwards compatibility, we make both slots equal.
612          *
613          * If we detect a mismatched field, we OR the set bits into the existing
614          * features2 field in case it has already been modified; we don't want
615          * to lose any features.  We then update the bad location with the ORed
616          * value so that older kernels will see any features2 flags. The
617          * superblock writeback code ensures the new sb_features2 is copied to
618          * sb_bad_features2 before it is logged or written to disk.
619          */
620         if (xfs_sb_has_mismatched_features2(sbp)) {
621                 xfs_warn(mp, "correcting sb_features alignment problem");
622                 sbp->sb_features2 |= sbp->sb_bad_features2;
623                 mp->m_update_sb = true;
624
625                 /*
626                  * Re-check for ATTR2 in case it was found in bad_features2
627                  * slot.
628                  */
629                 if (xfs_sb_version_hasattr2(&mp->m_sb) &&
630                    !(mp->m_flags & XFS_MOUNT_NOATTR2))
631                         mp->m_flags |= XFS_MOUNT_ATTR2;
632         }
633
634         if (xfs_sb_version_hasattr2(&mp->m_sb) &&
635            (mp->m_flags & XFS_MOUNT_NOATTR2)) {
636                 xfs_sb_version_removeattr2(&mp->m_sb);
637                 mp->m_update_sb = true;
638
639                 /* update sb_versionnum for the clearing of the morebits */
640                 if (!sbp->sb_features2)
641                         mp->m_update_sb = true;
642         }
643
644         /* always use v2 inodes by default now */
645         if (!(mp->m_sb.sb_versionnum & XFS_SB_VERSION_NLINKBIT)) {
646                 mp->m_sb.sb_versionnum |= XFS_SB_VERSION_NLINKBIT;
647                 mp->m_update_sb = true;
648         }
649
650         /*
651          * Check if sb_agblocks is aligned at stripe boundary
652          * If sb_agblocks is NOT aligned turn off m_dalign since
653          * allocator alignment is within an ag, therefore ag has
654          * to be aligned at stripe boundary.
655          */
656         error = xfs_update_alignment(mp);
657         if (error)
658                 goto out;
659
660         xfs_alloc_compute_maxlevels(mp);
661         xfs_bmap_compute_maxlevels(mp, XFS_DATA_FORK);
662         xfs_bmap_compute_maxlevels(mp, XFS_ATTR_FORK);
663         xfs_ialloc_setup_geometry(mp);
664         xfs_rmapbt_compute_maxlevels(mp);
665         xfs_refcountbt_compute_maxlevels(mp);
666
667         /* enable fail_at_unmount as default */
668         mp->m_fail_unmount = true;
669
670         error = xfs_sysfs_init(&mp->m_kobj, &xfs_mp_ktype,
671                                NULL, mp->m_super->s_id);
672         if (error)
673                 goto out;
674
675         error = xfs_sysfs_init(&mp->m_stats.xs_kobj, &xfs_stats_ktype,
676                                &mp->m_kobj, "stats");
677         if (error)
678                 goto out_remove_sysfs;
679
680         error = xfs_error_sysfs_init(mp);
681         if (error)
682                 goto out_del_stats;
683
684         error = xfs_errortag_init(mp);
685         if (error)
686                 goto out_remove_error_sysfs;
687
688         error = xfs_uuid_mount(mp);
689         if (error)
690                 goto out_remove_errortag;
691
692         /*
693          * Update the preferred write size based on the information from the
694          * on-disk superblock.
695          */
696         mp->m_allocsize_log =
697                 max_t(uint32_t, sbp->sb_blocklog, mp->m_allocsize_log);
698         mp->m_allocsize_blocks = 1U << (mp->m_allocsize_log - sbp->sb_blocklog);
699
700         /* set the low space thresholds for dynamic preallocation */
701         xfs_set_low_space_thresholds(mp);
702
703         /*
704          * If enabled, sparse inode chunk alignment is expected to match the
705          * cluster size. Full inode chunk alignment must match the chunk size,
706          * but that is checked on sb read verification...
707          */
708         if (xfs_sb_version_hassparseinodes(&mp->m_sb) &&
709             mp->m_sb.sb_spino_align !=
710                         XFS_B_TO_FSBT(mp, igeo->inode_cluster_size_raw)) {
711                 xfs_warn(mp,
712         "Sparse inode block alignment (%u) must match cluster size (%llu).",
713                          mp->m_sb.sb_spino_align,
714                          XFS_B_TO_FSBT(mp, igeo->inode_cluster_size_raw));
715                 error = -EINVAL;
716                 goto out_remove_uuid;
717         }
718
719         /*
720          * Check that the data (and log if separate) is an ok size.
721          */
722         error = xfs_check_sizes(mp);
723         if (error)
724                 goto out_remove_uuid;
725
726         /*
727          * Initialize realtime fields in the mount structure
728          */
729         error = xfs_rtmount_init(mp);
730         if (error) {
731                 xfs_warn(mp, "RT mount failed");
732                 goto out_remove_uuid;
733         }
734
735         /*
736          *  Copies the low order bits of the timestamp and the randomly
737          *  set "sequence" number out of a UUID.
738          */
739         mp->m_fixedfsid[0] =
740                 (get_unaligned_be16(&sbp->sb_uuid.b[8]) << 16) |
741                  get_unaligned_be16(&sbp->sb_uuid.b[4]);
742         mp->m_fixedfsid[1] = get_unaligned_be32(&sbp->sb_uuid.b[0]);
743
744         error = xfs_da_mount(mp);
745         if (error) {
746                 xfs_warn(mp, "Failed dir/attr init: %d", error);
747                 goto out_remove_uuid;
748         }
749
750         /*
751          * Initialize the precomputed transaction reservations values.
752          */
753         xfs_trans_init(mp);
754
755         /*
756          * Allocate and initialize the per-ag data.
757          */
758         error = xfs_initialize_perag(mp, sbp->sb_agcount, &mp->m_maxagi);
759         if (error) {
760                 xfs_warn(mp, "Failed per-ag init: %d", error);
761                 goto out_free_dir;
762         }
763
764         if (XFS_IS_CORRUPT(mp, !sbp->sb_logblocks)) {
765                 xfs_warn(mp, "no log defined");
766                 error = -EFSCORRUPTED;
767                 goto out_free_perag;
768         }
769
770         /*
771          * Log's mount-time initialization. The first part of recovery can place
772          * some items on the AIL, to be handled when recovery is finished or
773          * cancelled.
774          */
775         error = xfs_log_mount(mp, mp->m_logdev_targp,
776                               XFS_FSB_TO_DADDR(mp, sbp->sb_logstart),
777                               XFS_FSB_TO_BB(mp, sbp->sb_logblocks));
778         if (error) {
779                 xfs_warn(mp, "log mount failed");
780                 goto out_fail_wait;
781         }
782
783         /* Make sure the summary counts are ok. */
784         error = xfs_check_summary_counts(mp);
785         if (error)
786                 goto out_log_dealloc;
787
788         /*
789          * Get and sanity-check the root inode.
790          * Save the pointer to it in the mount structure.
791          */
792         error = xfs_iget(mp, NULL, sbp->sb_rootino, XFS_IGET_UNTRUSTED,
793                          XFS_ILOCK_EXCL, &rip);
794         if (error) {
795                 xfs_warn(mp,
796                         "Failed to read root inode 0x%llx, error %d",
797                         sbp->sb_rootino, -error);
798                 goto out_log_dealloc;
799         }
800
801         ASSERT(rip != NULL);
802
803         if (XFS_IS_CORRUPT(mp, !S_ISDIR(VFS_I(rip)->i_mode))) {
804                 xfs_warn(mp, "corrupted root inode %llu: not a directory",
805                         (unsigned long long)rip->i_ino);
806                 xfs_iunlock(rip, XFS_ILOCK_EXCL);
807                 error = -EFSCORRUPTED;
808                 goto out_rele_rip;
809         }
810         mp->m_rootip = rip;     /* save it */
811
812         xfs_iunlock(rip, XFS_ILOCK_EXCL);
813
814         /*
815          * Initialize realtime inode pointers in the mount structure
816          */
817         error = xfs_rtmount_inodes(mp);
818         if (error) {
819                 /*
820                  * Free up the root inode.
821                  */
822                 xfs_warn(mp, "failed to read RT inodes");
823                 goto out_rele_rip;
824         }
825
826         /*
827          * If this is a read-only mount defer the superblock updates until
828          * the next remount into writeable mode.  Otherwise we would never
829          * perform the update e.g. for the root filesystem.
830          */
831         if (mp->m_update_sb && !(mp->m_flags & XFS_MOUNT_RDONLY)) {
832                 error = xfs_sync_sb(mp, false);
833                 if (error) {
834                         xfs_warn(mp, "failed to write sb changes");
835                         goto out_rtunmount;
836                 }
837         }
838
839         /*
840          * Initialise the XFS quota management subsystem for this mount
841          */
842         if (XFS_IS_QUOTA_RUNNING(mp)) {
843                 error = xfs_qm_newmount(mp, &quotamount, &quotaflags);
844                 if (error)
845                         goto out_rtunmount;
846         } else {
847                 ASSERT(!XFS_IS_QUOTA_ON(mp));
848
849                 /*
850                  * If a file system had quotas running earlier, but decided to
851                  * mount without -o uquota/pquota/gquota options, revoke the
852                  * quotachecked license.
853                  */
854                 if (mp->m_sb.sb_qflags & XFS_ALL_QUOTA_ACCT) {
855                         xfs_notice(mp, "resetting quota flags");
856                         error = xfs_mount_reset_sbqflags(mp);
857                         if (error)
858                                 goto out_rtunmount;
859                 }
860         }
861
862         /*
863          * Finish recovering the file system.  This part needed to be delayed
864          * until after the root and real-time bitmap inodes were consistently
865          * read in.
866          */
867         error = xfs_log_mount_finish(mp);
868         if (error) {
869                 xfs_warn(mp, "log mount finish failed");
870                 goto out_rtunmount;
871         }
872
873         /*
874          * Now the log is fully replayed, we can transition to full read-only
875          * mode for read-only mounts. This will sync all the metadata and clean
876          * the log so that the recovery we just performed does not have to be
877          * replayed again on the next mount.
878          *
879          * We use the same quiesce mechanism as the rw->ro remount, as they are
880          * semantically identical operations.
881          */
882         if ((mp->m_flags & (XFS_MOUNT_RDONLY|XFS_MOUNT_NORECOVERY)) ==
883                                                         XFS_MOUNT_RDONLY) {
884                 xfs_quiesce_attr(mp);
885         }
886
887         /*
888          * Complete the quota initialisation, post-log-replay component.
889          */
890         if (quotamount) {
891                 ASSERT(mp->m_qflags == 0);
892                 mp->m_qflags = quotaflags;
893
894                 xfs_qm_mount_quotas(mp);
895         }
896
897         /*
898          * Now we are mounted, reserve a small amount of unused space for
899          * privileged transactions. This is needed so that transaction
900          * space required for critical operations can dip into this pool
901          * when at ENOSPC. This is needed for operations like create with
902          * attr, unwritten extent conversion at ENOSPC, etc. Data allocations
903          * are not allowed to use this reserved space.
904          *
905          * This may drive us straight to ENOSPC on mount, but that implies
906          * we were already there on the last unmount. Warn if this occurs.
907          */
908         if (!(mp->m_flags & XFS_MOUNT_RDONLY)) {
909                 resblks = xfs_default_resblks(mp);
910                 error = xfs_reserve_blocks(mp, &resblks, NULL);
911                 if (error)
912                         xfs_warn(mp,
913         "Unable to allocate reserve blocks. Continuing without reserve pool.");
914
915                 /* Recover any CoW blocks that never got remapped. */
916                 error = xfs_reflink_recover_cow(mp);
917                 if (error) {
918                         xfs_err(mp,
919         "Error %d recovering leftover CoW allocations.", error);
920                         xfs_force_shutdown(mp, SHUTDOWN_CORRUPT_INCORE);
921                         goto out_quota;
922                 }
923
924                 /* Reserve AG blocks for future btree expansion. */
925                 error = xfs_fs_reserve_ag_blocks(mp);
926                 if (error && error != -ENOSPC)
927                         goto out_agresv;
928         }
929
930         return 0;
931
932  out_agresv:
933         xfs_fs_unreserve_ag_blocks(mp);
934  out_quota:
935         xfs_qm_unmount_quotas(mp);
936  out_rtunmount:
937         xfs_rtunmount_inodes(mp);
938  out_rele_rip:
939         xfs_irele(rip);
940         /* Clean out dquots that might be in memory after quotacheck. */
941         xfs_qm_unmount(mp);
942         /*
943          * Cancel all delayed reclaim work and reclaim the inodes directly.
944          * We have to do this /after/ rtunmount and qm_unmount because those
945          * two will have scheduled delayed reclaim for the rt/quota inodes.
946          *
947          * This is slightly different from the unmountfs call sequence
948          * because we could be tearing down a partially set up mount.  In
949          * particular, if log_mount_finish fails we bail out without calling
950          * qm_unmount_quotas and therefore rely on qm_unmount to release the
951          * quota inodes.
952          */
953         cancel_delayed_work_sync(&mp->m_reclaim_work);
954         xfs_reclaim_inodes(mp, SYNC_WAIT);
955         xfs_health_unmount(mp);
956  out_log_dealloc:
957         mp->m_flags |= XFS_MOUNT_UNMOUNTING;
958         xfs_log_mount_cancel(mp);
959  out_fail_wait:
960         if (mp->m_logdev_targp && mp->m_logdev_targp != mp->m_ddev_targp)
961                 xfs_wait_buftarg(mp->m_logdev_targp);
962         xfs_wait_buftarg(mp->m_ddev_targp);
963  out_free_perag:
964         xfs_free_perag(mp);
965  out_free_dir:
966         xfs_da_unmount(mp);
967  out_remove_uuid:
968         xfs_uuid_unmount(mp);
969  out_remove_errortag:
970         xfs_errortag_del(mp);
971  out_remove_error_sysfs:
972         xfs_error_sysfs_del(mp);
973  out_del_stats:
974         xfs_sysfs_del(&mp->m_stats.xs_kobj);
975  out_remove_sysfs:
976         xfs_sysfs_del(&mp->m_kobj);
977  out:
978         return error;
979 }
980
981 /*
982  * This flushes out the inodes,dquots and the superblock, unmounts the
983  * log and makes sure that incore structures are freed.
984  */
985 void
986 xfs_unmountfs(
987         struct xfs_mount        *mp)
988 {
989         uint64_t                resblks;
990         int                     error;
991
992         xfs_stop_block_reaping(mp);
993         xfs_fs_unreserve_ag_blocks(mp);
994         xfs_qm_unmount_quotas(mp);
995         xfs_rtunmount_inodes(mp);
996         xfs_irele(mp->m_rootip);
997
998         /*
999          * We can potentially deadlock here if we have an inode cluster
1000          * that has been freed has its buffer still pinned in memory because
1001          * the transaction is still sitting in a iclog. The stale inodes
1002          * on that buffer will have their flush locks held until the
1003          * transaction hits the disk and the callbacks run. the inode
1004          * flush takes the flush lock unconditionally and with nothing to
1005          * push out the iclog we will never get that unlocked. hence we
1006          * need to force the log first.
1007          */
1008         xfs_log_force(mp, XFS_LOG_SYNC);
1009
1010         /*
1011          * Wait for all busy extents to be freed, including completion of
1012          * any discard operation.
1013          */
1014         xfs_extent_busy_wait_all(mp);
1015         flush_workqueue(xfs_discard_wq);
1016
1017         /*
1018          * We now need to tell the world we are unmounting. This will allow
1019          * us to detect that the filesystem is going away and we should error
1020          * out anything that we have been retrying in the background. This will
1021          * prevent neverending retries in AIL pushing from hanging the unmount.
1022          */
1023         mp->m_flags |= XFS_MOUNT_UNMOUNTING;
1024
1025         /*
1026          * Flush all pending changes from the AIL.
1027          */
1028         xfs_ail_push_all_sync(mp->m_ail);
1029
1030         /*
1031          * And reclaim all inodes.  At this point there should be no dirty
1032          * inodes and none should be pinned or locked, but use synchronous
1033          * reclaim just to be sure. We can stop background inode reclaim
1034          * here as well if it is still running.
1035          */
1036         cancel_delayed_work_sync(&mp->m_reclaim_work);
1037         xfs_reclaim_inodes(mp, SYNC_WAIT);
1038         xfs_health_unmount(mp);
1039
1040         xfs_qm_unmount(mp);
1041
1042         /*
1043          * Unreserve any blocks we have so that when we unmount we don't account
1044          * the reserved free space as used. This is really only necessary for
1045          * lazy superblock counting because it trusts the incore superblock
1046          * counters to be absolutely correct on clean unmount.
1047          *
1048          * We don't bother correcting this elsewhere for lazy superblock
1049          * counting because on mount of an unclean filesystem we reconstruct the
1050          * correct counter value and this is irrelevant.
1051          *
1052          * For non-lazy counter filesystems, this doesn't matter at all because
1053          * we only every apply deltas to the superblock and hence the incore
1054          * value does not matter....
1055          */
1056         resblks = 0;
1057         error = xfs_reserve_blocks(mp, &resblks, NULL);
1058         if (error)
1059                 xfs_warn(mp, "Unable to free reserved block pool. "
1060                                 "Freespace may not be correct on next mount.");
1061
1062         error = xfs_log_sbcount(mp);
1063         if (error)
1064                 xfs_warn(mp, "Unable to update superblock counters. "
1065                                 "Freespace may not be correct on next mount.");
1066
1067
1068         xfs_log_unmount(mp);
1069         xfs_da_unmount(mp);
1070         xfs_uuid_unmount(mp);
1071
1072 #if defined(DEBUG)
1073         xfs_errortag_clearall(mp);
1074 #endif
1075         xfs_free_perag(mp);
1076
1077         xfs_errortag_del(mp);
1078         xfs_error_sysfs_del(mp);
1079         xfs_sysfs_del(&mp->m_stats.xs_kobj);
1080         xfs_sysfs_del(&mp->m_kobj);
1081 }
1082
1083 /*
1084  * Determine whether modifications can proceed. The caller specifies the minimum
1085  * freeze level for which modifications should not be allowed. This allows
1086  * certain operations to proceed while the freeze sequence is in progress, if
1087  * necessary.
1088  */
1089 bool
1090 xfs_fs_writable(
1091         struct xfs_mount        *mp,
1092         int                     level)
1093 {
1094         ASSERT(level > SB_UNFROZEN);
1095         if ((mp->m_super->s_writers.frozen >= level) ||
1096             XFS_FORCED_SHUTDOWN(mp) || (mp->m_flags & XFS_MOUNT_RDONLY))
1097                 return false;
1098
1099         return true;
1100 }
1101
1102 /*
1103  * xfs_log_sbcount
1104  *
1105  * Sync the superblock counters to disk.
1106  *
1107  * Note this code can be called during the process of freezing, so we use the
1108  * transaction allocator that does not block when the transaction subsystem is
1109  * in its frozen state.
1110  */
1111 int
1112 xfs_log_sbcount(xfs_mount_t *mp)
1113 {
1114         /* allow this to proceed during the freeze sequence... */
1115         if (!xfs_fs_writable(mp, SB_FREEZE_COMPLETE))
1116                 return 0;
1117
1118         /*
1119          * we don't need to do this if we are updating the superblock
1120          * counters on every modification.
1121          */
1122         if (!xfs_sb_version_haslazysbcount(&mp->m_sb))
1123                 return 0;
1124
1125         return xfs_sync_sb(mp, true);
1126 }
1127
1128 /*
1129  * Deltas for the inode count are +/-64, hence we use a large batch size
1130  * of 128 so we don't need to take the counter lock on every update.
1131  */
1132 #define XFS_ICOUNT_BATCH        128
1133 int
1134 xfs_mod_icount(
1135         struct xfs_mount        *mp,
1136         int64_t                 delta)
1137 {
1138         percpu_counter_add_batch(&mp->m_icount, delta, XFS_ICOUNT_BATCH);
1139         if (__percpu_counter_compare(&mp->m_icount, 0, XFS_ICOUNT_BATCH) < 0) {
1140                 ASSERT(0);
1141                 percpu_counter_add(&mp->m_icount, -delta);
1142                 return -EINVAL;
1143         }
1144         return 0;
1145 }
1146
1147 int
1148 xfs_mod_ifree(
1149         struct xfs_mount        *mp,
1150         int64_t                 delta)
1151 {
1152         percpu_counter_add(&mp->m_ifree, delta);
1153         if (percpu_counter_compare(&mp->m_ifree, 0) < 0) {
1154                 ASSERT(0);
1155                 percpu_counter_add(&mp->m_ifree, -delta);
1156                 return -EINVAL;
1157         }
1158         return 0;
1159 }
1160
1161 /*
1162  * Deltas for the block count can vary from 1 to very large, but lock contention
1163  * only occurs on frequent small block count updates such as in the delayed
1164  * allocation path for buffered writes (page a time updates). Hence we set
1165  * a large batch count (1024) to minimise global counter updates except when
1166  * we get near to ENOSPC and we have to be very accurate with our updates.
1167  */
1168 #define XFS_FDBLOCKS_BATCH      1024
1169 int
1170 xfs_mod_fdblocks(
1171         struct xfs_mount        *mp,
1172         int64_t                 delta,
1173         bool                    rsvd)
1174 {
1175         int64_t                 lcounter;
1176         long long               res_used;
1177         s32                     batch;
1178
1179         if (delta > 0) {
1180                 /*
1181                  * If the reserve pool is depleted, put blocks back into it
1182                  * first. Most of the time the pool is full.
1183                  */
1184                 if (likely(mp->m_resblks == mp->m_resblks_avail)) {
1185                         percpu_counter_add(&mp->m_fdblocks, delta);
1186                         return 0;
1187                 }
1188
1189                 spin_lock(&mp->m_sb_lock);
1190                 res_used = (long long)(mp->m_resblks - mp->m_resblks_avail);
1191
1192                 if (res_used > delta) {
1193                         mp->m_resblks_avail += delta;
1194                 } else {
1195                         delta -= res_used;
1196                         mp->m_resblks_avail = mp->m_resblks;
1197                         percpu_counter_add(&mp->m_fdblocks, delta);
1198                 }
1199                 spin_unlock(&mp->m_sb_lock);
1200                 return 0;
1201         }
1202
1203         /*
1204          * Taking blocks away, need to be more accurate the closer we
1205          * are to zero.
1206          *
1207          * If the counter has a value of less than 2 * max batch size,
1208          * then make everything serialise as we are real close to
1209          * ENOSPC.
1210          */
1211         if (__percpu_counter_compare(&mp->m_fdblocks, 2 * XFS_FDBLOCKS_BATCH,
1212                                      XFS_FDBLOCKS_BATCH) < 0)
1213                 batch = 1;
1214         else
1215                 batch = XFS_FDBLOCKS_BATCH;
1216
1217         percpu_counter_add_batch(&mp->m_fdblocks, delta, batch);
1218         if (__percpu_counter_compare(&mp->m_fdblocks, mp->m_alloc_set_aside,
1219                                      XFS_FDBLOCKS_BATCH) >= 0) {
1220                 /* we had space! */
1221                 return 0;
1222         }
1223
1224         /*
1225          * lock up the sb for dipping into reserves before releasing the space
1226          * that took us to ENOSPC.
1227          */
1228         spin_lock(&mp->m_sb_lock);
1229         percpu_counter_add(&mp->m_fdblocks, -delta);
1230         if (!rsvd)
1231                 goto fdblocks_enospc;
1232
1233         lcounter = (long long)mp->m_resblks_avail + delta;
1234         if (lcounter >= 0) {
1235                 mp->m_resblks_avail = lcounter;
1236                 spin_unlock(&mp->m_sb_lock);
1237                 return 0;
1238         }
1239         printk_once(KERN_WARNING
1240                 "Filesystem \"%s\": reserve blocks depleted! "
1241                 "Consider increasing reserve pool size.",
1242                 mp->m_super->s_id);
1243 fdblocks_enospc:
1244         spin_unlock(&mp->m_sb_lock);
1245         return -ENOSPC;
1246 }
1247
1248 int
1249 xfs_mod_frextents(
1250         struct xfs_mount        *mp,
1251         int64_t                 delta)
1252 {
1253         int64_t                 lcounter;
1254         int                     ret = 0;
1255
1256         spin_lock(&mp->m_sb_lock);
1257         lcounter = mp->m_sb.sb_frextents + delta;
1258         if (lcounter < 0)
1259                 ret = -ENOSPC;
1260         else
1261                 mp->m_sb.sb_frextents = lcounter;
1262         spin_unlock(&mp->m_sb_lock);
1263         return ret;
1264 }
1265
1266 /*
1267  * xfs_getsb() is called to obtain the buffer for the superblock.
1268  * The buffer is returned locked and read in from disk.
1269  * The buffer should be released with a call to xfs_brelse().
1270  */
1271 struct xfs_buf *
1272 xfs_getsb(
1273         struct xfs_mount        *mp)
1274 {
1275         struct xfs_buf          *bp = mp->m_sb_bp;
1276
1277         xfs_buf_lock(bp);
1278         xfs_buf_hold(bp);
1279         ASSERT(bp->b_flags & XBF_DONE);
1280         return bp;
1281 }
1282
1283 /*
1284  * Used to free the superblock along various error paths.
1285  */
1286 void
1287 xfs_freesb(
1288         struct xfs_mount        *mp)
1289 {
1290         struct xfs_buf          *bp = mp->m_sb_bp;
1291
1292         xfs_buf_lock(bp);
1293         mp->m_sb_bp = NULL;
1294         xfs_buf_relse(bp);
1295 }
1296
1297 /*
1298  * If the underlying (data/log/rt) device is readonly, there are some
1299  * operations that cannot proceed.
1300  */
1301 int
1302 xfs_dev_is_read_only(
1303         struct xfs_mount        *mp,
1304         char                    *message)
1305 {
1306         if (xfs_readonly_buftarg(mp->m_ddev_targp) ||
1307             xfs_readonly_buftarg(mp->m_logdev_targp) ||
1308             (mp->m_rtdev_targp && xfs_readonly_buftarg(mp->m_rtdev_targp))) {
1309                 xfs_notice(mp, "%s required on read-only device.", message);
1310                 xfs_notice(mp, "write access unavailable, cannot proceed.");
1311                 return -EROFS;
1312         }
1313         return 0;
1314 }
1315
1316 /* Force the summary counters to be recalculated at next mount. */
1317 void
1318 xfs_force_summary_recalc(
1319         struct xfs_mount        *mp)
1320 {
1321         if (!xfs_sb_version_haslazysbcount(&mp->m_sb))
1322                 return;
1323
1324         xfs_fs_mark_sick(mp, XFS_SICK_FS_COUNTERS);
1325 }
1326
1327 /*
1328  * Update the in-core delayed block counter.
1329  *
1330  * We prefer to update the counter without having to take a spinlock for every
1331  * counter update (i.e. batching).  Each change to delayed allocation
1332  * reservations can change can easily exceed the default percpu counter
1333  * batching, so we use a larger batch factor here.
1334  *
1335  * Note that we don't currently have any callers requiring fast summation
1336  * (e.g. percpu_counter_read) so we can use a big batch value here.
1337  */
1338 #define XFS_DELALLOC_BATCH      (4096)
1339 void
1340 xfs_mod_delalloc(
1341         struct xfs_mount        *mp,
1342         int64_t                 delta)
1343 {
1344         percpu_counter_add_batch(&mp->m_delalloc_blks, delta,
1345                         XFS_DELALLOC_BATCH);
1346 }