fs/nfsd/nfssvc.c

   1 /*
   2  * Central processing for nfsd.
   3  *
   4  * Authors:     Olaf Kirch (okir@monad.swb.de)
   5  *
   6  * Copyright (C) 1995, 1996, 1997 Olaf Kirch <okir@monad.swb.de>
   7  */
   8
   9 #include <linux/sched/signal.h>
  10 #include <linux/freezer.h>
  11 #include <linux/module.h>
  12 #include <linux/fs_struct.h>
  13 #include <linux/swap.h>
  14
  15 #include <linux/sunrpc/stats.h>
  16 #include <linux/sunrpc/svcsock.h>
  17 #include <linux/sunrpc/svc_xprt.h>
  18 #include <linux/lockd/bind.h>
  19 #include <linux/nfsacl.h>
  20 #include <linux/seq_file.h>
  21 #include <linux/inetdevice.h>
  22 #include <net/addrconf.h>
  23 #include <net/ipv6.h>
  24 #include <net/net_namespace.h>
  25 #include "nfsd.h"
  26 #include "cache.h"
  27 #include "vfs.h"
  28 #include "netns.h"
  29
  30 #define NFSDDBG_FACILITY        NFSDDBG_SVC
  31
  32 extern struct svc_program       nfsd_program;
  33 static int                      nfsd(void *vrqstp);
  34
  35 /*
  36  * nfsd_mutex protects nn->nfsd_serv -- both the pointer itself and the members
  37  * of the svc_serv struct. In particular, ->sv_nrthreads but also to some
  38  * extent ->sv_temp_socks and ->sv_permsocks. It also protects nfsdstats.th_cnt
  39  *
  40  * If (out side the lock) nn->nfsd_serv is non-NULL, then it must point to a
  41  * properly initialised 'struct svc_serv' with ->sv_nrthreads > 0. That number
  42  * of nfsd threads must exist and each must listed in ->sp_all_threads in each
  43  * entry of ->sv_pools[].
  44  *
  45  * Transitions of the thread count between zero and non-zero are of particular
  46  * interest since the svc_serv needs to be created and initialized at that
  47  * point, or freed.
  48  *
  49  * Finally, the nfsd_mutex also protects some of the global variables that are
  50  * accessed when nfsd starts and that are settable via the write_* routines in
  51  * nfsctl.c. In particular:
  52  *
  53  *      user_recovery_dirname
  54  *      user_lease_time
  55  *      nfsd_versions
  56  */
  57 DEFINE_MUTEX(nfsd_mutex);
  58
  59 /*
  60  * nfsd_drc_lock protects nfsd_drc_max_pages and nfsd_drc_pages_used.
  61  * nfsd_drc_max_pages limits the total amount of memory available for
  62  * version 4.1 DRC caches.
  63  * nfsd_drc_pages_used tracks the current version 4.1 DRC memory usage.
  64  */
  65 spinlock_t      nfsd_drc_lock;
  66 unsigned long   nfsd_drc_max_mem;
  67 unsigned long   nfsd_drc_mem_used;
  68
  69 #if defined(CONFIG_NFSD_V2_ACL) || defined(CONFIG_NFSD_V3_ACL)
  70 static struct svc_stat  nfsd_acl_svcstats;
  71 static struct svc_version *     nfsd_acl_version[] = {
  72         [2] = &nfsd_acl_version2,
  73         [3] = &nfsd_acl_version3,
  74 };
  75
  76 #define NFSD_ACL_MINVERS            2
  77 #define NFSD_ACL_NRVERS         ARRAY_SIZE(nfsd_acl_version)
  78 static struct svc_version *nfsd_acl_versions[NFSD_ACL_NRVERS];
  79
  80 static struct svc_program       nfsd_acl_program = {
  81         .pg_prog                = NFS_ACL_PROGRAM,
  82         .pg_nvers               = NFSD_ACL_NRVERS,
  83         .pg_vers                = nfsd_acl_versions,
  84         .pg_name                = "nfsacl",
  85         .pg_class               = "nfsd",
  86         .pg_stats               = &nfsd_acl_svcstats,
  87         .pg_authenticate        = &svc_set_client,
  88 };
  89
  90 static struct svc_stat  nfsd_acl_svcstats = {
  91         .program        = &nfsd_acl_program,
  92 };
  93 #endif /* defined(CONFIG_NFSD_V2_ACL) || defined(CONFIG_NFSD_V3_ACL) */
  94
  95 static struct svc_version *     nfsd_version[] = {
  96         [2] = &nfsd_version2,
  97 #if defined(CONFIG_NFSD_V3)
  98         [3] = &nfsd_version3,
  99 #endif
 100 #if defined(CONFIG_NFSD_V4)
 101         [4] = &nfsd_version4,
 102 #endif
 103 };
 104
 105 #define NFSD_MINVERS            2
 106 #define NFSD_NRVERS             ARRAY_SIZE(nfsd_version)
 107 static struct svc_version *nfsd_versions[NFSD_NRVERS];
 108
 109 struct svc_program              nfsd_program = {
 110 #if defined(CONFIG_NFSD_V2_ACL) || defined(CONFIG_NFSD_V3_ACL)
 111         .pg_next                = &nfsd_acl_program,
 112 #endif
 113         .pg_prog                = NFS_PROGRAM,          /* program number */
 114         .pg_nvers               = NFSD_NRVERS,          /* nr of entries in nfsd_version */
 115         .pg_vers                = nfsd_versions,        /* version table */
 116         .pg_name                = "nfsd",               /* program name */
 117         .pg_class               = "nfsd",               /* authentication class */
 118         .pg_stats               = &nfsd_svcstats,       /* version table */
 119         .pg_authenticate        = &svc_set_client,      /* export authentication */
 120
 121 };
 122
 123 static bool nfsd_supported_minorversions[NFSD_SUPPORTED_MINOR_VERSION + 1] = {
 124         [0] = 1,
 125         [1] = 1,
 126         [2] = 1,
 127 };
 128
 129 int nfsd_vers(int vers, enum vers_op change)
 130 {
 131         if (vers < NFSD_MINVERS || vers >= NFSD_NRVERS)
 132                 return 0;
 133         switch(change) {
 134         case NFSD_SET:
 135                 nfsd_versions[vers] = nfsd_version[vers];
 136 #if defined(CONFIG_NFSD_V2_ACL) || defined(CONFIG_NFSD_V3_ACL)
 137                 if (vers < NFSD_ACL_NRVERS)
 138                         nfsd_acl_versions[vers] = nfsd_acl_version[vers];
 139 #endif
 140                 break;
 141         case NFSD_CLEAR:
 142                 nfsd_versions[vers] = NULL;
 143 #if defined(CONFIG_NFSD_V2_ACL) || defined(CONFIG_NFSD_V3_ACL)
 144                 if (vers < NFSD_ACL_NRVERS)
 145                         nfsd_acl_versions[vers] = NULL;
 146 #endif
 147                 break;
 148         case NFSD_TEST:
 149                 return nfsd_versions[vers] != NULL;
 150         case NFSD_AVAIL:
 151                 return nfsd_version[vers] != NULL;
 152         }
 153         return 0;
 154 }
 155
 156 static void
 157 nfsd_adjust_nfsd_versions4(void)
 158 {
 159         unsigned i;
 160
 161         for (i = 0; i <= NFSD_SUPPORTED_MINOR_VERSION; i++) {
 162                 if (nfsd_supported_minorversions[i])
 163                         return;
 164         }
 165         nfsd_vers(4, NFSD_CLEAR);
 166 }
 167
 168 int nfsd_minorversion(u32 minorversion, enum vers_op change)
 169 {
 170         if (minorversion > NFSD_SUPPORTED_MINOR_VERSION &&
 171             change != NFSD_AVAIL)
 172                 return -1;
 173         switch(change) {
 174         case NFSD_SET:
 175                 nfsd_supported_minorversions[minorversion] = true;
 176                 nfsd_vers(4, NFSD_SET);
 177                 break;
 178         case NFSD_CLEAR:
 179                 nfsd_supported_minorversions[minorversion] = false;
 180                 nfsd_adjust_nfsd_versions4();
 181                 break;
 182         case NFSD_TEST:
 183                 return nfsd_supported_minorversions[minorversion];
 184         case NFSD_AVAIL:
 185                 return minorversion <= NFSD_SUPPORTED_MINOR_VERSION;
 186         }
 187         return 0;
 188 }
 189
 190 /*
 191  * Maximum number of nfsd processes
 192  */
 193 #define NFSD_MAXSERVS           8192
 194
 195 int nfsd_nrthreads(struct net *net)
 196 {
 197         int rv = 0;
 198         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 199
 200         mutex_lock(&nfsd_mutex);
 201         if (nn->nfsd_serv)
 202                 rv = nn->nfsd_serv->sv_nrthreads;
 203         mutex_unlock(&nfsd_mutex);
 204         return rv;
 205 }
 206
 207 static int nfsd_init_socks(struct net *net)
 208 {
 209         int error;
 210         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 211
 212         if (!list_empty(&nn->nfsd_serv->sv_permsocks))
 213                 return 0;
 214
 215         error = svc_create_xprt(nn->nfsd_serv, "udp", net, PF_INET, NFS_PORT,
 216                                         SVC_SOCK_DEFAULTS);
 217         if (error < 0)
 218                 return error;
 219
 220         error = svc_create_xprt(nn->nfsd_serv, "tcp", net, PF_INET, NFS_PORT,
 221                                         SVC_SOCK_DEFAULTS);
 222         if (error < 0)
 223                 return error;
 224
 225         return 0;
 226 }
 227
 228 static int nfsd_users = 0;
 229
 230 static int nfsd_startup_generic(int nrservs)
 231 {
 232         int ret;
 233
 234         if (nfsd_users++)
 235                 return 0;
 236
 237         /*
 238          * Readahead param cache - will no-op if it already exists.
 239          * (Note therefore results will be suboptimal if number of
 240          * threads is modified after nfsd start.)
 241          */
 242         ret = nfsd_racache_init(2*nrservs);
 243         if (ret)
 244                 goto dec_users;
 245
 246         ret = nfs4_state_start();
 247         if (ret)
 248                 goto out_racache;
 249         return 0;
 250
 251 out_racache:
 252         nfsd_racache_shutdown();
 253 dec_users:
 254         nfsd_users--;
 255         return ret;
 256 }
 257
 258 static void nfsd_shutdown_generic(void)
 259 {
 260         if (--nfsd_users)
 261                 return;
 262
 263         nfs4_state_shutdown();
 264         nfsd_racache_shutdown();
 265 }
 266
 267 static bool nfsd_needs_lockd(void)
 268 {
 269 #if defined(CONFIG_NFSD_V3)
 270         return (nfsd_versions[2] != NULL) || (nfsd_versions[3] != NULL);
 271 #else
 272         return (nfsd_versions[2] != NULL);
 273 #endif
 274 }
 275
 276 static int nfsd_startup_net(int nrservs, struct net *net)
 277 {
 278         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 279         int ret;
 280
 281         if (nn->nfsd_net_up)
 282                 return 0;
 283
 284         ret = nfsd_startup_generic(nrservs);
 285         if (ret)
 286                 return ret;
 287         ret = nfsd_init_socks(net);
 288         if (ret)
 289                 goto out_socks;
 290
 291         if (nfsd_needs_lockd() && !nn->lockd_up) {
 292                 ret = lockd_up(net);
 293                 if (ret)
 294                         goto out_socks;
 295                 nn->lockd_up = 1;
 296         }
 297
 298         ret = nfs4_state_start_net(net);
 299         if (ret)
 300                 goto out_lockd;
 301
 302         nn->nfsd_net_up = true;
 303         return 0;
 304
 305 out_lockd:
 306         if (nn->lockd_up) {
 307                 lockd_down(net);
 308                 nn->lockd_up = 0;
 309         }
 310 out_socks:
 311         nfsd_shutdown_generic();
 312         return ret;
 313 }
 314
 315 static void nfsd_shutdown_net(struct net *net)
 316 {
 317         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 318
 319         nfs4_state_shutdown_net(net);
 320         if (nn->lockd_up) {
 321                 lockd_down(net);
 322                 nn->lockd_up = 0;
 323         }
 324         nn->nfsd_net_up = false;
 325         nfsd_shutdown_generic();
 326 }
 327
 328 static int nfsd_inetaddr_event(struct notifier_block *this, unsigned long event,
 329         void *ptr)
 330 {
 331         struct in_ifaddr *ifa = (struct in_ifaddr *)ptr;
 332         struct net_device *dev = ifa->ifa_dev->dev;
 333         struct net *net = dev_net(dev);
 334         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 335         struct sockaddr_in sin;
 336
 337         if (event != NETDEV_DOWN)
 338                 goto out;
 339
 340         if (nn->nfsd_serv) {
 341                 dprintk("nfsd_inetaddr_event: removed %pI4\n", &ifa->ifa_local);
 342                 sin.sin_family = AF_INET;
 343                 sin.sin_addr.s_addr = ifa->ifa_local;
 344                 svc_age_temp_xprts_now(nn->nfsd_serv, (struct sockaddr *)&sin);
 345         }
 346
 347 out:
 348         return NOTIFY_DONE;
 349 }
 350
 351 static struct notifier_block nfsd_inetaddr_notifier = {
 352         .notifier_call = nfsd_inetaddr_event,
 353 };
 354
 355 #if IS_ENABLED(CONFIG_IPV6)
 356 static int nfsd_inet6addr_event(struct notifier_block *this,
 357         unsigned long event, void *ptr)
 358 {
 359         struct inet6_ifaddr *ifa = (struct inet6_ifaddr *)ptr;
 360         struct net_device *dev = ifa->idev->dev;
 361         struct net *net = dev_net(dev);
 362         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 363         struct sockaddr_in6 sin6;
 364
 365         if (event != NETDEV_DOWN)
 366                 goto out;
 367
 368         if (nn->nfsd_serv) {
 369                 dprintk("nfsd_inet6addr_event: removed %pI6\n", &ifa->addr);
 370                 sin6.sin6_family = AF_INET6;
 371                 sin6.sin6_addr = ifa->addr;
 372                 if (ipv6_addr_type(&sin6.sin6_addr) & IPV6_ADDR_LINKLOCAL)
 373                         sin6.sin6_scope_id = ifa->idev->dev->ifindex;
 374                 svc_age_temp_xprts_now(nn->nfsd_serv, (struct sockaddr *)&sin6);
 375         }
 376
 377 out:
 378         return NOTIFY_DONE;
 379 }
 380
 381 static struct notifier_block nfsd_inet6addr_notifier = {
 382         .notifier_call = nfsd_inet6addr_event,
 383 };
 384 #endif
 385
 386 /* Only used under nfsd_mutex, so this atomic may be overkill: */
 387 static atomic_t nfsd_notifier_refcount = ATOMIC_INIT(0);
 388
 389 static void nfsd_last_thread(struct svc_serv *serv, struct net *net)
 390 {
 391         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 392
 393         /* check if the notifier still has clients */
 394         if (atomic_dec_return(&nfsd_notifier_refcount) == 0) {
 395                 unregister_inetaddr_notifier(&nfsd_inetaddr_notifier);
 396 #if IS_ENABLED(CONFIG_IPV6)
 397                 unregister_inet6addr_notifier(&nfsd_inet6addr_notifier);
 398 #endif
 399         }
 400
 401         /*
 402          * write_ports can create the server without actually starting
 403          * any threads--if we get shut down before any threads are
 404          * started, then nfsd_last_thread will be run before any of this
 405          * other initialization has been done except the rpcb information.
 406          */
 407         svc_rpcb_cleanup(serv, net);
 408         if (!nn->nfsd_net_up)
 409                 return;
 410
 411         nfsd_shutdown_net(net);
 412         printk(KERN_WARNING "nfsd: last server has exited, flushing export "
 413                             "cache\n");
 414         nfsd_export_flush(net);
 415 }
 416
 417 void nfsd_reset_versions(void)
 418 {
 419         int found_one = 0;
 420         int i;
 421
 422         for (i = NFSD_MINVERS; i < NFSD_NRVERS; i++) {
 423                 if (nfsd_program.pg_vers[i])
 424                         found_one = 1;
 425         }
 426
 427         if (!found_one) {
 428                 for (i = NFSD_MINVERS; i < NFSD_NRVERS; i++)
 429                         nfsd_program.pg_vers[i] = nfsd_version[i];
 430 #if defined(CONFIG_NFSD_V2_ACL) || defined(CONFIG_NFSD_V3_ACL)
 431                 for (i = NFSD_ACL_MINVERS; i < NFSD_ACL_NRVERS; i++)
 432                         nfsd_acl_program.pg_vers[i] =
 433                                 nfsd_acl_version[i];
 434 #endif
 435         }
 436 }
 437
 438 /*
 439  * Each session guarantees a negotiated per slot memory cache for replies
 440  * which in turn consumes memory beyond the v2/v3/v4.0 server. A dedicated
 441  * NFSv4.1 server might want to use more memory for a DRC than a machine
 442  * with mutiple services.
 443  *
 444  * Impose a hard limit on the number of pages for the DRC which varies
 445  * according to the machines free pages. This is of course only a default.
 446  *
 447  * For now this is a #defined shift which could be under admin control
 448  * in the future.
 449  */
 450 static void set_max_drc(void)
 451 {
 452         #define NFSD_DRC_SIZE_SHIFT     10
 453         nfsd_drc_max_mem = (nr_free_buffer_pages()
 454                                         >> NFSD_DRC_SIZE_SHIFT) * PAGE_SIZE;
 455         nfsd_drc_mem_used = 0;
 456         spin_lock_init(&nfsd_drc_lock);
 457         dprintk("%s nfsd_drc_max_mem %lu \n", __func__, nfsd_drc_max_mem);
 458 }
 459
 460 static int nfsd_get_default_max_blksize(void)
 461 {
 462         struct sysinfo i;
 463         unsigned long long target;
 464         unsigned long ret;
 465
 466         si_meminfo(&i);
 467         target = (i.totalram - i.totalhigh) << PAGE_SHIFT;
 468         /*
 469          * Aim for 1/4096 of memory per thread This gives 1MB on 4Gig
 470          * machines, but only uses 32K on 128M machines.  Bottom out at
 471          * 8K on 32M and smaller.  Of course, this is only a default.
 472          */
 473         target >>= 12;
 474
 475         ret = NFSSVC_MAXBLKSIZE;
 476         while (ret > target && ret >= 8*1024*2)
 477                 ret /= 2;
 478         return ret;
 479 }
 480
 481 static struct svc_serv_ops nfsd_thread_sv_ops = {
 482         .svo_shutdown           = nfsd_last_thread,
 483         .svo_function           = nfsd,
 484         .svo_enqueue_xprt       = svc_xprt_do_enqueue,
 485         .svo_setup              = svc_set_num_threads,
 486         .svo_module             = THIS_MODULE,
 487 };
 488
 489 int nfsd_create_serv(struct net *net)
 490 {
 491         int error;
 492         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 493
 494         WARN_ON(!mutex_is_locked(&nfsd_mutex));
 495         if (nn->nfsd_serv) {
 496                 svc_get(nn->nfsd_serv);
 497                 return 0;
 498         }
 499         if (nfsd_max_blksize == 0)
 500                 nfsd_max_blksize = nfsd_get_default_max_blksize();
 501         nfsd_reset_versions();
 502         nn->nfsd_serv = svc_create_pooled(&nfsd_program, nfsd_max_blksize,
 503                                                 &nfsd_thread_sv_ops);
 504         if (nn->nfsd_serv == NULL)
 505                 return -ENOMEM;
 506
 507         nn->nfsd_serv->sv_maxconn = nn->max_connections;
 508         error = svc_bind(nn->nfsd_serv, net);
 509         if (error < 0) {
 510                 svc_destroy(nn->nfsd_serv);
 511                 return error;
 512         }
 513
 514         set_max_drc();
 515         /* check if the notifier is already set */
 516         if (atomic_inc_return(&nfsd_notifier_refcount) == 1) {
 517                 register_inetaddr_notifier(&nfsd_inetaddr_notifier);
 518 #if IS_ENABLED(CONFIG_IPV6)
 519                 register_inet6addr_notifier(&nfsd_inet6addr_notifier);
 520 #endif
 521         }
 522         do_gettimeofday(&nn->nfssvc_boot);              /* record boot time */
 523         return 0;
 524 }
 525
 526 int nfsd_nrpools(struct net *net)
 527 {
 528         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 529
 530         if (nn->nfsd_serv == NULL)
 531                 return 0;
 532         else
 533                 return nn->nfsd_serv->sv_nrpools;
 534 }
 535
 536 int nfsd_get_nrthreads(int n, int *nthreads, struct net *net)
 537 {
 538         int i = 0;
 539         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 540
 541         if (nn->nfsd_serv != NULL) {
 542                 for (i = 0; i < nn->nfsd_serv->sv_nrpools && i < n; i++)
 543                         nthreads[i] = nn->nfsd_serv->sv_pools[i].sp_nrthreads;
 544         }
 545
 546         return 0;
 547 }
 548
 549 void nfsd_destroy(struct net *net)
 550 {
 551         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 552         int destroy = (nn->nfsd_serv->sv_nrthreads == 1);
 553
 554         if (destroy)
 555                 svc_shutdown_net(nn->nfsd_serv, net);
 556         svc_destroy(nn->nfsd_serv);
 557         if (destroy)
 558                 nn->nfsd_serv = NULL;
 559 }
 560
 561 int nfsd_set_nrthreads(int n, int *nthreads, struct net *net)
 562 {
 563         int i = 0;
 564         int tot = 0;
 565         int err = 0;
 566         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 567
 568         WARN_ON(!mutex_is_locked(&nfsd_mutex));
 569
 570         if (nn->nfsd_serv == NULL || n <= 0)
 571                 return 0;
 572
 573         if (n > nn->nfsd_serv->sv_nrpools)
 574                 n = nn->nfsd_serv->sv_nrpools;
 575
 576         /* enforce a global maximum number of threads */
 577         tot = 0;
 578         for (i = 0; i < n; i++) {
 579                 nthreads[i] = min(nthreads[i], NFSD_MAXSERVS);
 580                 tot += nthreads[i];
 581         }
 582         if (tot > NFSD_MAXSERVS) {
 583                 /* total too large: scale down requested numbers */
 584                 for (i = 0; i < n && tot > 0; i++) {
 585                         int new = nthreads[i] * NFSD_MAXSERVS / tot;
 586                         tot -= (nthreads[i] - new);
 587                         nthreads[i] = new;
 588                 }
 589                 for (i = 0; i < n && tot > 0; i++) {
 590                         nthreads[i]--;
 591                         tot--;
 592                 }
 593         }
 594
 595         /*
 596          * There must always be a thread in pool 0; the admin
 597          * can't shut down NFS completely using pool_threads.
 598          */
 599         if (nthreads[0] == 0)
 600                 nthreads[0] = 1;
 601
 602         /* apply the new numbers */
 603         svc_get(nn->nfsd_serv);
 604         for (i = 0; i < n; i++) {
 605                 err = nn->nfsd_serv->sv_ops->svo_setup(nn->nfsd_serv,
 606                                 &nn->nfsd_serv->sv_pools[i], nthreads[i]);
 607                 if (err)
 608                         break;
 609         }
 610         nfsd_destroy(net);
 611         return err;
 612 }
 613
 614 /*
 615  * Adjust the number of threads and return the new number of threads.
 616  * This is also the function that starts the server if necessary, if
 617  * this is the first time nrservs is nonzero.
 618  */
 619 int
 620 nfsd_svc(int nrservs, struct net *net)
 621 {
 622         int     error;
 623         bool    nfsd_up_before;
 624         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 625
 626         mutex_lock(&nfsd_mutex);
 627         dprintk("nfsd: creating service\n");
 628
 629         nrservs = max(nrservs, 0);
 630         nrservs = min(nrservs, NFSD_MAXSERVS);
 631         error = 0;
 632
 633         if (nrservs == 0 && nn->nfsd_serv == NULL)
 634                 goto out;
 635
 636         error = nfsd_create_serv(net);
 637         if (error)
 638                 goto out;
 639
 640         nfsd_up_before = nn->nfsd_net_up;
 641
 642         error = nfsd_startup_net(nrservs, net);
 643         if (error)
 644                 goto out_destroy;
 645         error = nn->nfsd_serv->sv_ops->svo_setup(nn->nfsd_serv,
 646                         NULL, nrservs);
 647         if (error)
 648                 goto out_shutdown;
 649         /* We are holding a reference to nn->nfsd_serv which
 650          * we don't want to count in the return value,
 651          * so subtract 1
 652          */
 653         error = nn->nfsd_serv->sv_nrthreads - 1;
 654 out_shutdown:
 655         if (error < 0 && !nfsd_up_before)
 656                 nfsd_shutdown_net(net);
 657 out_destroy:
 658         nfsd_destroy(net);              /* Release server */
 659 out:
 660         mutex_unlock(&nfsd_mutex);
 661         return error;
 662 }
 663
 664
 665 /*
 666  * This is the NFS server kernel thread
 667  */
 668 static int
 669 nfsd(void *vrqstp)
 670 {
 671         struct svc_rqst *rqstp = (struct svc_rqst *) vrqstp;
 672         struct svc_xprt *perm_sock = list_entry(rqstp->rq_server->sv_permsocks.next, typeof(struct svc_xprt), xpt_list);
 673         struct net *net = perm_sock->xpt_net;
 674         struct nfsd_net *nn = net_generic(net, nfsd_net_id);
 675         int err;
 676
 677         /* Lock module and set up kernel thread */
 678         mutex_lock(&nfsd_mutex);
 679
 680         /* At this point, the thread shares current->fs
 681          * with the init process. We need to create files with the
 682          * umask as defined by the client instead of init's umask. */
 683         if (unshare_fs_struct() < 0) {
 684                 printk("Unable to start nfsd thread: out of memory\n");
 685                 goto out;
 686         }
 687
 688         current->fs->umask = 0;
 689
 690         /*
 691          * thread is spawned with all signals set to SIG_IGN, re-enable
 692          * the ones that will bring down the thread
 693          */
 694         allow_signal(SIGKILL);
 695         allow_signal(SIGHUP);
 696         allow_signal(SIGINT);
 697         allow_signal(SIGQUIT);
 698
 699         nfsdstats.th_cnt++;
 700         mutex_unlock(&nfsd_mutex);
 701
 702         set_freezable();
 703
 704         /*
 705          * The main request loop
 706          */
 707         for (;;) {
 708                 /* Update sv_maxconn if it has changed */
 709                 rqstp->rq_server->sv_maxconn = nn->max_connections;
 710
 711                 /*
 712                  * Find a socket with data available and call its
 713                  * recvfrom routine.
 714                  */
 715                 while ((err = svc_recv(rqstp, 60*60*HZ)) == -EAGAIN)
 716                         ;
 717                 if (err == -EINTR)
 718                         break;
 719                 validate_process_creds();
 720                 svc_process(rqstp);
 721                 validate_process_creds();
 722         }
 723
 724         /* Clear signals before calling svc_exit_thread() */
 725         flush_signals(current);
 726
 727         mutex_lock(&nfsd_mutex);
 728         nfsdstats.th_cnt --;
 729
 730 out:
 731         rqstp->rq_server = NULL;
 732
 733         /* Release the thread */
 734         svc_exit_thread(rqstp);
 735
 736         nfsd_destroy(net);
 737
 738         /* Release module */
 739         mutex_unlock(&nfsd_mutex);
 740         module_put_and_exit(0);
 741         return 0;
 742 }
 743
 744 static __be32 map_new_errors(u32 vers, __be32 nfserr)
 745 {
 746         if (nfserr == nfserr_jukebox && vers == 2)
 747                 return nfserr_dropit;
 748         if (nfserr == nfserr_wrongsec && vers < 4)
 749                 return nfserr_acces;
 750         return nfserr;
 751 }
 752
 753 int
 754 nfsd_dispatch(struct svc_rqst *rqstp, __be32 *statp)
 755 {
 756         struct svc_procedure    *proc;
 757         kxdrproc_t              xdr;
 758         __be32                  nfserr;
 759         __be32                  *nfserrp;
 760
 761         dprintk("nfsd_dispatch: vers %d proc %d\n",
 762                                 rqstp->rq_vers, rqstp->rq_proc);
 763         proc = rqstp->rq_procinfo;
 764
 765         /*
 766          * Give the xdr decoder a chance to change this if it wants
 767          * (necessary in the NFSv4.0 compound case)
 768          */
 769         rqstp->rq_cachetype = proc->pc_cachetype;
 770         /* Decode arguments */
 771         xdr = proc->pc_decode;
 772         if (xdr && !xdr(rqstp, (__be32*)rqstp->rq_arg.head[0].iov_base,
 773                         rqstp->rq_argp)) {
 774                 dprintk("nfsd: failed to decode arguments!\n");
 775                 *statp = rpc_garbage_args;
 776                 return 1;
 777         }
 778
 779         /* Check whether we have this call in the cache. */
 780         switch (nfsd_cache_lookup(rqstp)) {
 781         case RC_DROPIT:
 782                 return 0;
 783         case RC_REPLY:
 784                 return 1;
 785         case RC_DOIT:;
 786                 /* do it */
 787         }
 788
 789         /* need to grab the location to store the status, as
 790          * nfsv4 does some encoding while processing
 791          */
 792         nfserrp = rqstp->rq_res.head[0].iov_base
 793                 + rqstp->rq_res.head[0].iov_len;
 794         rqstp->rq_res.head[0].iov_len += sizeof(__be32);
 795
 796         /* Now call the procedure handler, and encode NFS status. */
 797         nfserr = proc->pc_func(rqstp, rqstp->rq_argp, rqstp->rq_resp);
 798         nfserr = map_new_errors(rqstp->rq_vers, nfserr);
 799         if (nfserr == nfserr_dropit || test_bit(RQ_DROPME, &rqstp->rq_flags)) {
 800                 dprintk("nfsd: Dropping request; may be revisited later\n");
 801                 nfsd_cache_update(rqstp, RC_NOCACHE, NULL);
 802                 return 0;
 803         }
 804
 805         if (rqstp->rq_proc != 0)
 806                 *nfserrp++ = nfserr;
 807
 808         /* Encode result.
 809          * For NFSv2, additional info is never returned in case of an error.
 810          */
 811         if (!(nfserr && rqstp->rq_vers == 2)) {
 812                 xdr = proc->pc_encode;
 813                 if (xdr && !xdr(rqstp, nfserrp,
 814                                 rqstp->rq_resp)) {
 815                         /* Failed to encode result. Release cache entry */
 816                         dprintk("nfsd: failed to encode result!\n");
 817                         nfsd_cache_update(rqstp, RC_NOCACHE, NULL);
 818                         *statp = rpc_system_err;
 819                         return 1;
 820                 }
 821         }
 822
 823         /* Store reply in cache. */
 824         nfsd_cache_update(rqstp, rqstp->rq_cachetype, statp + 1);
 825         return 1;
 826 }
 827
 828 int nfsd_pool_stats_open(struct inode *inode, struct file *file)
 829 {
 830         int ret;
 831         struct nfsd_net *nn = net_generic(inode->i_sb->s_fs_info, nfsd_net_id);
 832
 833         mutex_lock(&nfsd_mutex);
 834         if (nn->nfsd_serv == NULL) {
 835                 mutex_unlock(&nfsd_mutex);
 836                 return -ENODEV;
 837         }
 838         /* bump up the psudo refcount while traversing */
 839         svc_get(nn->nfsd_serv);
 840         ret = svc_pool_stats_open(nn->nfsd_serv, file);
 841         mutex_unlock(&nfsd_mutex);
 842         return ret;
 843 }
 844
 845 int nfsd_pool_stats_release(struct inode *inode, struct file *file)
 846 {
 847         int ret = seq_release(inode, file);
 848         struct net *net = inode->i_sb->s_fs_info;
 849
 850         mutex_lock(&nfsd_mutex);
 851         /* this function really, really should have been called svc_put() */
 852         nfsd_destroy(net);
 853         mutex_unlock(&nfsd_mutex);
 854         return ret;
 855 }