fs/fcntl.c

   1 /*
   2  *  linux/fs/fcntl.c
   3  *
   4  *  Copyright (C) 1991, 1992  Linus Torvalds
   5  */
   6
   7 #include <linux/syscalls.h>
   8 #include <linux/init.h>
   9 #include <linux/mm.h>
  10 #include <linux/sched/task.h>
  11 #include <linux/fs.h>
  12 #include <linux/file.h>
  13 #include <linux/fdtable.h>
  14 #include <linux/capability.h>
  15 #include <linux/dnotify.h>
  16 #include <linux/slab.h>
  17 #include <linux/module.h>
  18 #include <linux/pipe_fs_i.h>
  19 #include <linux/security.h>
  20 #include <linux/ptrace.h>
  21 #include <linux/signal.h>
  22 #include <linux/rcupdate.h>
  23 #include <linux/pid_namespace.h>
  24 #include <linux/user_namespace.h>
  25 #include <linux/shmem_fs.h>
  26 #include <linux/compat.h>
  27
  28 #include <asm/poll.h>
  29 #include <asm/siginfo.h>
  30 #include <linux/uaccess.h>
  31
  32 #define SETFL_MASK (O_APPEND | O_NONBLOCK | O_NDELAY | O_DIRECT | O_NOATIME)
  33
  34 static int setfl(int fd, struct file * filp, unsigned long arg)
  35 {
  36         struct inode * inode = file_inode(filp);
  37         int error = 0;
  38
  39         /*
  40          * O_APPEND cannot be cleared if the file is marked as append-only
  41          * and the file is open for write.
  42          */
  43         if (((arg ^ filp->f_flags) & O_APPEND) && IS_APPEND(inode))
  44                 return -EPERM;
  45
  46         /* O_NOATIME can only be set by the owner or superuser */
  47         if ((arg & O_NOATIME) && !(filp->f_flags & O_NOATIME))
  48                 if (!inode_owner_or_capable(inode))
  49                         return -EPERM;
  50
  51         /* required for strict SunOS emulation */
  52         if (O_NONBLOCK != O_NDELAY)
  53                if (arg & O_NDELAY)
  54                    arg |= O_NONBLOCK;
  55
  56         /* Pipe packetized mode is controlled by O_DIRECT flag */
  57         if (!S_ISFIFO(inode->i_mode) && (arg & O_DIRECT)) {
  58                 if (!filp->f_mapping || !filp->f_mapping->a_ops ||
  59                         !filp->f_mapping->a_ops->direct_IO)
  60                                 return -EINVAL;
  61         }
  62
  63         if (filp->f_op->check_flags)
  64                 error = filp->f_op->check_flags(arg);
  65         if (error)
  66                 return error;
  67
  68         /*
  69          * ->fasync() is responsible for setting the FASYNC bit.
  70          */
  71         if (((arg ^ filp->f_flags) & FASYNC) && filp->f_op->fasync) {
  72                 error = filp->f_op->fasync(fd, filp, (arg & FASYNC) != 0);
  73                 if (error < 0)
  74                         goto out;
  75                 if (error > 0)
  76                         error = 0;
  77         }
  78         spin_lock(&filp->f_lock);
  79         filp->f_flags = (arg & SETFL_MASK) | (filp->f_flags & ~SETFL_MASK);
  80         spin_unlock(&filp->f_lock);
  81
  82  out:
  83         return error;
  84 }
  85
  86 static void f_modown(struct file *filp, struct pid *pid, enum pid_type type,
  87                      int force)
  88 {
  89         write_lock_irq(&filp->f_owner.lock);
  90         if (force || !filp->f_owner.pid) {
  91                 put_pid(filp->f_owner.pid);
  92                 filp->f_owner.pid = get_pid(pid);
  93                 filp->f_owner.pid_type = type;
  94
  95                 if (pid) {
  96                         const struct cred *cred = current_cred();
  97                         filp->f_owner.uid = cred->uid;
  98                         filp->f_owner.euid = cred->euid;
  99                 }
 100         }
 101         write_unlock_irq(&filp->f_owner.lock);
 102 }
 103
 104 void __f_setown(struct file *filp, struct pid *pid, enum pid_type type,
 105                 int force)
 106 {
 107         security_file_set_fowner(filp);
 108         f_modown(filp, pid, type, force);
 109 }
 110 EXPORT_SYMBOL(__f_setown);
 111
 112 int f_setown(struct file *filp, unsigned long arg, int force)
 113 {
 114         enum pid_type type;
 115         struct pid *pid;
 116         int who = arg;
 117         type = PIDTYPE_PID;
 118         if (who < 0) {
 119                 /* avoid overflow below */
 120                 if (who == INT_MIN)
 121                         return -EINVAL;
 122
 123                 type = PIDTYPE_PGID;
 124                 who = -who;
 125         }
 126         rcu_read_lock();
 127         pid = find_vpid(who);
 128         __f_setown(filp, pid, type, force);
 129         rcu_read_unlock();
 130
 131         return 0;
 132 }
 133 EXPORT_SYMBOL(f_setown);
 134
 135 void f_delown(struct file *filp)
 136 {
 137         f_modown(filp, NULL, PIDTYPE_PID, 1);
 138 }
 139
 140 pid_t f_getown(struct file *filp)
 141 {
 142         pid_t pid;
 143         read_lock(&filp->f_owner.lock);
 144         pid = pid_vnr(filp->f_owner.pid);
 145         if (filp->f_owner.pid_type == PIDTYPE_PGID)
 146                 pid = -pid;
 147         read_unlock(&filp->f_owner.lock);
 148         return pid;
 149 }
 150
 151 static int f_setown_ex(struct file *filp, unsigned long arg)
 152 {
 153         struct f_owner_ex __user *owner_p = (void __user *)arg;
 154         struct f_owner_ex owner;
 155         struct pid *pid;
 156         int type;
 157         int ret;
 158
 159         ret = copy_from_user(&owner, owner_p, sizeof(owner));
 160         if (ret)
 161                 return -EFAULT;
 162
 163         switch (owner.type) {
 164         case F_OWNER_TID:
 165                 type = PIDTYPE_MAX;
 166                 break;
 167
 168         case F_OWNER_PID:
 169                 type = PIDTYPE_PID;
 170                 break;
 171
 172         case F_OWNER_PGRP:
 173                 type = PIDTYPE_PGID;
 174                 break;
 175
 176         default:
 177                 return -EINVAL;
 178         }
 179
 180         rcu_read_lock();
 181         pid = find_vpid(owner.pid);
 182         if (owner.pid && !pid)
 183                 ret = -ESRCH;
 184         else
 185                  __f_setown(filp, pid, type, 1);
 186         rcu_read_unlock();
 187
 188         return ret;
 189 }
 190
 191 static int f_getown_ex(struct file *filp, unsigned long arg)
 192 {
 193         struct f_owner_ex __user *owner_p = (void __user *)arg;
 194         struct f_owner_ex owner;
 195         int ret = 0;
 196
 197         read_lock(&filp->f_owner.lock);
 198         owner.pid = pid_vnr(filp->f_owner.pid);
 199         switch (filp->f_owner.pid_type) {
 200         case PIDTYPE_MAX:
 201                 owner.type = F_OWNER_TID;
 202                 break;
 203
 204         case PIDTYPE_PID:
 205                 owner.type = F_OWNER_PID;
 206                 break;
 207
 208         case PIDTYPE_PGID:
 209                 owner.type = F_OWNER_PGRP;
 210                 break;
 211
 212         default:
 213                 WARN_ON(1);
 214                 ret = -EINVAL;
 215                 break;
 216         }
 217         read_unlock(&filp->f_owner.lock);
 218
 219         if (!ret) {
 220                 ret = copy_to_user(owner_p, &owner, sizeof(owner));
 221                 if (ret)
 222                         ret = -EFAULT;
 223         }
 224         return ret;
 225 }
 226
 227 #ifdef CONFIG_CHECKPOINT_RESTORE
 228 static int f_getowner_uids(struct file *filp, unsigned long arg)
 229 {
 230         struct user_namespace *user_ns = current_user_ns();
 231         uid_t __user *dst = (void __user *)arg;
 232         uid_t src[2];
 233         int err;
 234
 235         read_lock(&filp->f_owner.lock);
 236         src[0] = from_kuid(user_ns, filp->f_owner.uid);
 237         src[1] = from_kuid(user_ns, filp->f_owner.euid);
 238         read_unlock(&filp->f_owner.lock);
 239
 240         err  = put_user(src[0], &dst[0]);
 241         err |= put_user(src[1], &dst[1]);
 242
 243         return err;
 244 }
 245 #else
 246 static int f_getowner_uids(struct file *filp, unsigned long arg)
 247 {
 248         return -EINVAL;
 249 }
 250 #endif
 251
 252 static long do_fcntl(int fd, unsigned int cmd, unsigned long arg,
 253                 struct file *filp)
 254 {
 255         void __user *argp = (void __user *)arg;
 256         struct flock flock;
 257         long err = -EINVAL;
 258
 259         switch (cmd) {
 260         case F_DUPFD:
 261                 err = f_dupfd(arg, filp, 0);
 262                 break;
 263         case F_DUPFD_CLOEXEC:
 264                 err = f_dupfd(arg, filp, O_CLOEXEC);
 265                 break;
 266         case F_GETFD:
 267                 err = get_close_on_exec(fd) ? FD_CLOEXEC : 0;
 268                 break;
 269         case F_SETFD:
 270                 err = 0;
 271                 set_close_on_exec(fd, arg & FD_CLOEXEC);
 272                 break;
 273         case F_GETFL:
 274                 err = filp->f_flags;
 275                 break;
 276         case F_SETFL:
 277                 err = setfl(fd, filp, arg);
 278                 break;
 279 #if BITS_PER_LONG != 32
 280         /* 32-bit arches must use fcntl64() */
 281         case F_OFD_GETLK:
 282 #endif
 283         case F_GETLK:
 284                 if (copy_from_user(&flock, argp, sizeof(flock)))
 285                         return -EFAULT;
 286                 err = fcntl_getlk(filp, cmd, &flock);
 287                 if (!err && copy_to_user(argp, &flock, sizeof(flock)))
 288                         return -EFAULT;
 289                 break;
 290 #if BITS_PER_LONG != 32
 291         /* 32-bit arches must use fcntl64() */
 292         case F_OFD_SETLK:
 293         case F_OFD_SETLKW:
 294 #endif
 295                 /* Fallthrough */
 296         case F_SETLK:
 297         case F_SETLKW:
 298                 if (copy_from_user(&flock, argp, sizeof(flock)))
 299                         return -EFAULT;
 300                 err = fcntl_setlk(fd, filp, cmd, &flock);
 301                 break;
 302         case F_GETOWN:
 303                 /*
 304                  * XXX If f_owner is a process group, the
 305                  * negative return value will get converted
 306                  * into an error.  Oops.  If we keep the
 307                  * current syscall conventions, the only way
 308                  * to fix this will be in libc.
 309                  */
 310                 err = f_getown(filp);
 311                 force_successful_syscall_return();
 312                 break;
 313         case F_SETOWN:
 314                 err = f_setown(filp, arg, 1);
 315                 break;
 316         case F_GETOWN_EX:
 317                 err = f_getown_ex(filp, arg);
 318                 break;
 319         case F_SETOWN_EX:
 320                 err = f_setown_ex(filp, arg);
 321                 break;
 322         case F_GETOWNER_UIDS:
 323                 err = f_getowner_uids(filp, arg);
 324                 break;
 325         case F_GETSIG:
 326                 err = filp->f_owner.signum;
 327                 break;
 328         case F_SETSIG:
 329                 /* arg == 0 restores default behaviour. */
 330                 if (!valid_signal(arg)) {
 331                         break;
 332                 }
 333                 err = 0;
 334                 filp->f_owner.signum = arg;
 335                 break;
 336         case F_GETLEASE:
 337                 err = fcntl_getlease(filp);
 338                 break;
 339         case F_SETLEASE:
 340                 err = fcntl_setlease(fd, filp, arg);
 341                 break;
 342         case F_NOTIFY:
 343                 err = fcntl_dirnotify(fd, filp, arg);
 344                 break;
 345         case F_SETPIPE_SZ:
 346         case F_GETPIPE_SZ:
 347                 err = pipe_fcntl(filp, cmd, arg);
 348                 break;
 349         case F_ADD_SEALS:
 350         case F_GET_SEALS:
 351                 err = shmem_fcntl(filp, cmd, arg);
 352                 break;
 353         default:
 354                 break;
 355         }
 356         return err;
 357 }
 358
 359 static int check_fcntl_cmd(unsigned cmd)
 360 {
 361         switch (cmd) {
 362         case F_DUPFD:
 363         case F_DUPFD_CLOEXEC:
 364         case F_GETFD:
 365         case F_SETFD:
 366         case F_GETFL:
 367                 return 1;
 368         }
 369         return 0;
 370 }
 371
 372 SYSCALL_DEFINE3(fcntl, unsigned int, fd, unsigned int, cmd, unsigned long, arg)
 373 {
 374         struct fd f = fdget_raw(fd);
 375         long err = -EBADF;
 376
 377         if (!f.file)
 378                 goto out;
 379
 380         if (unlikely(f.file->f_mode & FMODE_PATH)) {
 381                 if (!check_fcntl_cmd(cmd))
 382                         goto out1;
 383         }
 384
 385         err = security_file_fcntl(f.file, cmd, arg);
 386         if (!err)
 387                 err = do_fcntl(fd, cmd, arg, f.file);
 388
 389 out1:
 390         fdput(f);
 391 out:
 392         return err;
 393 }
 394
 395 #if BITS_PER_LONG == 32
 396 SYSCALL_DEFINE3(fcntl64, unsigned int, fd, unsigned int, cmd,
 397                 unsigned long, arg)
 398 {
 399         void __user *argp = (void __user *)arg;
 400         struct fd f = fdget_raw(fd);
 401         struct flock64 flock;
 402         long err = -EBADF;
 403
 404         if (!f.file)
 405                 goto out;
 406
 407         if (unlikely(f.file->f_mode & FMODE_PATH)) {
 408                 if (!check_fcntl_cmd(cmd))
 409                         goto out1;
 410         }
 411
 412         err = security_file_fcntl(f.file, cmd, arg);
 413         if (err)
 414                 goto out1;
 415
 416         switch (cmd) {
 417         case F_GETLK64:
 418         case F_OFD_GETLK:
 419                 err = -EFAULT;
 420                 if (copy_from_user(&flock, argp, sizeof(flock)))
 421                         break;
 422                 err = fcntl_getlk64(f.file, cmd, &flock);
 423                 if (!err && copy_to_user(argp, &flock, sizeof(flock)))
 424                         err = -EFAULT;
 425                 break;
 426         case F_SETLK64:
 427         case F_SETLKW64:
 428         case F_OFD_SETLK:
 429         case F_OFD_SETLKW:
 430                 err = -EFAULT;
 431                 if (copy_from_user(&flock, argp, sizeof(flock)))
 432                         break;
 433                 err = fcntl_setlk64(fd, f.file, cmd, &flock);
 434                 break;
 435         default:
 436                 err = do_fcntl(fd, cmd, arg, f.file);
 437                 break;
 438         }
 439 out1:
 440         fdput(f);
 441 out:
 442         return err;
 443 }
 444 #endif
 445
 446 #ifdef CONFIG_COMPAT
 447 static int get_compat_flock(struct flock *kfl, struct compat_flock __user *ufl)
 448 {
 449         if (!access_ok(VERIFY_READ, ufl, sizeof(*ufl)) ||
 450             __get_user(kfl->l_type, &ufl->l_type) ||
 451             __get_user(kfl->l_whence, &ufl->l_whence) ||
 452             __get_user(kfl->l_start, &ufl->l_start) ||
 453             __get_user(kfl->l_len, &ufl->l_len) ||
 454             __get_user(kfl->l_pid, &ufl->l_pid))
 455                 return -EFAULT;
 456         return 0;
 457 }
 458
 459 static int put_compat_flock(struct flock *kfl, struct compat_flock __user *ufl)
 460 {
 461         if (!access_ok(VERIFY_WRITE, ufl, sizeof(*ufl)) ||
 462             __put_user(kfl->l_type, &ufl->l_type) ||
 463             __put_user(kfl->l_whence, &ufl->l_whence) ||
 464             __put_user(kfl->l_start, &ufl->l_start) ||
 465             __put_user(kfl->l_len, &ufl->l_len) ||
 466             __put_user(kfl->l_pid, &ufl->l_pid))
 467                 return -EFAULT;
 468         return 0;
 469 }
 470
 471 #ifndef HAVE_ARCH_GET_COMPAT_FLOCK64
 472 static int get_compat_flock64(struct flock *kfl, struct compat_flock64 __user *ufl)
 473 {
 474         if (!access_ok(VERIFY_READ, ufl, sizeof(*ufl)) ||
 475             __get_user(kfl->l_type, &ufl->l_type) ||
 476             __get_user(kfl->l_whence, &ufl->l_whence) ||
 477             __get_user(kfl->l_start, &ufl->l_start) ||
 478             __get_user(kfl->l_len, &ufl->l_len) ||
 479             __get_user(kfl->l_pid, &ufl->l_pid))
 480                 return -EFAULT;
 481         return 0;
 482 }
 483 #endif
 484
 485 #ifndef HAVE_ARCH_PUT_COMPAT_FLOCK64
 486 static int put_compat_flock64(struct flock *kfl, struct compat_flock64 __user *ufl)
 487 {
 488         if (!access_ok(VERIFY_WRITE, ufl, sizeof(*ufl)) ||
 489             __put_user(kfl->l_type, &ufl->l_type) ||
 490             __put_user(kfl->l_whence, &ufl->l_whence) ||
 491             __put_user(kfl->l_start, &ufl->l_start) ||
 492             __put_user(kfl->l_len, &ufl->l_len) ||
 493             __put_user(kfl->l_pid, &ufl->l_pid))
 494                 return -EFAULT;
 495         return 0;
 496 }
 497 #endif
 498
 499 static unsigned int
 500 convert_fcntl_cmd(unsigned int cmd)
 501 {
 502         switch (cmd) {
 503         case F_GETLK64:
 504                 return F_GETLK;
 505         case F_SETLK64:
 506                 return F_SETLK;
 507         case F_SETLKW64:
 508                 return F_SETLKW;
 509         }
 510
 511         return cmd;
 512 }
 513
 514 /*
 515  * GETLK was successful and we need to return the data, but it needs to fit in
 516  * the compat structure.
 517  * l_start shouldn't be too big, unless the original start + end is greater than
 518  * COMPAT_OFF_T_MAX, in which case the app was asking for trouble, so we return
 519  * -EOVERFLOW in that case.  l_len could be too big, in which case we just
 520  * truncate it, and only allow the app to see that part of the conflicting lock
 521  * that might make sense to it anyway
 522  */
 523 static int fixup_compat_flock(struct flock *flock)
 524 {
 525         if (flock->l_start > COMPAT_OFF_T_MAX)
 526                 return -EOVERFLOW;
 527         if (flock->l_len > COMPAT_OFF_T_MAX)
 528                 flock->l_len = COMPAT_OFF_T_MAX;
 529         return 0;
 530 }
 531
 532 COMPAT_SYSCALL_DEFINE3(fcntl64, unsigned int, fd, unsigned int, cmd,
 533                        compat_ulong_t, arg)
 534 {
 535         struct fd f = fdget_raw(fd);
 536         struct flock flock;
 537         long err = -EBADF;
 538
 539         if (!f.file)
 540                 return err;
 541
 542         if (unlikely(f.file->f_mode & FMODE_PATH)) {
 543                 if (!check_fcntl_cmd(cmd))
 544                         goto out_put;
 545         }
 546
 547         err = security_file_fcntl(f.file, cmd, arg);
 548         if (err)
 549                 goto out_put;
 550
 551         switch (cmd) {
 552         case F_GETLK:
 553                 err = get_compat_flock(&flock, compat_ptr(arg));
 554                 if (err)
 555                         break;
 556                 err = fcntl_getlk(f.file, convert_fcntl_cmd(cmd), &flock);
 557                 if (err)
 558                         break;
 559                 err = fixup_compat_flock(&flock);
 560                 if (err)
 561                         return err;
 562                 err = put_compat_flock(&flock, compat_ptr(arg));
 563                 break;
 564         case F_GETLK64:
 565         case F_OFD_GETLK:
 566                 err = get_compat_flock64(&flock, compat_ptr(arg));
 567                 if (err)
 568                         break;
 569                 err = fcntl_getlk(f.file, convert_fcntl_cmd(cmd), &flock);
 570                 if (err)
 571                         break;
 572                 err = fixup_compat_flock(&flock);
 573                 if (err)
 574                         return err;
 575                 err = put_compat_flock64(&flock, compat_ptr(arg));
 576                 break;
 577         case F_SETLK:
 578         case F_SETLKW:
 579                 err = get_compat_flock(&flock, compat_ptr(arg));
 580                 if (err)
 581                         break;
 582                 err = fcntl_setlk(fd, f.file, convert_fcntl_cmd(cmd), &flock);
 583                 break;
 584         case F_SETLK64:
 585         case F_SETLKW64:
 586         case F_OFD_SETLK:
 587         case F_OFD_SETLKW:
 588                 err = get_compat_flock64(&flock, compat_ptr(arg));
 589                 if (err)
 590                         break;
 591                 err = fcntl_setlk(fd, f.file, convert_fcntl_cmd(cmd), &flock);
 592                 break;
 593         default:
 594                 err = do_fcntl(fd, cmd, arg, f.file);
 595                 break;
 596         }
 597 out_put:
 598         fdput(f);
 599         return err;
 600 }
 601
 602 COMPAT_SYSCALL_DEFINE3(fcntl, unsigned int, fd, unsigned int, cmd,
 603                        compat_ulong_t, arg)
 604 {
 605         switch (cmd) {
 606         case F_GETLK64:
 607         case F_SETLK64:
 608         case F_SETLKW64:
 609         case F_OFD_GETLK:
 610         case F_OFD_SETLK:
 611         case F_OFD_SETLKW:
 612                 return -EINVAL;
 613         }
 614         return compat_sys_fcntl64(fd, cmd, arg);
 615 }
 616 #endif
 617
 618 /* Table to convert sigio signal codes into poll band bitmaps */
 619
 620 static const long band_table[NSIGPOLL] = {
 621         POLLIN | POLLRDNORM,                    /* POLL_IN */
 622         POLLOUT | POLLWRNORM | POLLWRBAND,      /* POLL_OUT */
 623         POLLIN | POLLRDNORM | POLLMSG,          /* POLL_MSG */
 624         POLLERR,                                /* POLL_ERR */
 625         POLLPRI | POLLRDBAND,                   /* POLL_PRI */
 626         POLLHUP | POLLERR                       /* POLL_HUP */
 627 };
 628
 629 static inline int sigio_perm(struct task_struct *p,
 630                              struct fown_struct *fown, int sig)
 631 {
 632         const struct cred *cred;
 633         int ret;
 634
 635         rcu_read_lock();
 636         cred = __task_cred(p);
 637         ret = ((uid_eq(fown->euid, GLOBAL_ROOT_UID) ||
 638                 uid_eq(fown->euid, cred->suid) || uid_eq(fown->euid, cred->uid) ||
 639                 uid_eq(fown->uid,  cred->suid) || uid_eq(fown->uid,  cred->uid)) &&
 640                !security_file_send_sigiotask(p, fown, sig));
 641         rcu_read_unlock();
 642         return ret;
 643 }
 644
 645 static void send_sigio_to_task(struct task_struct *p,
 646                                struct fown_struct *fown,
 647                                int fd, int reason, int group)
 648 {
 649         /*
 650          * F_SETSIG can change ->signum lockless in parallel, make
 651          * sure we read it once and use the same value throughout.
 652          */
 653         int signum = ACCESS_ONCE(fown->signum);
 654
 655         if (!sigio_perm(p, fown, signum))
 656                 return;
 657
 658         switch (signum) {
 659                 siginfo_t si;
 660                 default:
 661                         /* Queue a rt signal with the appropriate fd as its
 662                            value.  We use SI_SIGIO as the source, not
 663                            SI_KERNEL, since kernel signals always get
 664                            delivered even if we can't queue.  Failure to
 665                            queue in this case _should_ be reported; we fall
 666                            back to SIGIO in that case. --sct */
 667                         si.si_signo = signum;
 668                         si.si_errno = 0;
 669                         si.si_code  = reason;
 670                         /* Make sure we are called with one of the POLL_*
 671                            reasons, otherwise we could leak kernel stack into
 672                            userspace.  */
 673                         BUG_ON((reason & __SI_MASK) != __SI_POLL);
 674                         if (reason - POLL_IN >= NSIGPOLL)
 675                                 si.si_band  = ~0L;
 676                         else
 677                                 si.si_band = band_table[reason - POLL_IN];
 678                         si.si_fd    = fd;
 679                         if (!do_send_sig_info(signum, &si, p, group))
 680                                 break;
 681                 /* fall-through: fall back on the old plain SIGIO signal */
 682                 case 0:
 683                         do_send_sig_info(SIGIO, SEND_SIG_PRIV, p, group);
 684         }
 685 }
 686
 687 void send_sigio(struct fown_struct *fown, int fd, int band)
 688 {
 689         struct task_struct *p;
 690         enum pid_type type;
 691         struct pid *pid;
 692         int group = 1;
 693
 694         read_lock(&fown->lock);
 695
 696         type = fown->pid_type;
 697         if (type == PIDTYPE_MAX) {
 698                 group = 0;
 699                 type = PIDTYPE_PID;
 700         }
 701
 702         pid = fown->pid;
 703         if (!pid)
 704                 goto out_unlock_fown;
 705
 706         read_lock(&tasklist_lock);
 707         do_each_pid_task(pid, type, p) {
 708                 send_sigio_to_task(p, fown, fd, band, group);
 709         } while_each_pid_task(pid, type, p);
 710         read_unlock(&tasklist_lock);
 711  out_unlock_fown:
 712         read_unlock(&fown->lock);
 713 }
 714
 715 static void send_sigurg_to_task(struct task_struct *p,
 716                                 struct fown_struct *fown, int group)
 717 {
 718         if (sigio_perm(p, fown, SIGURG))
 719                 do_send_sig_info(SIGURG, SEND_SIG_PRIV, p, group);
 720 }
 721
 722 int send_sigurg(struct fown_struct *fown)
 723 {
 724         struct task_struct *p;
 725         enum pid_type type;
 726         struct pid *pid;
 727         int group = 1;
 728         int ret = 0;
 729
 730         read_lock(&fown->lock);
 731
 732         type = fown->pid_type;
 733         if (type == PIDTYPE_MAX) {
 734                 group = 0;
 735                 type = PIDTYPE_PID;
 736         }
 737
 738         pid = fown->pid;
 739         if (!pid)
 740                 goto out_unlock_fown;
 741
 742         ret = 1;
 743
 744         read_lock(&tasklist_lock);
 745         do_each_pid_task(pid, type, p) {
 746                 send_sigurg_to_task(p, fown, group);
 747         } while_each_pid_task(pid, type, p);
 748         read_unlock(&tasklist_lock);
 749  out_unlock_fown:
 750         read_unlock(&fown->lock);
 751         return ret;
 752 }
 753
 754 static DEFINE_SPINLOCK(fasync_lock);
 755 static struct kmem_cache *fasync_cache __read_mostly;
 756
 757 static void fasync_free_rcu(struct rcu_head *head)
 758 {
 759         kmem_cache_free(fasync_cache,
 760                         container_of(head, struct fasync_struct, fa_rcu));
 761 }
 762
 763 /*
 764  * Remove a fasync entry. If successfully removed, return
 765  * positive and clear the FASYNC flag. If no entry exists,
 766  * do nothing and return 0.
 767  *
 768  * NOTE! It is very important that the FASYNC flag always
 769  * match the state "is the filp on a fasync list".
 770  *
 771  */
 772 int fasync_remove_entry(struct file *filp, struct fasync_struct **fapp)
 773 {
 774         struct fasync_struct *fa, **fp;
 775         int result = 0;
 776
 777         spin_lock(&filp->f_lock);
 778         spin_lock(&fasync_lock);
 779         for (fp = fapp; (fa = *fp) != NULL; fp = &fa->fa_next) {
 780                 if (fa->fa_file != filp)
 781                         continue;
 782
 783                 spin_lock_irq(&fa->fa_lock);
 784                 fa->fa_file = NULL;
 785                 spin_unlock_irq(&fa->fa_lock);
 786
 787                 *fp = fa->fa_next;
 788                 call_rcu(&fa->fa_rcu, fasync_free_rcu);
 789                 filp->f_flags &= ~FASYNC;
 790                 result = 1;
 791                 break;
 792         }
 793         spin_unlock(&fasync_lock);
 794         spin_unlock(&filp->f_lock);
 795         return result;
 796 }
 797
 798 struct fasync_struct *fasync_alloc(void)
 799 {
 800         return kmem_cache_alloc(fasync_cache, GFP_KERNEL);
 801 }
 802
 803 /*
 804  * NOTE! This can be used only for unused fasync entries:
 805  * entries that actually got inserted on the fasync list
 806  * need to be released by rcu - see fasync_remove_entry.
 807  */
 808 void fasync_free(struct fasync_struct *new)
 809 {
 810         kmem_cache_free(fasync_cache, new);
 811 }
 812
 813 /*
 814  * Insert a new entry into the fasync list.  Return the pointer to the
 815  * old one if we didn't use the new one.
 816  *
 817  * NOTE! It is very important that the FASYNC flag always
 818  * match the state "is the filp on a fasync list".
 819  */
 820 struct fasync_struct *fasync_insert_entry(int fd, struct file *filp, struct fasync_struct **fapp, struct fasync_struct *new)
 821 {
 822         struct fasync_struct *fa, **fp;
 823
 824         spin_lock(&filp->f_lock);
 825         spin_lock(&fasync_lock);
 826         for (fp = fapp; (fa = *fp) != NULL; fp = &fa->fa_next) {
 827                 if (fa->fa_file != filp)
 828                         continue;
 829
 830                 spin_lock_irq(&fa->fa_lock);
 831                 fa->fa_fd = fd;
 832                 spin_unlock_irq(&fa->fa_lock);
 833                 goto out;
 834         }
 835
 836         spin_lock_init(&new->fa_lock);
 837         new->magic = FASYNC_MAGIC;
 838         new->fa_file = filp;
 839         new->fa_fd = fd;
 840         new->fa_next = *fapp;
 841         rcu_assign_pointer(*fapp, new);
 842         filp->f_flags |= FASYNC;
 843
 844 out:
 845         spin_unlock(&fasync_lock);
 846         spin_unlock(&filp->f_lock);
 847         return fa;
 848 }
 849
 850 /*
 851  * Add a fasync entry. Return negative on error, positive if
 852  * added, and zero if did nothing but change an existing one.
 853  */
 854 static int fasync_add_entry(int fd, struct file *filp, struct fasync_struct **fapp)
 855 {
 856         struct fasync_struct *new;
 857
 858         new = fasync_alloc();
 859         if (!new)
 860                 return -ENOMEM;
 861
 862         /*
 863          * fasync_insert_entry() returns the old (update) entry if
 864          * it existed.
 865          *
 866          * So free the (unused) new entry and return 0 to let the
 867          * caller know that we didn't add any new fasync entries.
 868          */
 869         if (fasync_insert_entry(fd, filp, fapp, new)) {
 870                 fasync_free(new);
 871                 return 0;
 872         }
 873
 874         return 1;
 875 }
 876
 877 /*
 878  * fasync_helper() is used by almost all character device drivers
 879  * to set up the fasync queue, and for regular files by the file
 880  * lease code. It returns negative on error, 0 if it did no changes
 881  * and positive if it added/deleted the entry.
 882  */
 883 int fasync_helper(int fd, struct file * filp, int on, struct fasync_struct **fapp)
 884 {
 885         if (!on)
 886                 return fasync_remove_entry(filp, fapp);
 887         return fasync_add_entry(fd, filp, fapp);
 888 }
 889
 890 EXPORT_SYMBOL(fasync_helper);
 891
 892 /*
 893  * rcu_read_lock() is held
 894  */
 895 static void kill_fasync_rcu(struct fasync_struct *fa, int sig, int band)
 896 {
 897         while (fa) {
 898                 struct fown_struct *fown;
 899                 unsigned long flags;
 900
 901                 if (fa->magic != FASYNC_MAGIC) {
 902                         printk(KERN_ERR "kill_fasync: bad magic number in "
 903                                "fasync_struct!\n");
 904                         return;
 905                 }
 906                 spin_lock_irqsave(&fa->fa_lock, flags);
 907                 if (fa->fa_file) {
 908                         fown = &fa->fa_file->f_owner;
 909                         /* Don't send SIGURG to processes which have not set a
 910                            queued signum: SIGURG has its own default signalling
 911                            mechanism. */
 912                         if (!(sig == SIGURG && fown->signum == 0))
 913                                 send_sigio(fown, fa->fa_fd, band);
 914                 }
 915                 spin_unlock_irqrestore(&fa->fa_lock, flags);
 916                 fa = rcu_dereference(fa->fa_next);
 917         }
 918 }
 919
 920 void kill_fasync(struct fasync_struct **fp, int sig, int band)
 921 {
 922         /* First a quick test without locking: usually
 923          * the list is empty.
 924          */
 925         if (*fp) {
 926                 rcu_read_lock();
 927                 kill_fasync_rcu(rcu_dereference(*fp), sig, band);
 928                 rcu_read_unlock();
 929         }
 930 }
 931 EXPORT_SYMBOL(kill_fasync);
 932
 933 static int __init fcntl_init(void)
 934 {
 935         /*
 936          * Please add new bits here to ensure allocation uniqueness.
 937          * Exceptions: O_NONBLOCK is a two bit define on parisc; O_NDELAY
 938          * is defined as O_NONBLOCK on some platforms and not on others.
 939          */
 940         BUILD_BUG_ON(21 - 1 /* for O_RDONLY being 0 */ !=
 941                 HWEIGHT32(
 942                         (VALID_OPEN_FLAGS & ~(O_NONBLOCK | O_NDELAY)) |
 943                         __FMODE_EXEC | __FMODE_NONOTIFY));
 944
 945         fasync_cache = kmem_cache_create("fasync_cache",
 946                 sizeof(struct fasync_struct), 0, SLAB_PANIC, NULL);
 947         return 0;
 948 }
 949
 950 module_init(fcntl_init)