tools/lib/bpf/xsk.c

   1 // SPDX-License-Identifier: (LGPL-2.1 OR BSD-2-Clause)
   2
   3 /*
   4  * AF_XDP user-space access library.
   5  *
   6  * Copyright(c) 2018 - 2019 Intel Corporation.
   7  *
   8  * Author(s): Magnus Karlsson <magnus.karlsson@intel.com>
   9  */
  10
  11 #include <errno.h>
  12 #include <stdlib.h>
  13 #include <string.h>
  14 #include <unistd.h>
  15 #include <arpa/inet.h>
  16 #include <asm/barrier.h>
  17 #include <linux/compiler.h>
  18 #include <linux/ethtool.h>
  19 #include <linux/filter.h>
  20 #include <linux/if_ether.h>
  21 #include <linux/if_packet.h>
  22 #include <linux/if_xdp.h>
  23 #include <linux/sockios.h>
  24 #include <net/if.h>
  25 #include <sys/ioctl.h>
  26 #include <sys/mman.h>
  27 #include <sys/socket.h>
  28 #include <sys/types.h>
  29
  30 #include "bpf.h"
  31 #include "libbpf.h"
  32 #include "libbpf_internal.h"
  33 #include "xsk.h"
  34
  35 #ifndef SOL_XDP
  36  #define SOL_XDP 283
  37 #endif
  38
  39 #ifndef AF_XDP
  40  #define AF_XDP 44
  41 #endif
  42
  43 #ifndef PF_XDP
  44  #define PF_XDP AF_XDP
  45 #endif
  46
  47 struct xsk_umem {
  48         struct xsk_ring_prod *fill;
  49         struct xsk_ring_cons *comp;
  50         char *umem_area;
  51         struct xsk_umem_config config;
  52         int fd;
  53         int refcount;
  54 };
  55
  56 struct xsk_socket {
  57         struct xsk_ring_cons *rx;
  58         struct xsk_ring_prod *tx;
  59         __u64 outstanding_tx;
  60         struct xsk_umem *umem;
  61         struct xsk_socket_config config;
  62         int fd;
  63         int ifindex;
  64         int prog_fd;
  65         int xsks_map_fd;
  66         __u32 queue_id;
  67         char ifname[IFNAMSIZ];
  68         bool zc;
  69 };
  70
  71 struct xsk_nl_info {
  72         bool xdp_prog_attached;
  73         int ifindex;
  74         int fd;
  75 };
  76
  77 int xsk_umem__fd(const struct xsk_umem *umem)
  78 {
  79         return umem ? umem->fd : -EINVAL;
  80 }
  81
  82 int xsk_socket__fd(const struct xsk_socket *xsk)
  83 {
  84         return xsk ? xsk->fd : -EINVAL;
  85 }
  86
  87 static bool xsk_page_aligned(void *buffer)
  88 {
  89         unsigned long addr = (unsigned long)buffer;
  90
  91         return !(addr & (getpagesize() - 1));
  92 }
  93
  94 static void xsk_set_umem_config(struct xsk_umem_config *cfg,
  95                                 const struct xsk_umem_config *usr_cfg)
  96 {
  97         if (!usr_cfg) {
  98                 cfg->fill_size = XSK_RING_PROD__DEFAULT_NUM_DESCS;
  99                 cfg->comp_size = XSK_RING_CONS__DEFAULT_NUM_DESCS;
 100                 cfg->frame_size = XSK_UMEM__DEFAULT_FRAME_SIZE;
 101                 cfg->frame_headroom = XSK_UMEM__DEFAULT_FRAME_HEADROOM;
 102                 cfg->flags = XSK_UMEM__DEFAULT_FLAGS;
 103                 return;
 104         }
 105
 106         cfg->fill_size = usr_cfg->fill_size;
 107         cfg->comp_size = usr_cfg->comp_size;
 108         cfg->frame_size = usr_cfg->frame_size;
 109         cfg->frame_headroom = usr_cfg->frame_headroom;
 110         cfg->flags = usr_cfg->flags;
 111 }
 112
 113 static int xsk_set_xdp_socket_config(struct xsk_socket_config *cfg,
 114                                      const struct xsk_socket_config *usr_cfg)
 115 {
 116         if (!usr_cfg) {
 117                 cfg->rx_size = XSK_RING_CONS__DEFAULT_NUM_DESCS;
 118                 cfg->tx_size = XSK_RING_PROD__DEFAULT_NUM_DESCS;
 119                 cfg->libbpf_flags = 0;
 120                 cfg->xdp_flags = 0;
 121                 cfg->bind_flags = 0;
 122                 return 0;
 123         }
 124
 125         if (usr_cfg->libbpf_flags & ~XSK_LIBBPF_FLAGS__INHIBIT_PROG_LOAD)
 126                 return -EINVAL;
 127
 128         cfg->rx_size = usr_cfg->rx_size;
 129         cfg->tx_size = usr_cfg->tx_size;
 130         cfg->libbpf_flags = usr_cfg->libbpf_flags;
 131         cfg->xdp_flags = usr_cfg->xdp_flags;
 132         cfg->bind_flags = usr_cfg->bind_flags;
 133
 134         return 0;
 135 }
 136
 137 int xsk_umem__create_v0_0_4(struct xsk_umem **umem_ptr, void *umem_area,
 138                             __u64 size, struct xsk_ring_prod *fill,
 139                             struct xsk_ring_cons *comp,
 140                             const struct xsk_umem_config *usr_config)
 141 {
 142         struct xdp_mmap_offsets off;
 143         struct xdp_umem_reg mr;
 144         struct xsk_umem *umem;
 145         socklen_t optlen;
 146         void *map;
 147         int err;
 148
 149         if (!umem_area || !umem_ptr || !fill || !comp)
 150                 return -EFAULT;
 151         if (!size && !xsk_page_aligned(umem_area))
 152                 return -EINVAL;
 153
 154         umem = calloc(1, sizeof(*umem));
 155         if (!umem)
 156                 return -ENOMEM;
 157
 158         umem->fd = socket(AF_XDP, SOCK_RAW, 0);
 159         if (umem->fd < 0) {
 160                 err = -errno;
 161                 goto out_umem_alloc;
 162         }
 163
 164         umem->umem_area = umem_area;
 165         xsk_set_umem_config(&umem->config, usr_config);
 166
 167         mr.addr = (uintptr_t)umem_area;
 168         mr.len = size;
 169         mr.chunk_size = umem->config.frame_size;
 170         mr.headroom = umem->config.frame_headroom;
 171         mr.flags = umem->config.flags;
 172
 173         err = setsockopt(umem->fd, SOL_XDP, XDP_UMEM_REG, &mr, sizeof(mr));
 174         if (err) {
 175                 err = -errno;
 176                 goto out_socket;
 177         }
 178         err = setsockopt(umem->fd, SOL_XDP, XDP_UMEM_FILL_RING,
 179                          &umem->config.fill_size,
 180                          sizeof(umem->config.fill_size));
 181         if (err) {
 182                 err = -errno;
 183                 goto out_socket;
 184         }
 185         err = setsockopt(umem->fd, SOL_XDP, XDP_UMEM_COMPLETION_RING,
 186                          &umem->config.comp_size,
 187                          sizeof(umem->config.comp_size));
 188         if (err) {
 189                 err = -errno;
 190                 goto out_socket;
 191         }
 192
 193         optlen = sizeof(off);
 194         err = getsockopt(umem->fd, SOL_XDP, XDP_MMAP_OFFSETS, &off, &optlen);
 195         if (err) {
 196                 err = -errno;
 197                 goto out_socket;
 198         }
 199
 200         map = mmap(NULL, off.fr.desc + umem->config.fill_size * sizeof(__u64),
 201                    PROT_READ | PROT_WRITE, MAP_SHARED | MAP_POPULATE, umem->fd,
 202                    XDP_UMEM_PGOFF_FILL_RING);
 203         if (map == MAP_FAILED) {
 204                 err = -errno;
 205                 goto out_socket;
 206         }
 207
 208         umem->fill = fill;
 209         fill->mask = umem->config.fill_size - 1;
 210         fill->size = umem->config.fill_size;
 211         fill->producer = map + off.fr.producer;
 212         fill->consumer = map + off.fr.consumer;
 213         fill->flags = map + off.fr.flags;
 214         fill->ring = map + off.fr.desc;
 215         fill->cached_cons = umem->config.fill_size;
 216
 217         map = mmap(NULL, off.cr.desc + umem->config.comp_size * sizeof(__u64),
 218                    PROT_READ | PROT_WRITE, MAP_SHARED | MAP_POPULATE, umem->fd,
 219                    XDP_UMEM_PGOFF_COMPLETION_RING);
 220         if (map == MAP_FAILED) {
 221                 err = -errno;
 222                 goto out_mmap;
 223         }
 224
 225         umem->comp = comp;
 226         comp->mask = umem->config.comp_size - 1;
 227         comp->size = umem->config.comp_size;
 228         comp->producer = map + off.cr.producer;
 229         comp->consumer = map + off.cr.consumer;
 230         comp->flags = map + off.cr.flags;
 231         comp->ring = map + off.cr.desc;
 232
 233         *umem_ptr = umem;
 234         return 0;
 235
 236 out_mmap:
 237         munmap(map, off.fr.desc + umem->config.fill_size * sizeof(__u64));
 238 out_socket:
 239         close(umem->fd);
 240 out_umem_alloc:
 241         free(umem);
 242         return err;
 243 }
 244
 245 struct xsk_umem_config_v1 {
 246         __u32 fill_size;
 247         __u32 comp_size;
 248         __u32 frame_size;
 249         __u32 frame_headroom;
 250 };
 251
 252 int xsk_umem__create_v0_0_2(struct xsk_umem **umem_ptr, void *umem_area,
 253                             __u64 size, struct xsk_ring_prod *fill,
 254                             struct xsk_ring_cons *comp,
 255                             const struct xsk_umem_config *usr_config)
 256 {
 257         struct xsk_umem_config config;
 258
 259         memcpy(&config, usr_config, sizeof(struct xsk_umem_config_v1));
 260         config.flags = 0;
 261
 262         return xsk_umem__create_v0_0_4(umem_ptr, umem_area, size, fill, comp,
 263                                         &config);
 264 }
 265 asm(".symver xsk_umem__create_v0_0_2, xsk_umem__create@LIBBPF_0.0.2");
 266 asm(".symver xsk_umem__create_v0_0_4, xsk_umem__create@@LIBBPF_0.0.4");
 267
 268 static int xsk_load_xdp_prog(struct xsk_socket *xsk)
 269 {
 270         static const int log_buf_size = 16 * 1024;
 271         char log_buf[log_buf_size];
 272         int err, prog_fd;
 273
 274         /* This is the C-program:
 275          * SEC("xdp_sock") int xdp_sock_prog(struct xdp_md *ctx)
 276          * {
 277          *     int index = ctx->rx_queue_index;
 278          *
 279          *     // A set entry here means that the correspnding queue_id
 280          *     // has an active AF_XDP socket bound to it.
 281          *     if (bpf_map_lookup_elem(&xsks_map, &index))
 282          *         return bpf_redirect_map(&xsks_map, index, 0);
 283          *
 284          *     return XDP_PASS;
 285          * }
 286          */
 287         struct bpf_insn prog[] = {
 288                 /* r1 = *(u32 *)(r1 + 16) */
 289                 BPF_LDX_MEM(BPF_W, BPF_REG_1, BPF_REG_1, 16),
 290                 /* *(u32 *)(r10 - 4) = r1 */
 291                 BPF_STX_MEM(BPF_W, BPF_REG_10, BPF_REG_1, -4),
 292                 BPF_MOV64_REG(BPF_REG_2, BPF_REG_10),
 293                 BPF_ALU64_IMM(BPF_ADD, BPF_REG_2, -4),
 294                 BPF_LD_MAP_FD(BPF_REG_1, xsk->xsks_map_fd),
 295                 BPF_EMIT_CALL(BPF_FUNC_map_lookup_elem),
 296                 BPF_MOV64_REG(BPF_REG_1, BPF_REG_0),
 297                 BPF_MOV32_IMM(BPF_REG_0, 2),
 298                 /* if r1 == 0 goto +5 */
 299                 BPF_JMP_IMM(BPF_JEQ, BPF_REG_1, 0, 5),
 300                 /* r2 = *(u32 *)(r10 - 4) */
 301                 BPF_LD_MAP_FD(BPF_REG_1, xsk->xsks_map_fd),
 302                 BPF_LDX_MEM(BPF_W, BPF_REG_2, BPF_REG_10, -4),
 303                 BPF_MOV32_IMM(BPF_REG_3, 0),
 304                 BPF_EMIT_CALL(BPF_FUNC_redirect_map),
 305                 /* The jumps are to this instruction */
 306                 BPF_EXIT_INSN(),
 307         };
 308         size_t insns_cnt = sizeof(prog) / sizeof(struct bpf_insn);
 309
 310         prog_fd = bpf_load_program(BPF_PROG_TYPE_XDP, prog, insns_cnt,
 311                                    "LGPL-2.1 or BSD-2-Clause", 0, log_buf,
 312                                    log_buf_size);
 313         if (prog_fd < 0) {
 314                 pr_warning("BPF log buffer:\n%s", log_buf);
 315                 return prog_fd;
 316         }
 317
 318         err = bpf_set_link_xdp_fd(xsk->ifindex, prog_fd, xsk->config.xdp_flags);
 319         if (err) {
 320                 close(prog_fd);
 321                 return err;
 322         }
 323
 324         xsk->prog_fd = prog_fd;
 325         return 0;
 326 }
 327
 328 static int xsk_get_max_queues(struct xsk_socket *xsk)
 329 {
 330         struct ethtool_channels channels = { .cmd = ETHTOOL_GCHANNELS };
 331         struct ifreq ifr = {};
 332         int fd, err, ret;
 333
 334         fd = socket(AF_INET, SOCK_DGRAM, 0);
 335         if (fd < 0)
 336                 return -errno;
 337
 338         ifr.ifr_data = (void *)&channels;
 339         memcpy(ifr.ifr_name, xsk->ifname, IFNAMSIZ - 1);
 340         ifr.ifr_name[IFNAMSIZ - 1] = '\0';
 341         err = ioctl(fd, SIOCETHTOOL, &ifr);
 342         if (err && errno != EOPNOTSUPP) {
 343                 ret = -errno;
 344                 goto out;
 345         }
 346
 347         if (err || channels.max_combined == 0)
 348                 /* If the device says it has no channels, then all traffic
 349                  * is sent to a single stream, so max queues = 1.
 350                  */
 351                 ret = 1;
 352         else
 353                 ret = channels.max_combined;
 354
 355 out:
 356         close(fd);
 357         return ret;
 358 }
 359
 360 static int xsk_create_bpf_maps(struct xsk_socket *xsk)
 361 {
 362         int max_queues;
 363         int fd;
 364
 365         max_queues = xsk_get_max_queues(xsk);
 366         if (max_queues < 0)
 367                 return max_queues;
 368
 369         fd = bpf_create_map_name(BPF_MAP_TYPE_XSKMAP, "xsks_map",
 370                                  sizeof(int), sizeof(int), max_queues, 0);
 371         if (fd < 0)
 372                 return fd;
 373
 374         xsk->xsks_map_fd = fd;
 375
 376         return 0;
 377 }
 378
 379 static void xsk_delete_bpf_maps(struct xsk_socket *xsk)
 380 {
 381         bpf_map_delete_elem(xsk->xsks_map_fd, &xsk->queue_id);
 382         close(xsk->xsks_map_fd);
 383 }
 384
 385 static int xsk_lookup_bpf_maps(struct xsk_socket *xsk)
 386 {
 387         __u32 i, *map_ids, num_maps, prog_len = sizeof(struct bpf_prog_info);
 388         __u32 map_len = sizeof(struct bpf_map_info);
 389         struct bpf_prog_info prog_info = {};
 390         struct bpf_map_info map_info;
 391         int fd, err;
 392
 393         err = bpf_obj_get_info_by_fd(xsk->prog_fd, &prog_info, &prog_len);
 394         if (err)
 395                 return err;
 396
 397         num_maps = prog_info.nr_map_ids;
 398
 399         map_ids = calloc(prog_info.nr_map_ids, sizeof(*map_ids));
 400         if (!map_ids)
 401                 return -ENOMEM;
 402
 403         memset(&prog_info, 0, prog_len);
 404         prog_info.nr_map_ids = num_maps;
 405         prog_info.map_ids = (__u64)(unsigned long)map_ids;
 406
 407         err = bpf_obj_get_info_by_fd(xsk->prog_fd, &prog_info, &prog_len);
 408         if (err)
 409                 goto out_map_ids;
 410
 411         xsk->xsks_map_fd = -1;
 412
 413         for (i = 0; i < prog_info.nr_map_ids; i++) {
 414                 fd = bpf_map_get_fd_by_id(map_ids[i]);
 415                 if (fd < 0)
 416                         continue;
 417
 418                 err = bpf_obj_get_info_by_fd(fd, &map_info, &map_len);
 419                 if (err) {
 420                         close(fd);
 421                         continue;
 422                 }
 423
 424                 if (!strcmp(map_info.name, "xsks_map")) {
 425                         xsk->xsks_map_fd = fd;
 426                         continue;
 427                 }
 428
 429                 close(fd);
 430         }
 431
 432         err = 0;
 433         if (xsk->xsks_map_fd == -1)
 434                 err = -ENOENT;
 435
 436 out_map_ids:
 437         free(map_ids);
 438         return err;
 439 }
 440
 441 static int xsk_set_bpf_maps(struct xsk_socket *xsk)
 442 {
 443         return bpf_map_update_elem(xsk->xsks_map_fd, &xsk->queue_id,
 444                                    &xsk->fd, 0);
 445 }
 446
 447 static int xsk_setup_xdp_prog(struct xsk_socket *xsk)
 448 {
 449         __u32 prog_id = 0;
 450         int err;
 451
 452         err = bpf_get_link_xdp_id(xsk->ifindex, &prog_id,
 453                                   xsk->config.xdp_flags);
 454         if (err)
 455                 return err;
 456
 457         if (!prog_id) {
 458                 err = xsk_create_bpf_maps(xsk);
 459                 if (err)
 460                         return err;
 461
 462                 err = xsk_load_xdp_prog(xsk);
 463                 if (err) {
 464                         xsk_delete_bpf_maps(xsk);
 465                         return err;
 466                 }
 467         } else {
 468                 xsk->prog_fd = bpf_prog_get_fd_by_id(prog_id);
 469                 err = xsk_lookup_bpf_maps(xsk);
 470                 if (err) {
 471                         close(xsk->prog_fd);
 472                         return err;
 473                 }
 474         }
 475
 476         err = xsk_set_bpf_maps(xsk);
 477         if (err) {
 478                 xsk_delete_bpf_maps(xsk);
 479                 close(xsk->prog_fd);
 480                 return err;
 481         }
 482
 483         return 0;
 484 }
 485
 486 int xsk_socket__create(struct xsk_socket **xsk_ptr, const char *ifname,
 487                        __u32 queue_id, struct xsk_umem *umem,
 488                        struct xsk_ring_cons *rx, struct xsk_ring_prod *tx,
 489                        const struct xsk_socket_config *usr_config)
 490 {
 491         void *rx_map = NULL, *tx_map = NULL;
 492         struct sockaddr_xdp sxdp = {};
 493         struct xdp_mmap_offsets off;
 494         struct xdp_options opts;
 495         struct xsk_socket *xsk;
 496         socklen_t optlen;
 497         int err;
 498
 499         if (!umem || !xsk_ptr || !rx || !tx)
 500                 return -EFAULT;
 501
 502         if (umem->refcount) {
 503                 pr_warning("Error: shared umems not supported by libbpf.\n");
 504                 return -EBUSY;
 505         }
 506
 507         xsk = calloc(1, sizeof(*xsk));
 508         if (!xsk)
 509                 return -ENOMEM;
 510
 511         if (umem->refcount++ > 0) {
 512                 xsk->fd = socket(AF_XDP, SOCK_RAW, 0);
 513                 if (xsk->fd < 0) {
 514                         err = -errno;
 515                         goto out_xsk_alloc;
 516                 }
 517         } else {
 518                 xsk->fd = umem->fd;
 519         }
 520
 521         xsk->outstanding_tx = 0;
 522         xsk->queue_id = queue_id;
 523         xsk->umem = umem;
 524         xsk->ifindex = if_nametoindex(ifname);
 525         if (!xsk->ifindex) {
 526                 err = -errno;
 527                 goto out_socket;
 528         }
 529         memcpy(xsk->ifname, ifname, IFNAMSIZ - 1);
 530         xsk->ifname[IFNAMSIZ - 1] = '\0';
 531
 532         err = xsk_set_xdp_socket_config(&xsk->config, usr_config);
 533         if (err)
 534                 goto out_socket;
 535
 536         if (rx) {
 537                 err = setsockopt(xsk->fd, SOL_XDP, XDP_RX_RING,
 538                                  &xsk->config.rx_size,
 539                                  sizeof(xsk->config.rx_size));
 540                 if (err) {
 541                         err = -errno;
 542                         goto out_socket;
 543                 }
 544         }
 545         if (tx) {
 546                 err = setsockopt(xsk->fd, SOL_XDP, XDP_TX_RING,
 547                                  &xsk->config.tx_size,
 548                                  sizeof(xsk->config.tx_size));
 549                 if (err) {
 550                         err = -errno;
 551                         goto out_socket;
 552                 }
 553         }
 554
 555         optlen = sizeof(off);
 556         err = getsockopt(xsk->fd, SOL_XDP, XDP_MMAP_OFFSETS, &off, &optlen);
 557         if (err) {
 558                 err = -errno;
 559                 goto out_socket;
 560         }
 561
 562         if (rx) {
 563                 rx_map = mmap(NULL, off.rx.desc +
 564                               xsk->config.rx_size * sizeof(struct xdp_desc),
 565                               PROT_READ | PROT_WRITE, MAP_SHARED | MAP_POPULATE,
 566                               xsk->fd, XDP_PGOFF_RX_RING);
 567                 if (rx_map == MAP_FAILED) {
 568                         err = -errno;
 569                         goto out_socket;
 570                 }
 571
 572                 rx->mask = xsk->config.rx_size - 1;
 573                 rx->size = xsk->config.rx_size;
 574                 rx->producer = rx_map + off.rx.producer;
 575                 rx->consumer = rx_map + off.rx.consumer;
 576                 rx->flags = rx_map + off.rx.flags;
 577                 rx->ring = rx_map + off.rx.desc;
 578         }
 579         xsk->rx = rx;
 580
 581         if (tx) {
 582                 tx_map = mmap(NULL, off.tx.desc +
 583                               xsk->config.tx_size * sizeof(struct xdp_desc),
 584                               PROT_READ | PROT_WRITE, MAP_SHARED | MAP_POPULATE,
 585                               xsk->fd, XDP_PGOFF_TX_RING);
 586                 if (tx_map == MAP_FAILED) {
 587                         err = -errno;
 588                         goto out_mmap_rx;
 589                 }
 590
 591                 tx->mask = xsk->config.tx_size - 1;
 592                 tx->size = xsk->config.tx_size;
 593                 tx->producer = tx_map + off.tx.producer;
 594                 tx->consumer = tx_map + off.tx.consumer;
 595                 tx->flags = tx_map + off.tx.flags;
 596                 tx->ring = tx_map + off.tx.desc;
 597                 tx->cached_cons = xsk->config.tx_size;
 598         }
 599         xsk->tx = tx;
 600
 601         sxdp.sxdp_family = PF_XDP;
 602         sxdp.sxdp_ifindex = xsk->ifindex;
 603         sxdp.sxdp_queue_id = xsk->queue_id;
 604         sxdp.sxdp_flags = xsk->config.bind_flags;
 605
 606         err = bind(xsk->fd, (struct sockaddr *)&sxdp, sizeof(sxdp));
 607         if (err) {
 608                 err = -errno;
 609                 goto out_mmap_tx;
 610         }
 611
 612         xsk->prog_fd = -1;
 613
 614         optlen = sizeof(opts);
 615         err = getsockopt(xsk->fd, SOL_XDP, XDP_OPTIONS, &opts, &optlen);
 616         if (err) {
 617                 err = -errno;
 618                 goto out_mmap_tx;
 619         }
 620
 621         xsk->zc = opts.flags & XDP_OPTIONS_ZEROCOPY;
 622
 623         if (!(xsk->config.libbpf_flags & XSK_LIBBPF_FLAGS__INHIBIT_PROG_LOAD)) {
 624                 err = xsk_setup_xdp_prog(xsk);
 625                 if (err)
 626                         goto out_mmap_tx;
 627         }
 628
 629         *xsk_ptr = xsk;
 630         return 0;
 631
 632 out_mmap_tx:
 633         if (tx)
 634                 munmap(tx_map, off.tx.desc +
 635                        xsk->config.tx_size * sizeof(struct xdp_desc));
 636 out_mmap_rx:
 637         if (rx)
 638                 munmap(rx_map, off.rx.desc +
 639                        xsk->config.rx_size * sizeof(struct xdp_desc));
 640 out_socket:
 641         if (--umem->refcount)
 642                 close(xsk->fd);
 643 out_xsk_alloc:
 644         free(xsk);
 645         return err;
 646 }
 647
 648 int xsk_umem__delete(struct xsk_umem *umem)
 649 {
 650         struct xdp_mmap_offsets off;
 651         socklen_t optlen;
 652         int err;
 653
 654         if (!umem)
 655                 return 0;
 656
 657         if (umem->refcount)
 658                 return -EBUSY;
 659
 660         optlen = sizeof(off);
 661         err = getsockopt(umem->fd, SOL_XDP, XDP_MMAP_OFFSETS, &off, &optlen);
 662         if (!err) {
 663                 munmap(umem->fill->ring - off.fr.desc,
 664                        off.fr.desc + umem->config.fill_size * sizeof(__u64));
 665                 munmap(umem->comp->ring - off.cr.desc,
 666                        off.cr.desc + umem->config.comp_size * sizeof(__u64));
 667         }
 668
 669         close(umem->fd);
 670         free(umem);
 671
 672         return 0;
 673 }
 674
 675 void xsk_socket__delete(struct xsk_socket *xsk)
 676 {
 677         size_t desc_sz = sizeof(struct xdp_desc);
 678         struct xdp_mmap_offsets off;
 679         socklen_t optlen;
 680         int err;
 681
 682         if (!xsk)
 683                 return;
 684
 685         if (xsk->prog_fd != -1) {
 686                 xsk_delete_bpf_maps(xsk);
 687                 close(xsk->prog_fd);
 688         }
 689
 690         optlen = sizeof(off);
 691         err = getsockopt(xsk->fd, SOL_XDP, XDP_MMAP_OFFSETS, &off, &optlen);
 692         if (!err) {
 693                 if (xsk->rx) {
 694                         munmap(xsk->rx->ring - off.rx.desc,
 695                                off.rx.desc + xsk->config.rx_size * desc_sz);
 696                 }
 697                 if (xsk->tx) {
 698                         munmap(xsk->tx->ring - off.tx.desc,
 699                                off.tx.desc + xsk->config.tx_size * desc_sz);
 700                 }
 701
 702         }
 703
 704         xsk->umem->refcount--;
 705         /* Do not close an fd that also has an associated umem connected
 706          * to it.
 707          */
 708         if (xsk->fd != xsk->umem->fd)
 709                 close(xsk->fd);
 710         free(xsk);
 711 }