include/net/xdp.h

   1 /* include/net/xdp.h
   2  *
   3  * Copyright (c) 2017 Jesper Dangaard Brouer, Red Hat Inc.
   4  * Released under terms in GPL version 2.  See COPYING.
   5  */
   6 #ifndef __LINUX_NET_XDP_H__
   7 #define __LINUX_NET_XDP_H__
   8
   9 /**
  10  * DOC: XDP RX-queue information
  11  *
  12  * The XDP RX-queue info (xdp_rxq_info) is associated with the driver
  13  * level RX-ring queues.  It is information that is specific to how
  14  * the driver have configured a given RX-ring queue.
  15  *
  16  * Each xdp_buff frame received in the driver carry a (pointer)
  17  * reference to this xdp_rxq_info structure.  This provides the XDP
  18  * data-path read-access to RX-info for both kernel and bpf-side
  19  * (limited subset).
  20  *
  21  * For now, direct access is only safe while running in NAPI/softirq
  22  * context.  Contents is read-mostly and must not be updated during
  23  * driver NAPI/softirq poll.
  24  *
  25  * The driver usage API is a register and unregister API.
  26  *
  27  * The struct is not directly tied to the XDP prog.  A new XDP prog
  28  * can be attached as long as it doesn't change the underlying
  29  * RX-ring.  If the RX-ring does change significantly, the NIC driver
  30  * naturally need to stop the RX-ring before purging and reallocating
  31  * memory.  In that process the driver MUST call unregistor (which
  32  * also apply for driver shutdown and unload).  The register API is
  33  * also mandatory during RX-ring setup.
  34  */
  35
  36 enum xdp_mem_type {
  37         MEM_TYPE_PAGE_SHARED = 0, /* Split-page refcnt based model */
  38         MEM_TYPE_PAGE_ORDER0,     /* Orig XDP full page model */
  39         MEM_TYPE_MAX,
  40 };
  41
  42 struct xdp_mem_info {
  43         u32 type; /* enum xdp_mem_type, but known size type */
  44 };
  45
  46 struct xdp_rxq_info {
  47         struct net_device *dev;
  48         u32 queue_index;
  49         u32 reg_state;
  50         struct xdp_mem_info mem;
  51 } ____cacheline_aligned; /* perf critical, avoid false-sharing */
  52
  53 struct xdp_buff {
  54         void *data;
  55         void *data_end;
  56         void *data_meta;
  57         void *data_hard_start;
  58         struct xdp_rxq_info *rxq;
  59 };
  60
  61 static inline
  62 void xdp_return_frame(void *data, struct xdp_mem_info *mem)
  63 {
  64         if (mem->type == MEM_TYPE_PAGE_SHARED)
  65                 page_frag_free(data);
  66
  67         if (mem->type == MEM_TYPE_PAGE_ORDER0) {
  68                 struct page *page = virt_to_page(data); /* Assumes order0 page*/
  69
  70                 put_page(page);
  71         }
  72 }
  73
  74 int xdp_rxq_info_reg(struct xdp_rxq_info *xdp_rxq,
  75                      struct net_device *dev, u32 queue_index);
  76 void xdp_rxq_info_unreg(struct xdp_rxq_info *xdp_rxq);
  77 void xdp_rxq_info_unused(struct xdp_rxq_info *xdp_rxq);
  78 bool xdp_rxq_info_is_reg(struct xdp_rxq_info *xdp_rxq);
  79 int xdp_rxq_info_reg_mem_model(struct xdp_rxq_info *xdp_rxq,
  80                                enum xdp_mem_type type, void *allocator);
  81
  82 /* Drivers not supporting XDP metadata can use this helper, which
  83  * rejects any room expansion for metadata as a result.
  84  */
  85 static __always_inline void
  86 xdp_set_data_meta_invalid(struct xdp_buff *xdp)
  87 {
  88         xdp->data_meta = xdp->data + 1;
  89 }
  90
  91 static __always_inline bool
  92 xdp_data_meta_unsupported(const struct xdp_buff *xdp)
  93 {
  94         return unlikely(xdp->data_meta > xdp->data);
  95 }
  96
  97 #endif /* __LINUX_NET_XDP_H__ */