drivers/net/ethernet/mellanox/mlx5/core/en/txrx.h

   1 /* SPDX-License-Identifier: GPL-2.0 OR Linux-OpenIB */
   2 /* Copyright (c) 2019 Mellanox Technologies. */
   3
   4 #ifndef __MLX5_EN_TXRX_H___
   5 #define __MLX5_EN_TXRX_H___
   6
   7 #include "en.h"
   8
   9 #define MLX5E_SQ_NOPS_ROOM (MLX5_SEND_WQE_MAX_WQEBBS - 1)
  10 #define MLX5E_SQ_STOP_ROOM (MLX5_SEND_WQE_MAX_WQEBBS +\
  11                             MLX5E_SQ_NOPS_ROOM)
  12
  13 #ifndef CONFIG_MLX5_EN_TLS
  14 #define MLX5E_SQ_TLS_ROOM (0)
  15 #else
  16 /* TLS offload requires additional stop_room for:
  17  *  - a resync SKB.
  18  * kTLS offload requires additional stop_room for:
  19  * - static params WQE,
  20  * - progress params WQE, and
  21  * - resync DUMP per frag.
  22  */
  23 #define MLX5E_SQ_TLS_ROOM  \
  24         (MLX5_SEND_WQE_MAX_WQEBBS + \
  25          MLX5E_KTLS_STATIC_WQEBBS + MLX5E_KTLS_PROGRESS_WQEBBS + \
  26          MAX_SKB_FRAGS * MLX5E_KTLS_MAX_DUMP_WQEBBS)
  27 #endif
  28
  29 #define INL_HDR_START_SZ (sizeof(((struct mlx5_wqe_eth_seg *)NULL)->inline_hdr.start))
  30
  31 static inline bool
  32 mlx5e_wqc_has_room_for(struct mlx5_wq_cyc *wq, u16 cc, u16 pc, u16 n)
  33 {
  34         return (mlx5_wq_cyc_ctr2ix(wq, cc - pc) >= n) || (cc == pc);
  35 }
  36
  37 static inline void *
  38 mlx5e_sq_fetch_wqe(struct mlx5e_txqsq *sq, size_t size, u16 *pi)
  39 {
  40         struct mlx5_wq_cyc *wq = &sq->wq;
  41         void *wqe;
  42
  43         *pi  = mlx5_wq_cyc_ctr2ix(wq, sq->pc);
  44         wqe = mlx5_wq_cyc_get_wqe(wq, *pi);
  45         memset(wqe, 0, size);
  46
  47         return wqe;
  48 }
  49
  50 static inline struct mlx5e_tx_wqe *
  51 mlx5e_post_nop(struct mlx5_wq_cyc *wq, u32 sqn, u16 *pc)
  52 {
  53         u16                         pi   = mlx5_wq_cyc_ctr2ix(wq, *pc);
  54         struct mlx5e_tx_wqe        *wqe  = mlx5_wq_cyc_get_wqe(wq, pi);
  55         struct mlx5_wqe_ctrl_seg   *cseg = &wqe->ctrl;
  56
  57         memset(cseg, 0, sizeof(*cseg));
  58
  59         cseg->opmod_idx_opcode = cpu_to_be32((*pc << 8) | MLX5_OPCODE_NOP);
  60         cseg->qpn_ds           = cpu_to_be32((sqn << 8) | 0x01);
  61
  62         (*pc)++;
  63
  64         return wqe;
  65 }
  66
  67 static inline struct mlx5e_tx_wqe *
  68 mlx5e_post_nop_fence(struct mlx5_wq_cyc *wq, u32 sqn, u16 *pc)
  69 {
  70         u16                         pi   = mlx5_wq_cyc_ctr2ix(wq, *pc);
  71         struct mlx5e_tx_wqe        *wqe  = mlx5_wq_cyc_get_wqe(wq, pi);
  72         struct mlx5_wqe_ctrl_seg   *cseg = &wqe->ctrl;
  73
  74         memset(cseg, 0, sizeof(*cseg));
  75
  76         cseg->opmod_idx_opcode = cpu_to_be32((*pc << 8) | MLX5_OPCODE_NOP);
  77         cseg->qpn_ds           = cpu_to_be32((sqn << 8) | 0x01);
  78         cseg->fm_ce_se         = MLX5_FENCE_MODE_INITIATOR_SMALL;
  79
  80         (*pc)++;
  81
  82         return wqe;
  83 }
  84
  85 static inline void
  86 mlx5e_fill_sq_frag_edge(struct mlx5e_txqsq *sq, struct mlx5_wq_cyc *wq,
  87                         u16 pi, u16 nnops)
  88 {
  89         struct mlx5e_tx_wqe_info *edge_wi, *wi = &sq->db.wqe_info[pi];
  90
  91         edge_wi = wi + nnops;
  92
  93         /* fill sq frag edge with nops to avoid wqe wrapping two pages */
  94         for (; wi < edge_wi; wi++) {
  95                 wi->skb        = NULL;
  96                 wi->num_wqebbs = 1;
  97                 mlx5e_post_nop(wq, sq->sqn, &sq->pc);
  98         }
  99         sq->stats->nop += nnops;
 100 }
 101
 102 static inline void
 103 mlx5e_notify_hw(struct mlx5_wq_cyc *wq, u16 pc, void __iomem *uar_map,
 104                 struct mlx5_wqe_ctrl_seg *ctrl)
 105 {
 106         ctrl->fm_ce_se = MLX5_WQE_CTRL_CQ_UPDATE;
 107         /* ensure wqe is visible to device before updating doorbell record */
 108         dma_wmb();
 109
 110         *wq->db = cpu_to_be32(pc);
 111
 112         /* ensure doorbell record is visible to device before ringing the
 113          * doorbell
 114          */
 115         wmb();
 116
 117         mlx5_write64((__be32 *)ctrl, uar_map);
 118 }
 119
 120 static inline bool mlx5e_transport_inline_tx_wqe(struct mlx5_wqe_ctrl_seg *cseg)
 121 {
 122         return cseg && !!cseg->tisn;
 123 }
 124
 125 static inline u8
 126 mlx5e_tx_wqe_inline_mode(struct mlx5e_txqsq *sq, struct mlx5_wqe_ctrl_seg *cseg,
 127                          struct sk_buff *skb)
 128 {
 129         u8 mode;
 130
 131         if (mlx5e_transport_inline_tx_wqe(cseg))
 132                 return MLX5_INLINE_MODE_TCP_UDP;
 133
 134         mode = sq->min_inline_mode;
 135
 136         if (skb_vlan_tag_present(skb) &&
 137             test_bit(MLX5E_SQ_STATE_VLAN_NEED_L2_INLINE, &sq->state))
 138                 mode = max_t(u8, MLX5_INLINE_MODE_L2, mode);
 139
 140         return mode;
 141 }
 142
 143 static inline void mlx5e_cq_arm(struct mlx5e_cq *cq)
 144 {
 145         struct mlx5_core_cq *mcq;
 146
 147         mcq = &cq->mcq;
 148         mlx5_cq_arm(mcq, MLX5_CQ_DB_REQ_NOT, mcq->uar->map, cq->wq.cc);
 149 }
 150
 151 static inline struct mlx5e_sq_dma *
 152 mlx5e_dma_get(struct mlx5e_txqsq *sq, u32 i)
 153 {
 154         return &sq->db.dma_fifo[i & sq->dma_fifo_mask];
 155 }
 156
 157 static inline void
 158 mlx5e_dma_push(struct mlx5e_txqsq *sq, dma_addr_t addr, u32 size,
 159                enum mlx5e_dma_map_type map_type)
 160 {
 161         struct mlx5e_sq_dma *dma = mlx5e_dma_get(sq, sq->dma_fifo_pc++);
 162
 163         dma->addr = addr;
 164         dma->size = size;
 165         dma->type = map_type;
 166 }
 167
 168 static inline void
 169 mlx5e_tx_dma_unmap(struct device *pdev, struct mlx5e_sq_dma *dma)
 170 {
 171         switch (dma->type) {
 172         case MLX5E_DMA_MAP_SINGLE:
 173                 dma_unmap_single(pdev, dma->addr, dma->size, DMA_TO_DEVICE);
 174                 break;
 175         case MLX5E_DMA_MAP_PAGE:
 176                 dma_unmap_page(pdev, dma->addr, dma->size, DMA_TO_DEVICE);
 177                 break;
 178         default:
 179                 WARN_ONCE(true, "mlx5e_tx_dma_unmap unknown DMA type!\n");
 180         }
 181 }
 182
 183 /* SW parser related functions */
 184
 185 struct mlx5e_swp_spec {
 186         __be16 l3_proto;
 187         u8 l4_proto;
 188         u8 is_tun;
 189         __be16 tun_l3_proto;
 190         u8 tun_l4_proto;
 191 };
 192
 193 static inline void
 194 mlx5e_set_eseg_swp(struct sk_buff *skb, struct mlx5_wqe_eth_seg *eseg,
 195                    struct mlx5e_swp_spec *swp_spec)
 196 {
 197         /* SWP offsets are in 2-bytes words */
 198         eseg->swp_outer_l3_offset = skb_network_offset(skb) / 2;
 199         if (swp_spec->l3_proto == htons(ETH_P_IPV6))
 200                 eseg->swp_flags |= MLX5_ETH_WQE_SWP_OUTER_L3_IPV6;
 201         if (swp_spec->l4_proto) {
 202                 eseg->swp_outer_l4_offset = skb_transport_offset(skb) / 2;
 203                 if (swp_spec->l4_proto == IPPROTO_UDP)
 204                         eseg->swp_flags |= MLX5_ETH_WQE_SWP_OUTER_L4_UDP;
 205         }
 206
 207         if (swp_spec->is_tun) {
 208                 eseg->swp_inner_l3_offset = skb_inner_network_offset(skb) / 2;
 209                 if (swp_spec->tun_l3_proto == htons(ETH_P_IPV6))
 210                         eseg->swp_flags |= MLX5_ETH_WQE_SWP_INNER_L3_IPV6;
 211         } else { /* typically for ipsec when xfrm mode != XFRM_MODE_TUNNEL */
 212                 eseg->swp_inner_l3_offset = skb_network_offset(skb) / 2;
 213                 if (swp_spec->l3_proto == htons(ETH_P_IPV6))
 214                         eseg->swp_flags |= MLX5_ETH_WQE_SWP_INNER_L3_IPV6;
 215         }
 216         switch (swp_spec->tun_l4_proto) {
 217         case IPPROTO_UDP:
 218                 eseg->swp_flags |= MLX5_ETH_WQE_SWP_INNER_L4_UDP;
 219                 /* fall through */
 220         case IPPROTO_TCP:
 221                 eseg->swp_inner_l4_offset = skb_inner_transport_offset(skb) / 2;
 222                 break;
 223         }
 224 }
 225
 226 #endif