arch/csky/mm/cachev2.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 // Copyright (C) 2018 Hangzhou C-SKY Microsystems co.,ltd.
   3
   4 #include <linux/spinlock.h>
   5 #include <linux/smp.h>
   6 #include <linux/mm.h>
   7 #include <asm/cache.h>
   8 #include <asm/barrier.h>
   9
  10 #define INS_CACHE               (1 << 0)
  11 #define CACHE_INV               (1 << 4)
  12
  13 void local_icache_inv_all(void *priv)
  14 {
  15         mtcr("cr17", INS_CACHE|CACHE_INV);
  16         sync_is();
  17 }
  18
  19 void icache_inv_all(void)
  20 {
  21         on_each_cpu(local_icache_inv_all, NULL, 1);
  22 }
  23
  24 #ifdef CONFIG_CPU_HAS_ICACHE_INS
  25 void icache_inv_range(unsigned long start, unsigned long end)
  26 {
  27         unsigned long i = start & ~(L1_CACHE_BYTES - 1);
  28
  29         for (; i < end; i += L1_CACHE_BYTES)
  30                 asm volatile("icache.iva %0\n"::"r"(i):"memory");
  31         sync_is();
  32 }
  33 #else
  34 void icache_inv_range(unsigned long start, unsigned long end)
  35 {
  36         icache_inv_all();
  37 }
  38 #endif
  39
  40 inline void dcache_wb_line(unsigned long start)
  41 {
  42         asm volatile("dcache.cval1 %0\n"::"r"(start):"memory");
  43         sync_is();
  44 }
  45
  46 void dcache_wb_range(unsigned long start, unsigned long end)
  47 {
  48         unsigned long i = start & ~(L1_CACHE_BYTES - 1);
  49
  50         for (; i < end; i += L1_CACHE_BYTES)
  51                 asm volatile("dcache.cval1 %0\n"::"r"(i):"memory");
  52         sync_is();
  53 }
  54
  55 void dcache_inv_range(unsigned long start, unsigned long end)
  56 {
  57         unsigned long i = start & ~(L1_CACHE_BYTES - 1);
  58
  59         for (; i < end; i += L1_CACHE_BYTES)
  60                 asm volatile("dcache.civa %0\n"::"r"(i):"memory");
  61         sync_is();
  62 }
  63
  64 void cache_wbinv_range(unsigned long start, unsigned long end)
  65 {
  66         unsigned long i = start & ~(L1_CACHE_BYTES - 1);
  67
  68         for (; i < end; i += L1_CACHE_BYTES)
  69                 asm volatile("dcache.cval1 %0\n"::"r"(i):"memory");
  70         sync_is();
  71
  72         icache_inv_range(start, end);
  73 }
  74 EXPORT_SYMBOL(cache_wbinv_range);
  75
  76 void dma_wbinv_range(unsigned long start, unsigned long end)
  77 {
  78         unsigned long i = start & ~(L1_CACHE_BYTES - 1);
  79
  80         for (; i < end; i += L1_CACHE_BYTES)
  81                 asm volatile("dcache.civa %0\n"::"r"(i):"memory");
  82         sync_is();
  83 }
  84
  85 void dma_inv_range(unsigned long start, unsigned long end)
  86 {
  87         unsigned long i = start & ~(L1_CACHE_BYTES - 1);
  88
  89         for (; i < end; i += L1_CACHE_BYTES)
  90                 asm volatile("dcache.iva %0\n"::"r"(i):"memory");
  91         sync_is();
  92 }
  93
  94 void dma_wb_range(unsigned long start, unsigned long end)
  95 {
  96         unsigned long i = start & ~(L1_CACHE_BYTES - 1);
  97
  98         for (; i < end; i += L1_CACHE_BYTES)
  99                 asm volatile("dcache.cva %0\n"::"r"(i):"memory");
 100         sync_is();
 101 }