scripts/recordmcount.c

   1 // SPDX-License-Identifier: GPL-2.0-only
   2 /*
   3  * recordmcount.c: construct a table of the locations of calls to 'mcount'
   4  * so that ftrace can find them quickly.
   5  * Copyright 2009 John F. Reiser <jreiser@BitWagon.com>.  All rights reserved.
   6  *
   7  * Restructured to fit Linux format, as well as other updates:
   8  *  Copyright 2010 Steven Rostedt <srostedt@redhat.com>, Red Hat Inc.
   9  */
  10
  11 /*
  12  * Strategy: alter the .o file in-place.
  13  *
  14  * Append a new STRTAB that has the new section names, followed by a new array
  15  * ElfXX_Shdr[] that has the new section headers, followed by the section
  16  * contents for __mcount_loc and its relocations.  The old shstrtab strings,
  17  * and the old ElfXX_Shdr[] array, remain as "garbage" (commonly, a couple
  18  * kilobytes.)  Subsequent processing by /bin/ld (or the kernel module loader)
  19  * will ignore the garbage regions, because they are not designated by the
  20  * new .e_shoff nor the new ElfXX_Shdr[].  [In order to remove the garbage,
  21  * then use "ld -r" to create a new file that omits the garbage.]
  22  */
  23
  24 #include <sys/types.h>
  25 #include <sys/mman.h>
  26 #include <sys/stat.h>
  27 #include <getopt.h>
  28 #include <elf.h>
  29 #include <fcntl.h>
  30 #include <stdio.h>
  31 #include <stdlib.h>
  32 #include <string.h>
  33 #include <unistd.h>
  34
  35 #ifndef EM_AARCH64
  36 #define EM_AARCH64      183
  37 #define R_AARCH64_NONE          0
  38 #define R_AARCH64_ABS64 257
  39 #endif
  40
  41 static int fd_map;      /* File descriptor for file being modified. */
  42 static int mmap_failed; /* Boolean flag. */
  43 static char gpfx;       /* prefix for global symbol name (sometimes '_') */
  44 static struct stat sb;  /* Remember .st_size, etc. */
  45 static const char *altmcount;   /* alternate mcount symbol name */
  46 static int warn_on_notrace_sect; /* warn when section has mcount not being recorded */
  47 static void *file_map;  /* pointer of the mapped file */
  48 static void *file_end;  /* pointer to the end of the mapped file */
  49 static int file_updated; /* flag to state file was changed */
  50 static void *file_ptr;  /* current file pointer location */
  51 static void *file_append; /* added to the end of the file */
  52 static size_t file_append_size; /* how much is added to end of file */
  53
  54 /* Per-file resource cleanup when multiple files. */
  55 static void cleanup(void)
  56 {
  57         if (!mmap_failed)
  58                 munmap(file_map, sb.st_size);
  59         else
  60                 free(file_map);
  61         file_map = NULL;
  62         free(file_append);
  63         file_append = NULL;
  64         file_append_size = 0;
  65         file_updated = 0;
  66 }
  67
  68 /* ulseek, uwrite, ...:  Check return value for errors. */
  69
  70 static off_t ulseek(off_t const offset, int const whence)
  71 {
  72         switch (whence) {
  73         case SEEK_SET:
  74                 file_ptr = file_map + offset;
  75                 break;
  76         case SEEK_CUR:
  77                 file_ptr += offset;
  78                 break;
  79         case SEEK_END:
  80                 file_ptr = file_map + (sb.st_size - offset);
  81                 break;
  82         }
  83         if (file_ptr < file_map) {
  84                 fprintf(stderr, "lseek: seek before file\n");
  85                 return -1;
  86         }
  87         return file_ptr - file_map;
  88 }
  89
  90 static ssize_t uwrite(void const *const buf, size_t const count)
  91 {
  92         size_t cnt = count;
  93         off_t idx = 0;
  94
  95         file_updated = 1;
  96
  97         if (file_ptr + count >= file_end) {
  98                 off_t aoffset = (file_ptr + count) - file_end;
  99
 100                 if (aoffset > file_append_size) {
 101                         file_append = realloc(file_append, aoffset);
 102                         file_append_size = aoffset;
 103                 }
 104                 if (!file_append) {
 105                         perror("write");
 106                         cleanup();
 107                         return -1;
 108                 }
 109                 if (file_ptr < file_end) {
 110                         cnt = file_end - file_ptr;
 111                 } else {
 112                         cnt = 0;
 113                         idx = aoffset - count;
 114                 }
 115         }
 116
 117         if (cnt)
 118                 memcpy(file_ptr, buf, cnt);
 119
 120         if (cnt < count)
 121                 memcpy(file_append + idx, buf + cnt, count - cnt);
 122
 123         file_ptr += count;
 124         return count;
 125 }
 126
 127 static void * umalloc(size_t size)
 128 {
 129         void *const addr = malloc(size);
 130         if (addr == 0) {
 131                 fprintf(stderr, "malloc failed: %zu bytes\n", size);
 132                 cleanup();
 133                 return NULL;
 134         }
 135         return addr;
 136 }
 137
 138 static unsigned char ideal_nop5_x86_64[5] = { 0x0f, 0x1f, 0x44, 0x00, 0x00 };
 139 static unsigned char ideal_nop5_x86_32[5] = { 0x3e, 0x8d, 0x74, 0x26, 0x00 };
 140 static unsigned char *ideal_nop;
 141
 142 static char rel_type_nop;
 143
 144 static int (*make_nop)(void *map, size_t const offset);
 145
 146 static int make_nop_x86(void *map, size_t const offset)
 147 {
 148         uint32_t *ptr;
 149         unsigned char *op;
 150
 151         /* Confirm we have 0xe8 0x0 0x0 0x0 0x0 */
 152         ptr = map + offset;
 153         if (*ptr != 0)
 154                 return -1;
 155
 156         op = map + offset - 1;
 157         if (*op != 0xe8)
 158                 return -1;
 159
 160         /* convert to nop */
 161         if (ulseek(offset - 1, SEEK_SET) < 0)
 162                 return -1;
 163         if (uwrite(ideal_nop, 5) < 0)
 164                 return -1;
 165         return 0;
 166 }
 167
 168 static unsigned char ideal_nop4_arm_le[4] = { 0x00, 0x00, 0xa0, 0xe1 }; /* mov r0, r0 */
 169 static unsigned char ideal_nop4_arm_be[4] = { 0xe1, 0xa0, 0x00, 0x00 }; /* mov r0, r0 */
 170 static unsigned char *ideal_nop4_arm;
 171
 172 static unsigned char bl_mcount_arm_le[4] = { 0xfe, 0xff, 0xff, 0xeb }; /* bl */
 173 static unsigned char bl_mcount_arm_be[4] = { 0xeb, 0xff, 0xff, 0xfe }; /* bl */
 174 static unsigned char *bl_mcount_arm;
 175
 176 static unsigned char push_arm_le[4] = { 0x04, 0xe0, 0x2d, 0xe5 }; /* push {lr} */
 177 static unsigned char push_arm_be[4] = { 0xe5, 0x2d, 0xe0, 0x04 }; /* push {lr} */
 178 static unsigned char *push_arm;
 179
 180 static unsigned char ideal_nop2_thumb_le[2] = { 0x00, 0xbf }; /* nop */
 181 static unsigned char ideal_nop2_thumb_be[2] = { 0xbf, 0x00 }; /* nop */
 182 static unsigned char *ideal_nop2_thumb;
 183
 184 static unsigned char push_bl_mcount_thumb_le[6] = { 0x00, 0xb5, 0xff, 0xf7, 0xfe, 0xff }; /* push {lr}, bl */
 185 static unsigned char push_bl_mcount_thumb_be[6] = { 0xb5, 0x00, 0xf7, 0xff, 0xff, 0xfe }; /* push {lr}, bl */
 186 static unsigned char *push_bl_mcount_thumb;
 187
 188 static int make_nop_arm(void *map, size_t const offset)
 189 {
 190         char *ptr;
 191         int cnt = 1;
 192         int nop_size;
 193         size_t off = offset;
 194
 195         ptr = map + offset;
 196         if (memcmp(ptr, bl_mcount_arm, 4) == 0) {
 197                 if (memcmp(ptr - 4, push_arm, 4) == 0) {
 198                         off -= 4;
 199                         cnt = 2;
 200                 }
 201                 ideal_nop = ideal_nop4_arm;
 202                 nop_size = 4;
 203         } else if (memcmp(ptr - 2, push_bl_mcount_thumb, 6) == 0) {
 204                 cnt = 3;
 205                 nop_size = 2;
 206                 off -= 2;
 207                 ideal_nop = ideal_nop2_thumb;
 208         } else
 209                 return -1;
 210
 211         /* Convert to nop */
 212         if (ulseek(off, SEEK_SET) < 0)
 213                 return -1;
 214
 215         do {
 216                 if (uwrite(ideal_nop, nop_size) < 0)
 217                         return -1;
 218         } while (--cnt > 0);
 219
 220         return 0;
 221 }
 222
 223 static unsigned char ideal_nop4_arm64[4] = {0x1f, 0x20, 0x03, 0xd5};
 224 static int make_nop_arm64(void *map, size_t const offset)
 225 {
 226         uint32_t *ptr;
 227
 228         ptr = map + offset;
 229         /* bl <_mcount> is 0x94000000 before relocation */
 230         if (*ptr != 0x94000000)
 231                 return -1;
 232
 233         /* Convert to nop */
 234         if (ulseek(offset, SEEK_SET) < 0)
 235                 return -1;
 236         if (uwrite(ideal_nop, 4) < 0)
 237                 return -1;
 238         return 0;
 239 }
 240
 241 /*
 242  * Get the whole file as a programming convenience in order to avoid
 243  * malloc+lseek+read+free of many pieces.  If successful, then mmap
 244  * avoids copying unused pieces; else just read the whole file.
 245  * Open for both read and write; new info will be appended to the file.
 246  * Use MAP_PRIVATE so that a few changes to the in-memory ElfXX_Ehdr
 247  * do not propagate to the file until an explicit overwrite at the last.
 248  * This preserves most aspects of consistency (all except .st_size)
 249  * for simultaneous readers of the file while we are appending to it.
 250  * However, multiple writers still are bad.  We choose not to use
 251  * locking because it is expensive and the use case of kernel build
 252  * makes multiple writers unlikely.
 253  */
 254 static void *mmap_file(char const *fname)
 255 {
 256         file_map = NULL;
 257         sb.st_size = 0;
 258         fd_map = open(fname, O_RDONLY);
 259         if (fd_map < 0) {
 260                 perror(fname);
 261                 return NULL;
 262         }
 263         if (fstat(fd_map, &sb) < 0) {
 264                 perror(fname);
 265                 goto out;
 266         }
 267         if (!S_ISREG(sb.st_mode)) {
 268                 fprintf(stderr, "not a regular file: %s\n", fname);
 269                 goto out;
 270         }
 271         file_map = mmap(0, sb.st_size, PROT_READ|PROT_WRITE, MAP_PRIVATE,
 272                         fd_map, 0);
 273         mmap_failed = 0;
 274         if (file_map == MAP_FAILED) {
 275                 mmap_failed = 1;
 276                 file_map = umalloc(sb.st_size);
 277                 if (!file_map) {
 278                         perror(fname);
 279                         goto out;
 280                 }
 281                 if (read(fd_map, file_map, sb.st_size) != sb.st_size) {
 282                         perror(fname);
 283                         free(file_map);
 284                         file_map = NULL;
 285                         goto out;
 286                 }
 287         }
 288 out:
 289         close(fd_map);
 290
 291         file_end = file_map + sb.st_size;
 292
 293         return file_map;
 294 }
 295
 296 static int write_file(const char *fname)
 297 {
 298         char tmp_file[strlen(fname) + 4];
 299         size_t n;
 300
 301         if (!file_updated)
 302                 return 0;
 303
 304         sprintf(tmp_file, "%s.rc", fname);
 305
 306         /*
 307          * After reading the entire file into memory, delete it
 308          * and write it back, to prevent weird side effects of modifying
 309          * an object file in place.
 310          */
 311         fd_map = open(tmp_file, O_WRONLY | O_TRUNC | O_CREAT, sb.st_mode);
 312         if (fd_map < 0) {
 313                 perror(fname);
 314                 return -1;
 315         }
 316         n = write(fd_map, file_map, sb.st_size);
 317         if (n != sb.st_size) {
 318                 perror("write");
 319                 close(fd_map);
 320                 return -1;
 321         }
 322         if (file_append_size) {
 323                 n = write(fd_map, file_append, file_append_size);
 324                 if (n != file_append_size) {
 325                         perror("write");
 326                         close(fd_map);
 327                         return -1;
 328                 }
 329         }
 330         close(fd_map);
 331         if (rename(tmp_file, fname) < 0) {
 332                 perror(fname);
 333                 return -1;
 334         }
 335         return 0;
 336 }
 337
 338 /* w8rev, w8nat, ...: Handle endianness. */
 339
 340 static uint64_t w8rev(uint64_t const x)
 341 {
 342         return   ((0xff & (x >> (0 * 8))) << (7 * 8))
 343                | ((0xff & (x >> (1 * 8))) << (6 * 8))
 344                | ((0xff & (x >> (2 * 8))) << (5 * 8))
 345                | ((0xff & (x >> (3 * 8))) << (4 * 8))
 346                | ((0xff & (x >> (4 * 8))) << (3 * 8))
 347                | ((0xff & (x >> (5 * 8))) << (2 * 8))
 348                | ((0xff & (x >> (6 * 8))) << (1 * 8))
 349                | ((0xff & (x >> (7 * 8))) << (0 * 8));
 350 }
 351
 352 static uint32_t w4rev(uint32_t const x)
 353 {
 354         return   ((0xff & (x >> (0 * 8))) << (3 * 8))
 355                | ((0xff & (x >> (1 * 8))) << (2 * 8))
 356                | ((0xff & (x >> (2 * 8))) << (1 * 8))
 357                | ((0xff & (x >> (3 * 8))) << (0 * 8));
 358 }
 359
 360 static uint32_t w2rev(uint16_t const x)
 361 {
 362         return   ((0xff & (x >> (0 * 8))) << (1 * 8))
 363                | ((0xff & (x >> (1 * 8))) << (0 * 8));
 364 }
 365
 366 static uint64_t w8nat(uint64_t const x)
 367 {
 368         return x;
 369 }
 370
 371 static uint32_t w4nat(uint32_t const x)
 372 {
 373         return x;
 374 }
 375
 376 static uint32_t w2nat(uint16_t const x)
 377 {
 378         return x;
 379 }
 380
 381 static uint64_t (*w8)(uint64_t);
 382 static uint32_t (*w)(uint32_t);
 383 static uint32_t (*w2)(uint16_t);
 384
 385 /* Names of the sections that could contain calls to mcount. */
 386 static int is_mcounted_section_name(char const *const txtname)
 387 {
 388         return strncmp(".text",          txtname, 5) == 0 ||
 389                 strcmp(".init.text",     txtname) == 0 ||
 390                 strcmp(".ref.text",      txtname) == 0 ||
 391                 strcmp(".sched.text",    txtname) == 0 ||
 392                 strcmp(".spinlock.text", txtname) == 0 ||
 393                 strcmp(".irqentry.text", txtname) == 0 ||
 394                 strcmp(".softirqentry.text", txtname) == 0 ||
 395                 strcmp(".kprobes.text", txtname) == 0 ||
 396                 strcmp(".cpuidle.text", txtname) == 0;
 397 }
 398
 399 static char const *already_has_rel_mcount = "success"; /* our work here is done! */
 400
 401 /* 32 bit and 64 bit are very similar */
 402 #include "recordmcount.h"
 403 #define RECORD_MCOUNT_64
 404 #include "recordmcount.h"
 405
 406 /* 64-bit EM_MIPS has weird ELF64_Rela.r_info.
 407  * http://techpubs.sgi.com/library/manuals/4000/007-4658-001/pdf/007-4658-001.pdf
 408  * We interpret Table 29 Relocation Operation (Elf64_Rel, Elf64_Rela) [p.40]
 409  * to imply the order of the members; the spec does not say so.
 410  *      typedef unsigned char Elf64_Byte;
 411  * fails on MIPS64 because their <elf.h> already has it!
 412  */
 413
 414 typedef uint8_t myElf64_Byte;           /* Type for a 8-bit quantity.  */
 415
 416 union mips_r_info {
 417         Elf64_Xword r_info;
 418         struct {
 419                 Elf64_Word r_sym;               /* Symbol index.  */
 420                 myElf64_Byte r_ssym;            /* Special symbol.  */
 421                 myElf64_Byte r_type3;           /* Third relocation.  */
 422                 myElf64_Byte r_type2;           /* Second relocation.  */
 423                 myElf64_Byte r_type;            /* First relocation.  */
 424         } r_mips;
 425 };
 426
 427 static uint64_t MIPS64_r_sym(Elf64_Rel const *rp)
 428 {
 429         return w(((union mips_r_info){ .r_info = rp->r_info }).r_mips.r_sym);
 430 }
 431
 432 static void MIPS64_r_info(Elf64_Rel *const rp, unsigned sym, unsigned type)
 433 {
 434         rp->r_info = ((union mips_r_info){
 435                 .r_mips = { .r_sym = w(sym), .r_type = type }
 436         }).r_info;
 437 }
 438
 439 static int do_file(char const *const fname)
 440 {
 441         Elf32_Ehdr *const ehdr = mmap_file(fname);
 442         unsigned int reltype = 0;
 443         int rc = -1;
 444
 445         if (!ehdr)
 446                 goto out;
 447
 448         w = w4nat;
 449         w2 = w2nat;
 450         w8 = w8nat;
 451         switch (ehdr->e_ident[EI_DATA]) {
 452                 static unsigned int const endian = 1;
 453         default:
 454                 fprintf(stderr, "unrecognized ELF data encoding %d: %s\n",
 455                         ehdr->e_ident[EI_DATA], fname);
 456                 goto out;
 457         case ELFDATA2LSB:
 458                 if (*(unsigned char const *)&endian != 1) {
 459                         /* main() is big endian, file.o is little endian. */
 460                         w = w4rev;
 461                         w2 = w2rev;
 462                         w8 = w8rev;
 463                 }
 464                 ideal_nop4_arm = ideal_nop4_arm_le;
 465                 bl_mcount_arm = bl_mcount_arm_le;
 466                 push_arm = push_arm_le;
 467                 ideal_nop2_thumb = ideal_nop2_thumb_le;
 468                 push_bl_mcount_thumb = push_bl_mcount_thumb_le;
 469                 break;
 470         case ELFDATA2MSB:
 471                 if (*(unsigned char const *)&endian != 0) {
 472                         /* main() is little endian, file.o is big endian. */
 473                         w = w4rev;
 474                         w2 = w2rev;
 475                         w8 = w8rev;
 476                 }
 477                 ideal_nop4_arm = ideal_nop4_arm_be;
 478                 bl_mcount_arm = bl_mcount_arm_be;
 479                 push_arm = push_arm_be;
 480                 ideal_nop2_thumb = ideal_nop2_thumb_be;
 481                 push_bl_mcount_thumb = push_bl_mcount_thumb_be;
 482                 break;
 483         }  /* end switch */
 484         if (memcmp(ELFMAG, ehdr->e_ident, SELFMAG) != 0 ||
 485             w2(ehdr->e_type) != ET_REL ||
 486             ehdr->e_ident[EI_VERSION] != EV_CURRENT) {
 487                 fprintf(stderr, "unrecognized ET_REL file %s\n", fname);
 488                 goto out;
 489         }
 490
 491         gpfx = '_';
 492         switch (w2(ehdr->e_machine)) {
 493         default:
 494                 fprintf(stderr, "unrecognized e_machine %u %s\n",
 495                         w2(ehdr->e_machine), fname);
 496                 goto out;
 497         case EM_386:
 498                 reltype = R_386_32;
 499                 rel_type_nop = R_386_NONE;
 500                 make_nop = make_nop_x86;
 501                 ideal_nop = ideal_nop5_x86_32;
 502                 mcount_adjust_32 = -1;
 503                 gpfx = 0;
 504                 break;
 505         case EM_ARM:
 506                 reltype = R_ARM_ABS32;
 507                 altmcount = "__gnu_mcount_nc";
 508                 make_nop = make_nop_arm;
 509                 rel_type_nop = R_ARM_NONE;
 510                 gpfx = 0;
 511                 break;
 512         case EM_AARCH64:
 513                 reltype = R_AARCH64_ABS64;
 514                 make_nop = make_nop_arm64;
 515                 rel_type_nop = R_AARCH64_NONE;
 516                 ideal_nop = ideal_nop4_arm64;
 517                 break;
 518         case EM_IA_64:  reltype = R_IA64_IMM64; break;
 519         case EM_MIPS:   /* reltype: e_class    */ break;
 520         case EM_PPC:    reltype = R_PPC_ADDR32; break;
 521         case EM_PPC64:  reltype = R_PPC64_ADDR64; break;
 522         case EM_S390:   /* reltype: e_class    */ break;
 523         case EM_SH:     reltype = R_SH_DIR32; gpfx = 0; break;
 524         case EM_SPARCV9: reltype = R_SPARC_64; break;
 525         case EM_X86_64:
 526                 make_nop = make_nop_x86;
 527                 ideal_nop = ideal_nop5_x86_64;
 528                 reltype = R_X86_64_64;
 529                 rel_type_nop = R_X86_64_NONE;
 530                 mcount_adjust_64 = -1;
 531                 gpfx = 0;
 532                 break;
 533         }  /* end switch */
 534
 535         switch (ehdr->e_ident[EI_CLASS]) {
 536         default:
 537                 fprintf(stderr, "unrecognized ELF class %d %s\n",
 538                         ehdr->e_ident[EI_CLASS], fname);
 539                 goto out;
 540         case ELFCLASS32:
 541                 if (w2(ehdr->e_ehsize) != sizeof(Elf32_Ehdr)
 542                 ||  w2(ehdr->e_shentsize) != sizeof(Elf32_Shdr)) {
 543                         fprintf(stderr,
 544                                 "unrecognized ET_REL file: %s\n", fname);
 545                         goto out;
 546                 }
 547                 if (w2(ehdr->e_machine) == EM_MIPS) {
 548                         reltype = R_MIPS_32;
 549                         is_fake_mcount32 = MIPS32_is_fake_mcount;
 550                 }
 551                 if (do32(ehdr, fname, reltype) < 0)
 552                         goto out;
 553                 break;
 554         case ELFCLASS64: {
 555                 Elf64_Ehdr *const ghdr = (Elf64_Ehdr *)ehdr;
 556                 if (w2(ghdr->e_ehsize) != sizeof(Elf64_Ehdr)
 557                 ||  w2(ghdr->e_shentsize) != sizeof(Elf64_Shdr)) {
 558                         fprintf(stderr,
 559                                 "unrecognized ET_REL file: %s\n", fname);
 560                         goto out;
 561                 }
 562                 if (w2(ghdr->e_machine) == EM_S390) {
 563                         reltype = R_390_64;
 564                         mcount_adjust_64 = -14;
 565                 }
 566                 if (w2(ghdr->e_machine) == EM_MIPS) {
 567                         reltype = R_MIPS_64;
 568                         Elf64_r_sym = MIPS64_r_sym;
 569                         Elf64_r_info = MIPS64_r_info;
 570                         is_fake_mcount64 = MIPS64_is_fake_mcount;
 571                 }
 572                 if (do64(ghdr, fname, reltype) < 0)
 573                         goto out;
 574                 break;
 575         }
 576         }  /* end switch */
 577
 578         rc = write_file(fname);
 579 out:
 580         cleanup();
 581         return rc;
 582 }
 583
 584 int main(int argc, char *argv[])
 585 {
 586         const char ftrace[] = "/ftrace.o";
 587         int ftrace_size = sizeof(ftrace) - 1;
 588         int n_error = 0;  /* gcc-4.3.0 false positive complaint */
 589         int c;
 590         int i;
 591
 592         while ((c = getopt(argc, argv, "w")) >= 0) {
 593                 switch (c) {
 594                 case 'w':
 595                         warn_on_notrace_sect = 1;
 596                         break;
 597                 default:
 598                         fprintf(stderr, "usage: recordmcount [-w] file.o...\n");
 599                         return 0;
 600                 }
 601         }
 602
 603         if ((argc - optind) < 1) {
 604                 fprintf(stderr, "usage: recordmcount [-w] file.o...\n");
 605                 return 0;
 606         }
 607
 608         /* Process each file in turn, allowing deep failure. */
 609         for (i = optind; i < argc; i++) {
 610                 char *file = argv[i];
 611                 int len;
 612
 613                 /*
 614                  * The file kernel/trace/ftrace.o references the mcount
 615                  * function but does not call it. Since ftrace.o should
 616                  * not be traced anyway, we just skip it.
 617                  */
 618                 len = strlen(file);
 619                 if (len >= ftrace_size &&
 620                     strcmp(file + (len - ftrace_size), ftrace) == 0)
 621                         continue;
 622
 623                 /* Avoid problems if early cleanup() */
 624                 fd_map = -1;
 625                 mmap_failed = 1;
 626                 file_map = NULL;
 627                 file_ptr = NULL;
 628                 file_updated = 0;
 629                 if (do_file(file)) {
 630                         fprintf(stderr, "%s: failed\n", file);
 631                         ++n_error;
 632                 }
 633         }
 634         return !!n_error;
 635 }