fedora-buffet: exit with status from quick-fedora-mirror

fedora-buffet: exit early if bind mounts appear to be missing

fedora-buffet: more verbosity

resync quick-fedora-mirror from upstream

https://pagure.io/quick-fedora-mirror/raw/b82aea5d10ebdb06a1ccab352d6c4692e90b7b63/f/quick-fedora-mirror

Switch upstream to csail because gatech is not responding

fedora-buffet: set -e to report errors back to jenkins

fedora-buffet: switch upstreams again

download-i2.fedoraproject.org does not seem to present consistent
states despite being (or once being?) a master mirror.
Let's use dl.fedoraproject.org instead.

Once things are clearly stable, we should look into being tier-1 again
and switching to dl-tier1.fedoraproject.org.

fedora-buffet: enable --alwayscheck

fedora-buffet: minor adjustments

- .fedora-buffet -> fedora-buffet
- rename the tempdir

combine fedora and epel jobs into fedora-buffet

Revert "fedora and fedora-epel: abusing DESTD to limit scope and hopefully appease rsync"

This reverts commit e9b0a0bcb10fe7bdf976f92cb6dbd1b88ea40c69.

fedora and fedora-epel: abusing DESTD to limit scope and hopefully appease rsync

fedora and fedora-epel: readjust settings to try going tier-1 again

fix quick-fedora-mirror conf file name

fedora and fedora-epel: drop --dry-run

Also tweaking the tmpdir and timefile filenames.

fedora and fedora-epel: drop trailing slash from RSYNCSOURCE

fedora and fedora-epel: can't write to cwd, so use a tmpdir

fedora and fedora-epel: use quick-fedora-mirror

Initially committing this to use --dry-run. If that looks good, we'll run the real thing.

Also switching back to mirrors.rit.edu.

NB: quick-fedora-mirror requires zsh

finnix: switch upstream to releases.finnix.org

Switch to archive.linux.duke.edu for fedora, another Tier-1 mirror

centos: not quiet, please

gentoo: use mirrors.rit.edu as upstream

arch: drop max-delete

ubuntu-archive: Generate trace timestamp

kde: Change upstream hostname to rsync.kde.org

parrot: Fix upstream hostname to deb.parrotsec.org

fedora-epel: Switch to mirrors.rit.edu upstream

fedora: Only sync fedora subdir of fedora-enchilada

Switch to mirrors.rit.edu for fedora, a Tier 1 mirror

Switch to new Gentoo upstream

Switch to closer Ubuntu mirror

debian: restore --links option

fetch-hudson: Ignore exit status 25 due to --max-delete limit

debian: Use --delete-delay instead of --delete-after in pass 2 as per ftpsync

debian: I have no idea why we set a --block-size

debian: Update pass 1 include/excludes to match latest ftpsync

debian: Enable --safe-links

kernel: Use rsync.kernel.org instead of www.kernel.org

Switch arch upstream to kernel.org

rit.edu appears to have very high failure rate

Abandon gatech as arch upstream; use rit instead

Remove --hard-links from debian

Raspbian upstream lug.mtu.edu no longer available

Switching to real upstream archive.raspbian.org

Signed-off-by: Lizhou Sha <slz@mit.edu>

Revert "Switch upstream to csail because gatech stopped syncing"

This reverts commit e025702483dcf23b88b94cf2232082aec38c6378.

Upstream is working. Turns out Debian FTP master was probably not
updating.

Switch upstream to csail because gatech stopped syncing

Added --verbose flag to the macports script

Signed-off-by: Lizhou Sha <slz@mit.edu>

Created rsync script to mirror MacPorts

Signed-off-by: Eric Lujan <lujan@mit.edu>
Signed-off-by: Lizhou Sha <slz@mit.edu>

Revert "Switch debian upstream to csail temporarily because gatech is sad."

Gatech is alive again.

This reverts commit a314c0ce1746d01e97de919cde5bc4a4e1fa1f01.

Revert "And backports too"

Oops, turns out csail doesn't have the backports thingy.

This reverts commit d151a3036b30583cf568f78b5ec6b07ad3f8fc20.

And backports too

Signed-off-by: Lizhou Sha <slz@mit.edu>

Switch debian upstream to csail temporarily because gatech is sad.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Create script for OSMC

Original request e-mail was <1453292874930.39504@samnazarko.co.uk>.

Signed-off-by: Benjamin Barenblat <bbaren@mit.edu>

Correct Parrot invocation

Signed-off-by: Benjamin Barenblat <bbaren@mit.edu>

Create script for Parrot Security OS <https://www.parrotsec.org/>

Original request e-mail was <55F038AB.70608@frozenbox.org>.

Signed-off-by: Benjamin Barenblat <bbaren@mit.edu>

Created mirror script for wireshark network protocal analyzer (website + downloads)

Signed-off-by: Eric Lujan <lujan@mit.edu>
Signed-off-by: Lizhou Sha <slz@mit.edu>

Use flock(1) instead of lockfile(1) to acquire locks.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Added .gitignore to ignore vim swap, undo, and backup files.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Revert "Switch Arch Linux upstream to RIT because GaTech went down."

This reverts commit 4f651c96171cc7df2e46bad1283a27c00101639e.
rsync.gtlib.gatech.edu is alive again.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Switch Arch Linux upstream to RIT because GaTech went down.

- Kodi is not switched because GaTech is the U.S. Tier 1 mirror.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Ignore exit status 23 and 24 from rsync

Signed-off-by: Anders Kaseorg <andersk@mit.edu>
Signed-off-by: Lizhou Sha <slz@mit.edu>

Exclude InRelease and i18n/* from ubuntu-archive pass 1

Signed-off-by: Anders Kaseorg <andersk@mit.edu>
Signed-off-by: Lizhou Sha <slz@mit.edu>

Patch to conform to OpenBSD's mirror requirements.

- Switch OpenBSD upstream to a level 2 mirror as requested by upstream.
  (Adam Suhl)
- Keep OpenBSD's upstream timestamp. (Adam Suhl)

Signed-off-by: Lizhou Sha <slz@mit.edu>

OpenBSD: exclude .~tmp~ files. (Adam Suhl)

Signed-off-by: Lizhou Sha <slz@mit.edu>

And change EPEL to WPI upstream, too.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Revert "Temporarily switch Fedora upstream to mirrors2.kernel.org"

This reverts commit 351ae989ecfdfaab12627d8ad4ddfd9ae6f3214c.
Switching back to WPI upstream for Fedora because they're syncing again.

Signed-off-by: Lizhou Sha <slz@mit.edu>

mirrors2.kernel.org is not good; switch to rsync.gtlib.gatech.edu

Signed-off-by: Lizhou Sha <slz@mit.edu>

... And epel, too.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Temporarily switch Fedora upstream to mirrors2.kernel.org

The Fedora content on download.wpi.edu has not been updated since August
23.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Revert "Including non-full images for debian-cd, or else no .iso file is mirrored."

As pointed out by achernya, the netinst images are already in the main
Debian archive.

This reverts commit 1900842155a92e934a03df8e99af540d05319f45.

Including non-full images for debian-cd, or else no .iso file is mirrored.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Fix --hard-links flag typo in kodi

Signed-off-by: Lizhou Sha <slz@mit.edu>

Add Kodi (XBMC) archive mirroring script.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Add trailing / to the source directory of Tails.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Fix tails/tails/ directory redundancy.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Correct missing \ at EOL of tails script.

Signed-off-by: Lizhou Sha <slz@mit.edu>

Added Tails mirror script

Signed-off-by: Lizhou Sha <slz@mit.edu>

Added mirroring script for torproject.org

Signed-off-by: Lizhou Sha <slz@mit.edu>

Added OpenBSD

Add NetBSD

Sage: Add --verbose

Add Sage

Add libreboot

Exclude Translation* in the first pass

Switch PASS1 to an array

Patch courtesy of andersk@mit.edu. Correct the shell escaping of globs by
switching to a bash array; this avoids sending a literal backslash to rsync.

Update Debian sync options with currently recommended pass 1 flags

Do not do second rsync if first failed

arch linux

Fix Debian primary mirror we use

Previously, we got bounced to one of four mirrors which were
different and that resulted in unpredictable behavior.

Fix sugarlabs rsync flags

Add Finnix mirroring script

Fix rsync URL for FreeBSD to the one which actually works

Chagne FreeBSD mirror server

Increase timeout on ubuntu-archive

Currently, it times out in the middle of rsync. This should hopefully
fix the issue.

Print rsync version before running script

Add ubuntu-ports mirroring

Revert to wpi until Fedora Infrastructure figures out why we're timing out

Switch back to fedora0 targets now that solar-one is on the acl

mirrors.mit.edu has been added to Fedora's Internet2 ACL

Per communication with Matt Domsch, Fedora Mirror Wrangler,
mirrors.mit.edu has been promoted to be included in Fedora's Internet2
ACL, allowing us to get our content faster, and includes pre-release
content.

Typo

Initial version of debian-cd mirroring, incomplete

Temporarily switch raspbian to a closer site