Ubuntu 16.10 Yakkety Yak
Ubuntu 16.04 Xenial Xerus
BorgBackup (Borg) ist eine Datensicherungssoftware, die eine sehr platzsparende und schnelle inkrementelle Archivierung ermöglicht. Alle Archive werden dabei an einem gemeinsamen Speicherort (Repository) abgelegt. Dieser kann sich sowohl auf dem lokalen System, als auch auf einem entfernten Rechner oder Laufwerk befinden. Borg hat weder eine grafische Oberfläche noch eine Konfigurationsdatei und wird allein über die Kommandozeile gesteuert. Mit Hilfe von Skripten kann das Backup aber sehr einfach automatisiert werden. Borg ist eine Weiterentwicklung (Fork) des Programms Attic .
Besondere Eigenschaften:
Authentifizierte Verschlüsselung möglich (AES)
Auswahl zwischen mehreren Kompressionsmethoden (lz4, zlib, lzma)
Unterstützung des SSH-Protokolls für die Sicherung auf entfernten Rechnern
Unabhängig vom Dateisystem des Speicherorts
Borg unterscheidet sich von anderen Backupprogrammen vor allem durch die für die Deduplikation eingesetzte Technik. Hierbei werden alle Dateien in kleine Stücke (Chunks) zerlegt und mit den bereits vorhanden Chunks im Repository verglichen. Daher werden immer nur solche Daten gespeichert, die bisher noch nicht im Repository vorhanden sind. Die Deduplizierung ist bei Borg nicht auf die Dateiebene beschränkt, wie das z.B. bei Back In Time der Fall ist. Dadurch entsteht ein entscheidender Vorteil bei kleinen Änderungen an sehr großen Dateien (z.B. Abbilder von virtuellen Maschinen oder Laufwerken). Diese müssen nicht insgesamt neu gespeichert werden, sondern es werden immer nur die veränderten Chunks neu abgelegt. Auch beim Verschieben von Dateien im Dateisystem oder bei mehrfachem Vorhandensein sehr ähnlicher Daten (z.B. mehrerer virtueller Maschinen) wirkt sich diese Form der Deduplikation positiv auf den benötigten Speicherplatz aus.
Borg ist seit Ubuntu 16.04 Bestandteil der offiziellen Paketquellen. Die Installation erfolgt über das Paket [1]:
borgbackup (universe)
mit apturl
Paketliste zum Kopieren:
sudo apt-get install borgbackup
sudo aptitude install borgbackup
Alternativ zu offiziellen Paketquellen können auch Standalone Binarys genutzt werden. Dazu lädt man das gewünschte Binary mit dem Namen borg-linux32 oder borg-linux64 (je nach Systemarchitektur) von der Release-Seite herunter und installiert sie wie folgt [2]:
32-Bit:
sudo cp borg-linux32 /usr/local/bin/borg sudo chown root:root /usr/local/bin/borg sudo chmod 755 /usr/local/bin/borg
64-Bit:
sudo cp borg-linux64 /usr/local/bin/borg sudo chown root:root /usr/local/bin/borg sudo chmod 755 /usr/local/bin/borg
Vorteil: hierüber erhält man auch neuere Versionen als in den offiziellen Paketquellen verfügbar. Nachteil: um Updates muss man sich selbst kümmern.
Borg muss nicht unbedingt mit Administrator- bzw. Root-Rechten ausgeführt werden. Hat der Nutzer jedoch kein Schreibrecht auf den Speicherort oder kein Leserecht für alle zu sichernden Dateien, muss den folgenden Befehlen ggf. ein sudo
[3] vorangestellt werden.
Bevor Backups in Archiven gespeichert werden können, muss mit Hilfe des Terminals ein Repository angelegt werden:
mkdir REPO_VERZEICHNISPFAD borg init [OPTIONEN] REPO_VERZEICHNISPFAD
REPO_VERZEICHNISPFAD
gibt dabei den Pfad [4] zu einem leeren Verzeichnis an, in dem das Repository angelegt werden soll. Zu möglichen Optionen siehe nachfolgende Tabelle:
Wichtige Optionen für den init-Befehl | |
Option | Beschreibung |
-h oder --help | Ausgabe eines Hilfetextes |
-v oder --verbose | Ausführlichere Ausgabe von Meldungen |
-e oder --encryption {none,keyfile,repokey} | Wählt die Art der Verschlüsselung {keine, lokale Schlüsseldatei, Schlüsseldatei im Repository} |
Standard ist eine Verschlüsselung mit Ablage der Schlüsseldatei im Repository (repokey). Diese Datei wird dann über eine Passphrase gesichert. Befindet sich das Repository auf einem entfernten Rechner und will man die Sicherheit erhöhen, kann man die Schlüsseldatei auch im Verzeichnis ~.config/borg/keys' auf dem lokalen Rechner speichern (keyfile). Dann sollte man die Schlüsseldatei aber unbedingt zusätzlich sichern. Sonst kann bei einem Datenverlust des lokalen Rechners das Archiv nicht wieder entschlüsselt werden!
Beispiel: Der Benutzer "peter" möchte auf seiner externen Festplatte "HD_Backup" ein Repository "borgbackups" anlegen. In diesem Fall sieht die Befehlszeile so aus:
mkdir /media/peter/HD_Backup/borgbackups borg init /media/peter/HD_Backup/borgbackups
Nach Eingabe der Befehlszeile wird die Passphrase abgefragt, die zur Verschlüsselung verwendet werden soll. Da im Beispiel keine gesonderte Option angegeben wurde, wird die Standardoption repokey
verwendet und die Schlüsseldatei im Repository gespeichert.
Bevor Backup-Archive erstellt werden, muss sichergestellt werden, dass genügend freier Speicherplatz im Repository-Verzeichnis vorhanden ist. Auch im Homeverzeichnis unter ~/.cache sollten nach Angaben der Borg-Entwickler mehrere Gigabyte für die Indexierung frei sein.
Archive werden mittels create
angelegt. Die Liste der Verzeichnisse, die gesichert werden sollen, wird am Ende der Befehlszeile durch Leerzeichen getrennt angegeben.
borg create [OPTIONEN] REPO_VERZEICHNISPFAD::ARCHIVNAME VERZEICHNISPFAD_1 [VERZEICHNISPFAD_2 ...]
Zu möglichen Optionen für das Anlegen von Archiven siehe nachfolgende Tabelle:
Wichtige Optionen für den create-Befehl | |
Option | Beschreibung |
-h oder --help | Ausgabe eines Hilfetextes |
-v oder --verbose | Ausführlichere Ausgabe von Meldungen |
-s oder --stats | Ausgabe von Statistiken zum erzeugten Archiv |
-p oder --progress | Ausgabe einer Fortschrittsanzeige |
-e oder --exclude MUSTER | Ein bestimmtes Muster MUSTER bei der Sicherung ausschließen, z.B. *.tmp |
--exclude-caches | Cache-Verzeichnisse (mit dem CACHEDIR.TAG) ausschließen |
-x oder --one-file-system | Im gleichen Dateisystem bleiben und Einhängepunkte ignorieren |
-C oder --compression KOMPRESSION | Kompressionsalgorithmus und Stufe wählen (siehe nachfolgende Tabelle) |
Die in Borg implementierten Kompressionsalgorithmen unterscheiden sich in Bezug auf Geschwindigkeit und Kompressionsgrad: lz4 ist sehr schnell, erreicht aber nur eine mittlere Kompression. zlib erreicht eine mittlere Geschwindigkeit und Kompression, während lzma am langsamsten ist, aber den höchsten Kompressionsgrad ermöglicht.
Mögliche Werte für die Kompression | |
Kompression | Beschreibung |
none | Keine Kompression (Standard) |
lz4 | lz4 |
zlib | zlib Stufe 6 |
zlib,N | zlib Stufe N. N von 0 bis 9, z.B. zlib,8 |
lzma | lzma Stufe 6 |
lzma,N | lzma Stufe N. N von 0 bis 9, z.B. lzma,4 |
Beispiel: Der Benutzer "peter" hat auf einer externen Festplatte ein Repository "borgbackups" erstellt und will den Bilder- und den Video-Ordner seines Homeverzeichnisses in ein Archiv "MeineMedien" sichern. Die Kompression soll mit lzma der Stufe 4 erfolgen. In diesem Fall sieht die Befehlszeile so aus:
borg create -C lzma,4 /media/peter/HD_Backup/borgbackups::MeineMedien ~/Bilder ~/Videos
Die Wiederherstellung von Daten kann auf zwei unterschiedlichen Wegen erfolgen. Entweder werden die gesicherten Dateien und Verzeichnisse direkt ins Dateisystem zurück kopiert oder das gesamte Repository bzw. ein einzelnes Archiv wird mittels Fuse lesend ins Dateisystem eingebunden. In diesen Fall kann das Backup zunächst mit einem Dateimanager durchsucht und einzelne Dateien oder Verzeichnisse können anschließend an andere Orte kopiert werden.
Das Zurückspielen von Archiven wird mittels extract
vorgenommen. Dabei wird immer das aktuelle Verzeichnis als Ziel verwendet.
cd ZIEL_VERZEICHNISPFAD borg extract [OPTIONEN] REPO_VERZEICHNISPFAD::ARCHIVNAME [VERZEICHNISPFAD_1 VERZEICHNISPFAD_2 ...]
Werden am Ende der Befehlszeile keine Verzeichnisse angegeben, wird das gesamte Archiv extrahiert. Zu möglichen Optionen für das Extrahieren von Archiven siehe nachfolgende Tabelle:
Wichtige Optionen für den extract-Befehl | |
Option | Beschreibung |
-h oder --help | Ausgabe eines Hilfetextes |
-v oder --verbose | Ausführlichere Ausgabe von Meldungen |
-e oder --exclude MUSTER | Ein bestimmtes Muster MUSTER beim zurück spielen ausschließen, z.B. *.vdi |
-n oder --dry-run | Testlauf ohne Dateien zu schreiben |
Beispiel: Das Repository "borgbackups" des Benutzers "peter" liegt auf einer externen Festplatte. Das darin befindliche Verzeichnis "home/peter/Videos" im Archiv "MeineMedien" soll in das Verzeichnis "Wiederhergestellt" im Homeverzeichnis des Benutzers kopiert werden. Dieses Verzeichnis ist noch nicht vorhanden und muss zuvor erstellt werden. In diesem Fall sehen die Befehlszeilen so aus:
mkdir ~/Wiederhergestellt cd ~/Wiederhergestellt borg extract /media/peter/HD_Backup/borgbackups::MeineMedien home/peter/Videos
Das Einhängen von Archiven erfolgt mit dem Borg-Befehl mount
.
borg mount [OPTIONEN] REPO_VERZEICHNISPFAD[::ARCHIVNAME] ZIEL_VERZEICHNISPFAD
Wird kein Archivname angegeben, wird das gesamte Repository eingehängt. Nach dem Einhängen kann auf das Backup lesend zugegriffen werden. Zu möglichen Optionen für das Einhängen von Archiven siehe nachfolgende Tabelle:
Wichtige Optionen für den mount-Befehl | |
Option | Beschreibung |
-h oder --help | Ausgabe eines Hilfetextes |
-v oder --verbose | Ausführlichere Ausgabe von Meldungen |
-f oder --foreground | Prozess bleibt im Vordergrund. Das Backup wird ausgehängt, sobald der Prozess beendet wird. |
Wird mount
ohne die Option --foreground
aufgerufen, muss das Dateisystem wieder manuell ausgehängt werden:
fusermount -u ZIEL_VERZEICHNISPFAD
Ab borg 1.9 ist das Aushängen auch mittels borg umount <mountpoint>
möglich.
Beispiel: Das Repository "borgbackups" des Benutzers "peter" liegt auf einer externen Festplatte. Das darin befindliche Archiv "MeineMedien" soll in das Verzeichnis "Sicherung" im Homeverzeichnis eingehängt werden. Dieses Verzeichnis ist noch nicht vorhanden und muss zuvor angelegt werden. In diesem Fall sehen die Befehlszeilen so aus:
mkdir ~/Sicherung borg mount /media/peter/HD_Backup/borgbackups::MeineMedien ~/Sicherung fusermount -u ~/Sicherung # Nach Beendigung des Zugriffs
Eine vom Alter der Archive abhängige automatische Löschung kann mittels prune
vorgenommen werden.
borg prune [OPTIONEN] REPO_VERZEICHNISPFAD
Welche Archive nicht gelöscht werden sollen, wird mit Hilfe der Optionen festgelegt. Um nicht unbeabsichtigt Archive zu löschen, empfiehlt sich zunächst einen Testlauf mit den Optionen --dry-run -v --list
vorzunehmen. Zu möglichen Optionen für das automatische Löschen von Archiven siehe nachfolgende Tabelle:
Wichtige Optionen für den prune-Befehl | |
Option | Beschreibung |
-h oder --help | Ausgabe eines Hilfetextes |
-v oder --verbose | Ausführlichere Ausgabe von Meldungen |
-n oder --dry-run | Testlauf ohne Archive zu löschen |
--list | Ausgabe einer Liste welche Archive gelöscht/behalten werden |
--keep-within=NZ | Behalte alle Archive im Zeitintervall NZ. N ist dabei eine positive Ganzzahl und Z eine Abkürzung für die Zeiteinheit: "H" Stunden, "d" Tage, "w" Wochen, "m" Monate und "y" Jahre. Also z.B. "7m" für sieben Monate. |
-H=N oder --keep-hourly=N | Behalte zusätzlich je ein Archiv der letzten N Stunden |
-d=N oder --keep-daily=N | Behalte zusätzlich je ein Archiv der letzten N Tage |
-w=N oder --keep-weekly=N | Behalte zusätzlich je ein Archiv der letzten N Wochen |
-m=N oder --keep-monthly=N | Behalte zusätzlich je ein Archiv der letzten N Monate |
-y=N oder --keep-yearly=N | Behalte zusätzlich je ein Archiv der letzten N Jahre |
Beispiel: Das Repository "borgbackups" des Benutzers "peter" liegt auf einer externen Festplatte. Alle Archive, die innerhalb des letzten Tages erstellt wurden, sollen behalten werden. Außerdem sollen zusätzlich die aktuellsten Sicherungen der letzten sieben Sicherungstage, der letzten vier Wochen und der letzten zwölf Monate behalten werden. Es wird zunächst ein Testlauf durchgeführt:
borg prune --dry-run -v --list --keep-within=1d --keep-daily=7 --keep-weekly=4 --keep-monthly=12 /media/peter/HD_Backup/borgbackups
Um die Löschung tatsächlich vorzunehmen, muss der o.g. Befehl ohne die Option --dry-run
ausgeführt werden.
Soll das Repository auf einem entfernten Rechner mittels SSH angelegt werden, muss Borg vorher auch auf dem Zielrechner installiert werden. Danach muss bei allen den Borg-Befehlen der Ausdruck REPO_VERZEICHNISPFAD
durch ssh://BENUTZER@RECHNERNAME:PORT//REPO_VERZEICHNISPFAD
ersetzt werden. Dabei ist RECHNERNAME
der Name oder die IP-Adresse unter der der entfernte Rechner im Netzwerk zu erreichen ist. BENUTZER
ist der Benutzername zum Anmelden auf dem entfernten Rechner. Dieser Benutzer muss Schreibrechte für des Zielverzeichnis besitzen. PORT
ist der SSH-Port, im Allgemeinen wird der Standardport 22
benutzt. Wenn ssh mit bestimmten Optionen aufgerufen werden soll, kann der SSH-Befehl vorher an die Umgebungsvariable BORG_RSH
übergeben werden. Die Angabe des Pfads zu einer Schlüsseldatei erfolgt z.B. so:
export BORG_RSH='ssh -i /PFAD/SCHLÜSSELDATEI'
Borg verwendet dann diesen erweiterten Befehl statt eines einfachen "ssh".
Sollte eine Installation von Borg auf dem Zielrechner nicht möglich sein, kann das Zielverzeichnis alternativ zuvor auch mittels sshfs eingebunden werden. Dann kann Borg auf dieses Verzeichnis wie auf ein lokales Verzeichnis zugreifen.
Befehlsübersicht Borg | |
Befehl | Beschreibung |
borg break-lock [OPTIONEN] REPO_VERZEICHNISPFAD | Hebt den Lockmechanismus auf. Nur benutzen, wenn kein Prozess auf das Repository zugreift! |
borg change-passphrase [OPTIONEN] REPO_VERZEICHNISPFAD | Ändert die Passphrase |
borg check [OPTIONEN] REPO_VERZEICHNISPFAD[::ARCHIVNAME] | Überprüfe die Konsistenz des gesamten Repositorys oder von einzelnen Archiven |
borg delete [OPTIONEN] REPO_VERZEICHNISPFAD[::ARCHIVNAME] | Löscht einzelne Archive oder das gesamte Repository |
borg info [OPTIONEN] REPO_VERZEICHNISPFAD::ARCHIVNAME | Ausgabe von Informationen über ein Archiv |
borg list [OPTIONEN] REPO_VERZEICHNISPFAD[::ARCHIVNAME] | Gibt den Inhalt eines Repositorys oder eines Archivs aus |
borg rename [OPTIONEN] REPO_VERZEICHNISPFAD::ARCHIVNAME NEUER_ARCHIVNAME | Umbenennung eines Archivs |
Eine vollständige Dokumentation aller Befehle findet man auf der Projektseite .
Da Borg keine Konfigurationsdatei besitzt und zudem sehr viele Optionen kennt, werden die Befehlszeilen schnell unübersichtlich. Daher erledigt man die Archivierung am besten mit Hilfe eines Skripts. Eine Vorlage ist unten aufgeführt. Mit einem Editor[5] kann das Skript an die eigenen Bedürfnisse angepasst werden. Zunächst gibt man den Zielpfad, den Namen des Repositorys und die zu sichernden Verzeichnisse an. Die weiteren Optionen kann man bei Bedarf ebenfalls abändern. Das Skript muss dann z.B. im Homeverzeichnis unter ~/bin/borgbackup.sh gespeichert und anschließend ausführbar gemacht werden.
chmod +x ~/bin/borgbackup.sh
Das Skript kann anschießend im Terminal gestartet werden.
borgbackup.sh
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 | #!/bin/bash # Skriptvorlage BorgBackup # https://wiki.ubuntuusers.de/BorgBackup/ # https://borgbackup.readthedocs.io/en/stable/ # Hier Pfad zum Sicherungsmedium angeben. # z.B. zielpfad="/media/peter/HD_Backup" zielpfad="" # Hier Namen des Repositorys angeben. # z.B. repository="borgbackups" repository="" # Hier eine Liste mit den zu sichernden Verzeichnissen angeben # z.B. sicherung="/home/peter/Bilder /home/peter/Videos --exclude *.tmp" sicherung="" # Hier die Art der Verschlüsselung angeben # z.B. verschluesselung="none" verschluesselung="repokey" # Hier die Art der Kompression angeben # z.B. kompression="none" kompression="lz4" # Hier angeben, ob vor der Ausführung von BorgBackup auf vorhandene Root-Rechte geprüft werden soll # z.B. rootuser="ja" rootuser="nein" # Hier angeben nach welchem Schema alte Archive gelöscht werden sollen. # Die Vorgabe behält alle Sicherungen des aktuellen Tages. Zusätzlich das aktuellste Archiv der # letzten 7 Sicherungstage, der letzten 4 Wochen sowie der letzten 12 Monate. pruning="--keep-within=1d --keep-daily=7 --keep-weekly=4 --keep-monthly=12" ################################################################################################### repopfad="$zielpfad"/"$repository" # check for root if [ $(id -u) -ne 0 ] && [ "$rootuser" == "ja" ]; then echo "Sicherung muss als Root-User ausgeführt werden." exit 1 fi # Init borg-repo if absent if [ ! -d $repopfad ]; then borg init --encryption=$verschluesselung $repopfad echo "Borg-Repository erzeugt unter $repopfad" fi # backup data SECONDS=0 echo "Start der Sicherung $(date)." borg create --compression $kompression --exclude-caches --one-file-system -v --stats --progress \ $repopfad::'{hostname}-{now:%Y-%m-%d-%H%M%S}' $sicherung echo "Ende der Sicherung $(date). Dauer: $SECONDS Sekunden" # prune archives borg prune -v --list $repopfad --prefix '{hostname}-' $pruning |
Hilfe zum Umgang mit Bash-Skripten findet man auch im Bash-Skripting-Guide für Anfänger.
Projektseite und Dokumentation
Dokumentation als PDF-Datei
Vortrag vom Entwickler Thomas Waldmann - GPN 2016
Datensicherung Übersichtsartikel
Diese Revision wurde am 18. Februar 2017 23:56 von Seebär erstellt.