KZoli: Új oldal, tartalma: „Jelenleg az [http://www.amanda.org/ Amanda] (''The Advanced Maryland Automatic Network Disk Archiver'' :-) backup szoftvert használjuk archívumok és biztonsági más…”

2018-05-29T21:30:35Z

Új oldal, tartalma: „Jelenleg az [http://www.amanda.org/ Amanda] (''The Advanced Maryland Automatic Network Disk Archiver'' :-) backup szoftvert használjuk archívumok és biztonsági más…”

Új lap

Jelenleg az [http://www.amanda.org/ Amanda] (''The Advanced Maryland Automatic Network Disk Archiver'' :-) backup szoftvert használjuk archívumok és biztonsági másolatok készítésére. Az Amanda kliens-szerver felépítésű, a backup gépen telepített Amanda szerver cron jobból meghívva szólítja meg a klienseket, ahol a másolatot az ''inetd'' (''xinetd'') alatt futó Amanda kliens készíti el, és továbbítja a szerverre.
==Az Amanda mentés jellegzetességei==
Az Amandát eredetileg mágnesszalagos backup kezelésére tervezték, így a merevlemezen is virtuális szalagokat (valójában alkönyvtárakat) használ és minden backup feladat (''task'') minden sessionjéhez (tipikusan napi egyszeri mentés) egy darab, megadott maximális méretű tárhelyet (virtuális szalagot) használ el. A szalagméretet soha nem lépi túl.

Az Amanda nagy előnye, hogy nem kell statikus mentési tervet készíteni; egy mentési feladathoz elegendő megmondani, hogy mely kliensgépek mely könyvtárait kell menteni ebben a feladatban (''disklist''), mekkora méretű a virtuális szalag, hány darabot használhat összesen (''tapecycle'') és hány mentésenként szeretnénk teljes (''level-0'', nem inkrementális) mentést készíteni (''dumpcycle''). Ezután az Amanada minden mentés elején kiszámolja, hogy az egyes könyvtárak ''level-0'' illetve inkrementális mentéseihez aktuálisan mennyi hely kellene, és önállóan eldönti, hogy az adott mentésbe milyen könyvtár milyen szinten kerüljön bele - ha van felesleges hely, előrehozza a ''level-0'' mentéseket, ha kifut a helyből, késlelteti azokat (és figyelmeztetést ír a mentési naplóba).

Az Amanda mentéséből - ha azt naponta, pl. éjszaka végezzük - legalább a ''dumpcycle'' és legfeljebb a ''tapecycle'' idejének megfelelően állítható vissza a tartalom (részben vagy egészben) bármelyik mentés időpontjának megfelelő állapotába; pl. 14 napos ''tapecycle'' és 7 napos ''dumpcycle'' esetén a legfeljebb 7 napja véletlenül letörölt állományt biztosan, a legfeljebb 13 napja letöröltet jó eséllyel állíthatjuk vissza. Vagyis az Amanda mentés nemcsak a klasszikus teljes adatvesztés ellen véd, hanem valamelyest az időben észlelt felhasználói hiba illetve szabotázs ellen is. Napi egyszeri, éjszakai mentés esetén azt mondhatjuk, hogy amelyik állomány egyszer már "nálunk aludt", azt utána jó eséllyel tudjuk visszaállítani.

Technikailag az Amanda virtuális szalagok egy-egy könyvtárnak, benne a taskhoz tartozó egyes kliens könyvtár mentések egy-egy, lényegében ''tar.gz'' állománynak felelnek meg. Így valamennyi szalagkönyvtárat végignézve, azokból a legfrissebb ''level-0'' ''tar.gz''-ket kiválogatva és pl. külső lemezre másolva a mentett tárterület majdnem konzisztens (pl. heti frissítéssel tűzkazettába tehető, vagy alkalmanként futtatva hosszú távra archiválható, tömörített) állapotát kapjuk - így működik az ''amanda-server-addons'' csomag ''on-demand'' archiváló scriptje.

'''TODO!'''

==Amanda kliens telepítése==
Minden gépre, amelyről szeretnénk biztonsági másolatot csinálni, telepíteni kell az Amanda klienst:
<pre>apt-get install amanda-client # magával hozza az openbsd-inetd-t (sajnos)</pre>
<small>Az Amandának minden egyes file-ra kell olvasási jogot kell biztosítani, ami korábban csak úgy volt (egyszerűen) megoldható, ha az ''amandad'' ''root''-ként futott. A Squeeze-ben ezt megoldották (valószínűleg ''suid root'' - '''TODO:''' utánanézni!), így a korábbi változatokkal szemben a ''/etc/inetd.conf''-ban nem kell (nem szabad) a démont futtató felhasználót ''root''-ra módosítani.</small>

Az Amanda kontroll üzenetek korábban (a Debian Squeeze-ben is) az UDP protokollal működtek, jelenleg már a TCP protokoll használatos. Ha van régebbi telepítésű (Debian Wheezy előtti) Amanda szerverünk, akkor érdemes beállítani, hogy az Amanda kliens mindkét protokollon figyeljen (így Squeeze és Wheezy szervernek egyaránt válaszoljon):
<pre>-rw-r--r-- root root /etc/inetd.conf

[...]
#:OTHER: Other services
amanda stream tcp nowait backup /usr/lib/amanda/amandad amandad -auth=bsdtcp amdump amindexd amidxtaped
amanda dgram udp wait backup /usr/lib/amanda/amandad amandad -auth=bsd amdump amindexd amidxtaped</pre>
Ezután derítsük fel, hogy az Amanda szerverről indított kapcsolatkérés a telepítés alatti szerverre milyen IP címmel érkezik meg (ha a backup szerver a belső hálózaton van, DMZ és publikus zónabeli szerverek esetében ez a belső hálózat tűzfalának címe lesz). Ezt a címet (illetve ennek reverse-ét) vegyük fel a ''/etc/amanadahosts'' állományba (az itt felsorolt hostokról az itt megjelölt távoli - jelen esetben ''backup'' - felhasználó nevében lehet majd menteni):
<pre>-rw------- backup backup /etc/amandahosts
localhost backup
IP_REVERSE backup</pre>
===Amanda átengedése a bástyagép tűzfalán===
Az Amanda sajnos titkosítatlan adatkapcsolatot használ (és nem egyszerű tunnelezni - '''TODO:''' utánanézni!), valamint kliense nem standalone démon, hanem az ''inetd'' alatt fut, ezért igyekezzünk tűzfallal is korlátozni a hozzá kapcsolódást, vagyis a backup szerver semmiképpen se legyen a kliens felől nézve a ''net'' zónában!

A házirend szerinti alapértelmezett tűzfalszabályok tartalmazzák a szükséges beállításokat arra az esetre, ha az Amanda szerver a ''trs'' zónában van:
<pre>-rw-r----- root root /etc/shorewall/rules

# Accept Amanda connections from trs
Amanda/ACCEPT trs fw
ACCEPT trs fw udp 0:65535 amanda
ACCEPT trs fw tcp amandaidx
ACCEPT trs fw tcp amidxtape</pre>
ez esetben nincs teendőnk.

===TCP keep alive módosítása===
Nagy adatmennyiség mentésekor az Amanda kicsúszhat az ''iptables'' 30 perces TCP timeout-jából (ennyi idő után elbontja az inaktív TCP kapcsolatokat). Egy workaround lehet a kliens kernelében a TCP keep alive intervallumának csökkentése (ennyi időnként küld a kernel keep alive csomagot) az alapértelmezett 2 óráról pl. 15 percre:
<pre>-r-------- root root /etc/sysctl.d/local.conf

[...]
# reduce keep alive interval
net.ipv4.tcp_keepalive_time=900</pre>
illetve azonnali érvényesítés:
<pre>echo 900 >/proc/sys/net/ipv4/tcp_keepalive_time</pre>

===Gyorsteszt===
'''TODO!'''

==Amanda szerver telepítése==
Amanda szervert telepíteni kell a dedikált backup szerverre, illetve minden olyan szerverre, amelyik önmagára amandázik. Debian csomagból telepíthető:
<pre>apt-get install amanda-server</pre>
Ezután a ''/usr'' partíciót írhatóan csatoljuk újra:
<pre>mount -o remount,rw /usr</pre>
és [{{SERVER}}/download/ töltsük le], majd könyvtárhelyesen tömörítsük ki a legutóbbi kiadású (Squeeze-hez legalább v.1.0.0) ''amanda-server-addons.tgz'' csomagot! A csomag a következőket biztosítja:
* script új Amanda task létrehozatalához (''amanda-new'');
* scriptek "beragadt" Amanda taskok biztonságos leállításához (''amanda-stop'', ''amanda-tape-purge'');
* taszkonként egy generált cron job a napi mentéshez szükséges teendőkkel
** előző délutáni tesztelés;
** éjszakai mentés;
** esetleg sikertelen ("beragadt") task reggeli leállítása, takarítás.
* script és cron job heti archiváláshoz (csak a legfrissebb ''lvl-0'' mentések archiválása külső mount point-ra).
A telepítést követően csatoljuk vissza a ''/usr'' partíciót read-only módban:
<pre>mount -o remount /usr</pre>
===Beállítások===
Az Amanda 2.5 feletti verziója esetében a ''/etc/inetd.conf''-ban ki kell venni a TCP wrapper hívásokat (''/usr/sbin/tcpd''):
<pre>-rw-r--r-- root root /etc/inetd.conf

[...]

#:OTHER: Other services
amanda dgram udp wait backup /usr/lib/amanda/amandad amandad -auth=bsd amdump amindexd amidxtaped
amandaidx stream tcp nowait backup /usr/lib/amanda/amindexd amindexd -auth=bsd amdump amindexd amidxtaped
amidxtape stream tcp nowait backup /usr/lib/amanda/amidxtaped amidxtaped -auth=bsd amdump amindexd amidxtaped</pre>
és újra kell indítani az inetd-t:
<pre>invoke-rc.d openbsd-inetd restart</pre>
'''TODO!''' - részletes magyarázat!

Ezen kívül a ''/etc/amandahosts''-ban engedélyezni kell a ''root'' felhasználónak az ''amindexd'' és ''amidxtaped'' service-ek a localhostról történő igénybe vételét:
<pre>-rw------- backup backup /etc/amandahosts

[...]
localhost root amindexd amidxtaped</pre>
===Gyorsteszt===
'''TODO!'''

===Az amanda-archive telepítése és használata===
Az ''amanda-archive'' olyan script, amelyik végignézi egy megadott Amanda tárhely összes DLE mentéseit, azok közül kiválogatja a legfrissebb nullás szintű (''lvl-0'') mentéseket, és ezeket a szalagfejléc levágásával egyszerű ''.tar.gz'' állományokként kimásolja egy megadott tárterületre. Célszerűen periodikus archiválásra használható, pl. USB-n felcsatolt külső winchesterre (ez az eszköz utána elvihető és más helyen, pl. páncélszekrényben őrizhető, katasztrófa esetén elővehető).

A scriptet az ''amanda-server-addons'' csomag tartalmazza. Az alábbi leírásban azt egy külső winchesterre történő, ''on-demand'' archiváláshoz fogjuk beállítani.

* Telepítsük az ''autofs'' Debian csomagot, amely képes egy külső (pl. USB-n csatolt) merevlemez felismerésekor az azon lévő partíció(ka)t automatikusan mountolni:
<pre>apt-get install autofs # + függőségek</pre>

* Készítsünk egy mount gyökérkönyvtárat az ''autofs'' által kezelendő partíciókhoz:
<pre>mkdir /mnt/auto</pre>
definiáljunk egy beállító állományt ehhez a ''mount point''-hoz a ''/etc/auto.master'' legvégén:
<pre>-rw-r--r-- root root /etc/auto.master

[...]
/mnt/auto /etc/auto.amanda --timeout=60</pre>

* Formázzunk meg egy kellően nagy méretű merevlemezt egyetlen ''ext3'' partícióval! Csatlakoztassuk ezt USB-n keresztül a backup szerverhez, és jegyezzük fel, hogy a kernel milyen eszköznevet rendelt hozzá (példánkban legyen ''/dev/sdg'')!

* Készítsük el az ''auto.amanda'' állományt, amely megmondja, hogy ennek a lemeznek az első partícióját (példánkban ''/dev/sdg1'') a ''/mnt/auto/amanda'' helyre kell felcsatolni:
<pre>-rw-r--r-- root root /etc/auto.amanda

amanda -fstype=auto,rw :/dev/sdg1</pre>
Olvastassuk újra a beállításokat az ''autofs'' daemonnal:
<pre>invoke-rc.d autofs reload</pre>

* Gyorstesztként csatlakoztassuk újra a külső merevlemezt (pl. az USB-egység ki- majd bekapcsolásával)! Rövid várakozás után adjuk ki az
<pre>ls /mnt/auto/amanda</pre>
parancsot, amelynek a merevlemez tartalmát kell mutatnia. Írjunk a merevlemezre, ellenőrizzük ennek sikerességét, majd várjunk legalább egy percig (ennyi az ''auto.master''-ben beállított ''timeout'') és az
<pre>ls /mnt/auto</pre>
paranccsal ellenőrizzük, hogy az ''amanda'' könyvtár eltűnt (az ''autofs'' lecsatolta).

Ha a teszt sikeres volt, az ''autofs'' megfelelően kezeli a külső merevlemezt, azaz archiválás előtt elég azt fizikailag csatlakoztatni, és az archiválás befejeződése után egyszerűen le lehet venni a backup szerverről anélkül, hogy arra be kellene lépni.

* Végül ütemezzük be a mentést az ''amanda-server-addons'' által telepített cron job (''/etc/cron.d/amanda-cron-weekly'') kommentjének eltávolításával. Így minden hétköznap és vasárnap reggel 9-kor elindul az archiválás (de azonnal kilép, ha nincsen csatlakoztatva a megadott merevlemez) - azaz ha bármely munkanap reggel 9-ig csatlakoztatjuk a merevlemezt, elindul az archiválás, és ha elkészült, a következő munkanap reggel 9 előtt a merevlemez bármikor levehető (a szombat kihagyása miatt a pénteken feltett merevlemezre is csak egy mentés készül). Az archívum állományok a partíció gyökérkönyvtárába kerülnek, amelyet a script még az archiválás megkezdése előtt kiürít - nem bántja azonban az esetleges alkönyvtárakat. A script igyekszik gazdálkodni a tárterülettel, illetve kezeli azt az esetet, amikor minden friss ''lvl-0'' nem fér rá a megadott merevlemezre.

==Az Amanda használata==
===Amanda taskok felvétele===
Az ''amanda-server-addons'' csomaggal települő ''amanda-new'' scripttel (rendszergazdaként) egyszerűen hozható létre naponta futtatandó Amanda task:
<pre>amanda-new TASKNAME "/var/backups" NO_OF_TAPES</pre>
ahol TASKNAME a feladat neve (<small>ez könyvtár- és filenévként valamint cron job neveként is használatos, célszerű angol alfanumerikus jelekből és kötőjelekből összeállítani, aláhúzásjel kerülendő! - hasznos konvenció, hogy kezdődjék nagybetűvel</small>), NO_OF_TAPES pedig a használandó szalagok száma (alapértelmezésben 14). A szalagokat (''tape'' könyvtárak) a script a megadott (javaslat: ''/var/backups'') útvonalon elhelyezett TASKNAME könyvtárban hozza létre és az Amanda igényei szerint fel is címkézi azokat. Létrehozatal után a könyvtárak innen elmásolhatóak (akár különböző partíciókra) és symlinkelhetőek.

Alapértelmezésben a scripttel definiált Amanda task annyi naponta készít teljes mentést, ahány szalagot definiálunk (''dumpcycle'' = ''tapecycle''). Érdemes lehet ezt a gyakoriságot duplázni, a task konfigurációs állományában a ''dumpcycle'' csökkentésével:
<pre>-rw-r----- backup backup /etc/amanda/TASKNAME/amanda.conf

[...]
dumpcycle 7 # the number of days in the normal dump cycle
tapecycle 14 tapes # the number of tapes in rotation
[...]</pre>
A definiált taskot a
<pre>su backup -c "/usr/sbin/amcheck TASKNAME"</pre>
paranccsal próbálhatjuk ki, amely egyelőre csak a szerver oldalt ellenőrzi, mivel a mentendő partíciókat illetve könyvtárakat definiáló ''/etc/amanda/TASKNAME/disklist'' állomány még nem tartalmaz bejegyzéseket. Ha a fenti teszt hibátlanul lefut, kitölthetjük a ''disklist''-et.
===Amanda disklist receptek===
A klasszikus megoldás a kliensgépek partícióinak (kivéve ''/tmp'', ''swap'') egyben történő mentése:
<pre># server.mydomain.com
#
# /boot
server.mydomain.com /dev/md0 hard-disk-comp
# /
server.mydomain.com /dev/md3 hard-disk-comp
# /usr
server.mydomain.com /dev/md4 hard-disk-comp
# /var
server.mydomain.com /dev/md5 hard-disk-comp
# other partitions... (if any)
</pre>
azonban a production serverek ''/var'' partíciója általában nagyon nagy, és az állandó változások miatt mentés közben is változik ('''TODO:''' ''snapshot''). Elegendő lehet a teljes gépek helyett csak a releváns szolgáltatások adatainak, beállításainak mentése (bár teljes katasztrófa esetén ebből a gép "klónképe" nem állítható helyre - új gépet kell telepíteni és a szolgáltatásokat arra visszaállítani, ami lényegesen időigényesebb). Az alábbiakban egyes, ebben a Wikiben ismertetett szolgáltatások Amanda mentésére szolgáló receptek következnek.
====DNS service====
<pre># server.mydomain.com
#
# Bind9 settings
server.mydomain.com /srv/chroot/bind/etc/bind hard-disk-comp
# Bind9 logfiles
server.mydomain.com /var/log/bind9 hard-disk-comp
</pre>
====ProFTPm hosting====
<pre># server.mydomain.com
#
# ProFTPm settings
server.mydomain.com /etc/proftpm hard-disk-comp
# FTP logfiles
server.mydomain.com /var/log/proftpd hard-disk-comp
# MySQL databases daily dump created by mysql-addons (all databases, not only ftp-related)
server.mydomain.com /var/backups/mysql/last hard-disk-tar-full
# FTP storage
server.mydomain.com /var/opt/ftp hard-disk-comp
</pre>

====VExim mail service====
<pre># server.mydomain.com
#
# Courier IMAP/POP3 settings
server.mydomain.com /etc/courier hard-disk-comp
# Exim4 MTA settings
server.mydomain.com /etc/exim4 hard-disk-comp
# Squirrelmail MUA settings
server.mydomain.com /etc/squirrelmail hard-disk-comp
# VExim codebase
server.mydomain.com /usr/local/share/vexim2 hard-disk-comp
# VExim-related MySQL databases daily dump created by vexim-addons
server.mydomain.com /var/backups/mysql/vexim hard-disk-tar-full
# Squirrelmail MUA storage (address books, user's settings, etc.)
server.mydomain.com /var/lib/squirrelmail hard-disk-comp
# Mail storage
server.mydomain.com /var/mail/.vexim hard-disk-comp
# Courier IMAP/POP3 authentication and activity logfiles
server.mydomain.com /var/log/courier hard-disk-comp
# Exim4 MTA logfiles
server.mydomain.com /var/log/exim4 hard-disk-comp
# Squirrelmail and VExim web interface
server.mydomain.com /var/www/mail.geocom.hu hard-disk-comp
</pre>

====wsm2 webhosting====
<pre># server.mydomain.com
#
# Webserver settings
server.mydomain.com /etc/apache2 hard-disk-comp
# AwStats settings
server.mydomain.com /etc/awstats hard-disk-comp
# Optionally - may contain archived migrations, etc.
server.mydomain.com /home/webadmin hard-disk-comp
# MySQL databases daily dump created by mysql-addons (all databases, not only web-related)
server.mydomain.com /var/backups/mysql/last hard-disk-tar-full
# AwStats database
server.mydomain.com /var/lib/awstats hard-disk-comp
# Webserver logs
server.mydomain.com /var/log/apache2 hard-disk-comp
# PHP logs
server.mydomain.com /var/log/php5 hard-disk-comp
# Web storage
server.mydomain.com /var/www hard-disk-comp
</pre>

===Visszaállítás Amanda backup-pal===
'''TODO!'''
<pre>Recovery with amrecover
-----------------------
As root on the tape server:

mkdir /tmp/restore
cd /tmp/restore
amrecover TASZK-NEVE
setdate (Optional)
sethost foo
setdisk bar
cd dir/which/contains/filetorecover
add filetorecover

settape chg-multi
list

extract
quit</pre>
Ha a visszaállított állománynevek karakterkódolása nem lenne megfelelő:
<pre>convmv -r -f [AMILYENRŐL] -t [AMILYENRE] /tmp/restore</pre>
A ''convmv'' természetesen nem nyúl bele a tartalomba, csak a neveket módosítja.

===Amanda task törlése===
'''TODO!'''
<pre>Cron job file: /etc/cron.d/amanda-cron-TASKNAME
Configuration directory: /etc/amanda/TASKNAME
Tape root directory: /var/backups/TASKNAME
Libs root directory: /var/lib/amanda/TASKNAME
Logs root directory: /var/log/amanda/TASKNAME</pre>

==Irodalom==
* Az Amanda [http://www.amanda.org/ honlapja]
* Amanda [http://wiki.zmanda.com/index.php/Main_Page wiki]
* [http://wiki.zmanda.com/index.php/How_To:Set_Up_iptables_for_Amanda Amanda és iptables]

Amanda telepítése (Squeeze) - Laptörténet

KZoli: Új oldal, tartalma: „Jelenleg az [http://www.amanda.org/ Amanda] (''The Advanced Maryland Automatic Network Disk Archiver'' :-) backup szoftvert használjuk archívumok és biztonsági más…”