Backup su Linux: strategie e strumenti per eseguirlo

[Acrobat]

Originariamente inviato da Ikitt_Claw
Ho affrontato un problema simile e ho trovato una (rozza) soluzione in python.
L'idea di fondo e` farsi una lista completa di tutti i file da backuppare, quindi rifarsi dal principio e calcolare le dimensioni di ognuno, includendo tutti i file in una sottolista; quando la sottolista raggiunge le dimensioni volute, la si cambia.
Alla fine, si backuppano individualmente le sottoliste ottenute...

Cioè il tuo prog crea una lista di tutti i files presenti nelle dir che vuoi backuppare,e una volta ottenuta questa esegue un controllo sulla dimensione di ognuno,e poi?

[Ikitt_Claw]

Originariamente inviato da Acrobat
Cioè il tuo prog crea una lista di tutti i files presenti nelle dir che vuoi backuppare,e una volta ottenuta questa esegue un controllo sulla dimensione di ognuno,e poi?

Probabilmente si fa prima a farlo (vedere, il codice) che a dirlo:

Questo che segue sostanzialmente fa quanto fa find:

#!/usr/bin/python

VERSION=0.0.1

import sys, os, getopt

EXCLUDE="/etc/mybackup/exclude.lst"
CONFIG="/etc/mybackup/mybackup.conf"

def usage():
	print "%s is part of mybackup." %(sys.argv[0])
	print "%s generates file list to use with mkarchive, from a given path" %(sys.argv[0])
	print "usage: %s [opts] basedir" %(sys.argv[0])
	print "\t-h        : display this message"
	print "\t-V        : show version and exit"
	print "\t-f <file> : use <file> as configuration file, not default (%s)" %(CONFIG)
	print "\t-x <file> : optional exclude list (default: %s)" %(EXCLUDE)
							

def print_if(exclude, dirname, fnames):
	for f in fnames:
		good = 1
		cur = os.path.join(dirname, f)
		if(os.path.isdir(cur)):
			continue 
			# ci pensera` un'altra invocazione fatta da os.path.walk
		for x in exclude:
			if cur.find(x) != -1:
				good = 0
		if good:
			print cur
			
	

	
try:
	opts, args = getopt.getopt(sys.argv[1:], "f:x:h")
except getopt.GetoptError:
	pass

opts = dict(opts)
if opts.has_key("-V"):
	print "%s version %s" %(sys.argv[0], str(VERSION))
	sys.exit()

if not args or len(args) > 1 or opts.has_key("-h"):
	usage()
	sys.exit(0)
try:
	exclude = [ f[:-1] for f in file(opts["-x"], 'r').readlines() ]
except KeyError, IOError:
	exclude = []

basedir = args[0]
os.path.walk(basedir, print_if, exclude)

questo invece e` lo script che divide in set la lista omnicomprensiva dei file da backuppare:

#!/usr/bin/python

VERSION=0.0.1

import sys, os, getopt

MAX_SIZE=long(700*1024*1024) # in bytes!
VERBOSE=False

def usage():
	print "%s is part of mybackup." %(sys.argv[0])
	print "%s generates segmentated file list to use with mkarchive, to create archive limited in size" %(sys.argv[0])
	print "usage: cat fulldirlist | %s [opts] segbasename" %(sys.argv[0])
	print "\t-h        : display this message"
	print "\t-v        : verbose execution"
	print "\t-f <file> : --UNRECOGNIZED-- use <file> as configuration file, not default"
	print "\t-s <size> : maximum segment size (default: %s)" %(str(MAX_SIZE))


def fmkname(name, seq):
	return name + '_' + str(seq)

try:
	opts, args = getopt.getopt(sys.argv[1:], "f:s:hv")
except getopt.GetoptError:
	pass

opts = dict(opts)
if opts.has_key("-V"):
	print "%s version %s" %(sys.argv[0], str(VERSION))
	sys.exit()

if not args or len(args) > 1 or opts.has_key("-h"):
	usage()
	sys.exit(0)
try:
	seg_size = long(int(opts["-s"]) * 1024 * 1024)
except KeyError:
	seg_size = MAX_SIZE
if opts.has_key("-v"):
	VERBOSE=True

basename = args[0]
seg_num = 0
cur_size = 0
lines = 0

f = file(fmkname(basename, seg_num), "w")
while 1:
	lines += 1
	l = sys.stdin.readline()[:-1]
	if not l:
		break
	try:
		s = os.stat(l)[6]
	except OSError:
		print("[%s] set #%s: unable to stat '%s', skipped..." %(sys.argv[0], str(seg_num), l))
	if (cur_size + s) > seg_size:
		# rotate file
		seg_num += 1
		cur_size = 0
		f.close()
		f = file(fmkname(basename, seg_num), "w")
	cur_size += s
	f.write(l + '\n')
	if VERBOSE:
		print("[%s] set #%s: including '%s'" %(sys.argv[0], str(seg_num), l))
if VERBOSE:	
	print "[%s] done: %s files in %s segments" %(sys.argv[0], str(lines), str(seg_num+1))

ribadisco e sottolineo che i due script sono rozzi, perfettibili e non largamente testati (e sotto licenza BSD, va).

PS: richiesto Python 2.2 o superiore o un po` di adattamento del codice...

[PaTLaBoR]

"tar -cjvf backup.tar.bz2 /"