adjust filter_path: also remove trailing os.sep

fix strip_base_dir argument for DeltaTar._recursive_walk_dir: check for os.sep

simplify DeltaTar._recursive_walk_dir

(had called os.path.isdir and filter_path twice on each file directly
 after another)

had forgotten a few tarobj.close and os.unlink(temp_file) in new tests

change one output, make 2 variables to testing routine arguments

use KiB, MiB (factor 1024) instead of KB, MB (factor 1000)

fix search for file with impossible size (had forgotten that volume_size is in MB)

Increase version to 1.2

Merge branch 'fix-compression-size'

The new code will give final tar file sizes
close to the volume size even when using compression.

ensure temp file is deleted; add some comments about results

added performance test script

added minimum file size arg to find_random_files

should make returned files more realistic

reduce time wasted on _dbg output: format string only when it is actually printed

remove _dbg(str.format(args)) from performance-sensitive loop in addfile

added some more comments

add unittest that runs one of the many multivolume compression size tests

created another test for multivolume compression size

changed debug output level of the debug output I added earlier

removed some debug output

fix ValueError message (otherwise '*' is interpreted as string repetition)

ensure max_volume_size is int or None

skip one test with known failure

correct number of compressed backup volumes in tests

added class variable MODE_COMPRESS to test_deltatar unittests

do a proper unittest.skip if test is not run

remove print()s in unittest test_multivol

remove unused import

extend valid range of sizes for sample.tar.gz file

added new unittest test_multivol_compress with bigger random-data file

renamed unittest test_multivol_compress to test_compress_single (compresses to single volume)

added a few debug messages to addfile and open_volume

changed TarFile.addfile to get better sized volumes if compressing

created a 2nd TarFile._size_left: one for file and one for stream

fix unittest's create_pseudo_random_file: do return file name as docu says

author of that module seems to never have heard of the tempfile module in
python stdlib!

improved unittest's create file: do not gather GB in memory before writing

clean up in unittest: remove size_test_* files

clean up in unittest: remove unused imports

make file size test faster by removing 16GB test file

create unittest for warning

warn if trying to compress/encrypt multivolume with mode w:...

adjust file-size-estimation unittest; add an actual test to unittest

started a unittest for multi-volume with compression

created unittest for get_file_size

added function get_file_size and var _file_size to _Stream

changed some comments, corrected one indent

delete(): Don't crash on removing symlinks to directories

shutil.rmtree() will refuse to follow symlinks.
-> just call os.unlink() for symlinks.

Revert "added arguments for permissions of created dirs and files to deltatar.create_full/diff_backup"

This reverts commit 8db5dd46357def656b84019cded8aed8f0626a03.

(simpler and more important to have UI deal with unclean input)

added arguments for permissions of created dirs and files to deltatar.create_full/diff_backup

Increase version to 1.1

Reflect the filename changes and
a few other bells and whistles.

Switch produced filenames from YY-mm-dd to YYYY-mm-dd

Ability to the run the unit tests without a .git directory

Useful for executing the tests during every rpm build.

Include unit test files in source tarball

Don't install them though. Just needed for
running the unit tests during the rpm binary build.

Unit test: Skip multivolume split test for modes that don't support it.

Actual code borrowed from test_restore_from_index().
Same code in test_restore_multivol_from_index() and a few others.

All unit tests running again.

Unit test: Fix _equal_stat_dicts() invocation

The jsonize_path_iterator() generator returns a tuple
with the wanted dictionary as the first element.

Pass on 'compresslevel' for gzip / bzip2 compressed archives only

Otherwise we crash when opening plain tar files for writing:

    TypeError: taropen() takes from 2 to 4 positional arguments but 5 were given

First part of the unit test fix. Verified with debug statements
in gzopen() that passing on the parameter still works.

Add comments about the callback param to the docs

Also, some others cosmetic changes.

Add a callback function to the restore process

By having a function called for every file
that's about to be restore, we can keep track
of the progress of the extraction.

adding an integration test that uses create_pseudo_random_files to create a deterministic files and directories tree and then uses delta-tar with the run_benchmark script.

adding zlib and zlib-blocks tests

improving benchmark tests and their documentation

adding support to set the gzip compression level in tarfile

Move README.txt to the docs folder. Better name

Added profiler test for tarfile and zlib.

Added test to test multivolume corruption at restore

Fixed "random" file corruption in multivol restore

Files splitted between two volumes were not valid in the restored backup.
The first part was okay but the second part was garbage. The problem was
that we don't set correctly the volume number so the second part always was
from the first tar file.

We were checking member variable, but this variable changes before, so I've
added a new bool variable "ismember" that don't change with member.

fix delete current file when doesnt match when restoring, logging was not being done correctly (crash)

allow to set a new_volume_handler in iterate_tar_path, but make it optional

small formating change

Fix typo in comment

fix typo error, variable should be named beginning_size

making testbackup.py work

adding more easy to understand diff backup debug output

fix debug logging in diff mode

add function to easily get the extension used for indexes

Ignore files created by setup.sh

adding some missing debug lines

adding setup files to create an rpm for python-delta-tar

removing unused vars

derefering backed up files for now

missing change from string to bytes join

adding support for adding extra data to deltatar indexes

Test compatible with tar 1.22 (intranator version)

Using python3 instead of python in tests system calls

adding header and move to python 3

adding python3 headers

fixing another file not closed warning on new vol handler and special case where the last file in a multivolume tar was being repeated in the tar index iterator

fixing some warnings in python3 from dereferenced but unclosed files

fixing open mode for updating the file to r+b

closing also volume files on cleanup

initial port to python 3, not finished

ignore the PowmInsecureWarning warning given by libgmp4 because it doesn't affect our code

adding support for filtering via whitelist with -inc

some unit tests were only failing when run with superuser, because only then chown can be called and had not been properly tested

fixing aes only mode: it turns out we were not closing correctly the aes stream

removing some unnecesary over-optimizations like running the gc manually or deleting stat dict

optimization memory usage during restore by saving dir perms in a specific class with only the needed data

start working on AES-only delta tar mode, with no encryption. some tests still fail

removing references to dowser, comment pytracemalloc usage, very useful though painful to setup tool to trace memory usage

fixing unit test where only even lines where being processed

fixing memory leaks, now memory usage remains nearly constant when creating a full backup

reducing leaks in tarfile by allowing not to store files in self.members