Merge branch 'fix-compression-size'

The new code will give final tar file sizes
close to the volume size even when using compression.

ensure temp file is deleted; add some comments about results

added performance test script

added minimum file size arg to find_random_files

should make returned files more realistic

reduce time wasted on _dbg output: format string only when it is actually printed

remove _dbg(str.format(args)) from performance-sensitive loop in addfile

added some more comments

add unittest that runs one of the many multivolume compression size tests

created another test for multivolume compression size

changed debug output level of the debug output I added earlier

removed some debug output

fix ValueError message (otherwise '*' is interpreted as string repetition)

ensure max_volume_size is int or None

skip one test with known failure

correct number of compressed backup volumes in tests

added class variable MODE_COMPRESS to test_deltatar unittests

do a proper unittest.skip if test is not run

remove print()s in unittest test_multivol

remove unused import

extend valid range of sizes for sample.tar.gz file

added new unittest test_multivol_compress with bigger random-data file

renamed unittest test_multivol_compress to test_compress_single (compresses to single volume)

added a few debug messages to addfile and open_volume

changed TarFile.addfile to get better sized volumes if compressing

created a 2nd TarFile._size_left: one for file and one for stream

fix unittest's create_pseudo_random_file: do return file name as docu says

author of that module seems to never have heard of the tempfile module in
python stdlib!

improved unittest's create file: do not gather GB in memory before writing

clean up in unittest: remove size_test_* files

clean up in unittest: remove unused imports

make file size test faster by removing 16GB test file

create unittest for warning

warn if trying to compress/encrypt multivolume with mode w:...

adjust file-size-estimation unittest; add an actual test to unittest

started a unittest for multi-volume with compression

created unittest for get_file_size

added function get_file_size and var _file_size to _Stream

changed some comments, corrected one indent

delete(): Don't crash on removing symlinks to directories

shutil.rmtree() will refuse to follow symlinks.
-> just call os.unlink() for symlinks.

Revert "added arguments for permissions of created dirs and files to deltatar.create_full/diff_backup"

This reverts commit 8db5dd46357def656b84019cded8aed8f0626a03.

(simpler and more important to have UI deal with unclean input)

added arguments for permissions of created dirs and files to deltatar.create_full/diff_backup

Increase version to 1.1

Reflect the filename changes and
a few other bells and whistles.

Switch produced filenames from YY-mm-dd to YYYY-mm-dd

Ability to the run the unit tests without a .git directory

Useful for executing the tests during every rpm build.

Include unit test files in source tarball

Don't install them though. Just needed for
running the unit tests during the rpm binary build.

Unit test: Skip multivolume split test for modes that don't support it.

Actual code borrowed from test_restore_from_index().
Same code in test_restore_multivol_from_index() and a few others.

All unit tests running again.

Unit test: Fix _equal_stat_dicts() invocation

The jsonize_path_iterator() generator returns a tuple
with the wanted dictionary as the first element.

Pass on 'compresslevel' for gzip / bzip2 compressed archives only

Otherwise we crash when opening plain tar files for writing:

    TypeError: taropen() takes from 2 to 4 positional arguments but 5 were given

First part of the unit test fix. Verified with debug statements
in gzopen() that passing on the parameter still works.

Add comments about the callback param to the docs

Also, some others cosmetic changes.

Add a callback function to the restore process

By having a function called for every file
that's about to be restore, we can keep track
of the progress of the extraction.

adding an integration test that uses create_pseudo_random_files to create a deterministic files and directories tree and then uses delta-tar with the run_benchmark script.

adding zlib and zlib-blocks tests

improving benchmark tests and their documentation

adding support to set the gzip compression level in tarfile

Move README.txt to the docs folder. Better name

Added profiler test for tarfile and zlib.

Added test to test multivolume corruption at restore

Fixed "random" file corruption in multivol restore

Files splitted between two volumes were not valid in the restored backup.
The first part was okay but the second part was garbage. The problem was
that we don't set correctly the volume number so the second part always was
from the first tar file.

We were checking member variable, but this variable changes before, so I've
added a new bool variable "ismember" that don't change with member.

fix delete current file when doesnt match when restoring, logging was not being done correctly (crash)

allow to set a new_volume_handler in iterate_tar_path, but make it optional

small formating change

Fix typo in comment

fix typo error, variable should be named beginning_size

making testbackup.py work

adding more easy to understand diff backup debug output

fix debug logging in diff mode

add function to easily get the extension used for indexes

Ignore files created by setup.sh

adding some missing debug lines

adding setup files to create an rpm for python-delta-tar

removing unused vars

derefering backed up files for now

missing change from string to bytes join

adding support for adding extra data to deltatar indexes

Test compatible with tar 1.22 (intranator version)

Using python3 instead of python in tests system calls

adding header and move to python 3

adding python3 headers

fixing another file not closed warning on new vol handler and special case where the last file in a multivolume tar was being repeated in the tar index iterator

fixing some warnings in python3 from dereferenced but unclosed files

fixing open mode for updating the file to r+b

closing also volume files on cleanup

initial port to python 3, not finished

ignore the PowmInsecureWarning warning given by libgmp4 because it doesn't affect our code

adding support for filtering via whitelist with -inc

some unit tests were only failing when run with superuser, because only then chown can be called and had not been properly tested

fixing aes only mode: it turns out we were not closing correctly the aes stream

removing some unnecesary over-optimizations like running the gc manually or deleting stat dict

optimization memory usage during restore by saving dir perms in a specific class with only the needed data

start working on AES-only delta tar mode, with no encryption. some tests still fail

removing references to dowser, comment pytracemalloc usage, very useful though painful to setup tool to trace memory usage

fixing unit test where only even lines where being processed

fixing memory leaks, now memory usage remains nearly constant when creating a full backup

reducing leaks in tarfile by allowing not to store files in self.members

fixing last two unit tests bugs, realted to multivol and tar iterator

* when a file was split in two volumes, the tarinfo from the second volume was read twice
* tar iterator failed when reading an empty volume because instead of returning None, it tried to read position 0 and when reading from _Stream thats not allowed

fixing bug in a deltatar that excepts two vols for a backup of .git, which might not be needed

migrating tar restore to use the same code as index restore

previous commit was a mess because it mixed two commits, my fault.
it mixed both the mtime directories fix and the generalization of
tar restore with index restore.

this commit continues the work towards this generalization, fixing
the TarPathIterator (which was just not tested), doing the removed
os.chdir in restore_backup (which resulted in cwd data loss when
running the tests), fixing also the indentation at the end of the
restore_backup function, and setting correctly the
new_volume_handler in RestoreHelper when restoring from a tarball.

However, there are still some unit tests related to multivolume
handling that still fail.

fixing bug when restoring files, mtime of parent dir was not preserved/restored correctly

Fixing corner case where pad was not taken into account when decrypting the end of a file in a stream

__dec_read function reads directly from the file and returns the data
decrypted. This means that if the file is not encrypted, this function
is trivial.

If the data in the file is encrypted, then the process is different:
first we have to read the raw encrypted data, then decrypt it and
return. But the decryption process is not straightforward because the
self.fileobj stream contains multiple encrypted files one after the
other. We need to detect each separate file, which is detected because
they are separated by the "Salted__" keyword.

It gets more complicated, because we decrypt chunk by chunk, and to
correctly decrypt one chunk we need to set a "last" variable that
specifies if it's the last chunk of a file, because the end of a file is
handled differently, as it gets padded.

Knowing if the current chunk is the last part of a file is usually done
just by detecting if it's followed by a "Salted__" keyword or if we
cannot read more bytes from the stream. BUT there's a pretty particular
case, in which the current chunk ends exactly with one file, so that
the next chunk starts with "Salted__".

To fix that rare case, we just read N bytes from the stream, and check
if the last bytes correspond with the string "Salted__". Then we save
those last characters for next call to __dec_read. If the last bytes
were "Salted__", then we set "last" to True.

Well, actually we not only substract the length of "Salted__", but 16/32
chars because the file is decrypted in multiples of the key size.

when a comparison of two json paths in test_deltatar fails, show the two of them in console, this is quite handy

adding again all the test clases to runtests, as we were only testing default tar mode

improving the filesplitter, allowing to split at specified offsets. this is useful for debugging or to use as a last resort technique to recover a backup, knowing the offsets from the index for example