unit test bogus header data

unit test auth tag handling

unit test crypto handling of data spanning multiple chunks

unit test header handling

add basic wrapper for GCM handling with python-cryptography

This currently requires our yet unmerged contribution:
https://github.com/pyca/cryptography/pull/3421

add unit test module for encryption layer

remove key length parameter wherever feasible

Since we’re using fixed AES-128 everywhere, the  revised version
no longer offers adjustable key length.

make tarfile.py error out on invalid crypto modes and combos

The tarfile stream ctor will simply gloss over encryption
requested by the caller unless it happens to exactly match the
string (!) “aes”. Furthermore, with non-gzip compression the
encryption will be ignored altogether.

Instead of deceiving the user about the encryption being applied,
have the ctor fail immediately on invalid combinations.

init crypto support v2

Implements header reading and writing as well as PoC encryption
wrappers.

WIP

ignore all symlinks

Don’t delay the creation of symlinks but suppress it entirely.

The rationale is that extraction with deltatar will only ever
operate on inputs whose symlinks are dereferenced upon archive
creation. Thus valid archives will not contain symlinks at all.

Also, it would appear that deltatar assumes paths of objects
inside a tarball are unique. If the tarball contains ultiple
objects with the same path, it will extract only the first one it
encounters and ignore the rest. This means that it would take at
least two successive backups to perform a symlink attack, the
first one planting the link and the second writing over the
location. This is prevented by the current mitigation strategy
(and by the --unlink option of other tar utilities).

add unit test for overwriting symlinks

Currently, we implement the behavior of GNU Tar: Subsequent files
in an archive override previous ones, which is also true of
symlinks.

rectify delayed symlink restoration

Again, GNU tar serves as the model for safe behavior: We now
check whether the placeholder file exists and if it is indeed the
one we created earlier.

Since deltatar does not allow including symlinks in the backup,
the unit tests invoke tarfile functionality directly to add some
symlinks to an existing backup.

add unit test tracking behavior wrt symlinks

fix calls to deprecated function in deltatar.py

Fixes warning mandating “.warning()” over “.warn()”:

    DeprecationWarning: The 'warn' method is deprecated, use 'warning' instead

delay only absolute symlinks and those pointing to parent dirs

Only apply the symlink hook on those with fishy targets. Internal
symlinks need not be contained so they can be applied as-is.

implement delayed symlink creation

Introduce a hook in ``extract()`` to invoke a callback if a
symlink is encountered in the archive. The implementation is
modeled after GNU Tar.

This is a v2 attempt on the symlink extraction problematic. The
first version simply ``unlink(2)`` all files before extraction
which is a less efficient albeit more robust strategy.

avoid crash in test helper due to fp division

As a matter of fact, ``randomint()`` accepts only int-ishly typed
values, not floats. Consequently, integer division is the way to
go.

simplify control flow in RestoreHelper methods

Make the control flow more obvious. The code in question was
introduced with commit ea6d3c3e… but did not make sense back then
either because cur_index which is the constant $1$ was compared
to the literal constant $0$:

+        cur_index = 1
+        while cur_index < len(self._data):
+            data = self._data[cur_index]
…
+                if cur_index == 0:

This bogus test was since removed but the convoluted ``while``
loop survived. Instead, access index 1 only once using an integer
literal.

Increase version to 1.5

Code review done, comment changes only

Remove dead code

cur_index is always >= 1 in this code path

Remove code duplication

Don't use exception handling for normal control flow

-> Replace buf.index() with buf.find().

Unwinding the stack is expensive and we were
even doing it for the default code path.

add file_crypt.py to scripts in setup.py

created tool to encrypt/decrypt files using aes128 with compression

Increase version to 1.4

Lots of little fixes and improvements.

appease pylint

fix error found by pylint

Rename design document so pylint3 doesn't pick it up

Implement cache for pwd.getpwuid() and grp.getgrgid()

Those functions always parse /etc/passwd and we
look up the owner for each file we backup.

This change is only relevant when creating full backups.
Speed up with ~1.000.000 emails is 11%.

Fix 'directory' type when iterating tar archives without index

'dir' is not used anywhere in the code base.

use the "& 0xFFFfff" after all crc32 calculations

Increase release to 1.3

Also switch group from Intranator to Intra2net

improve one more unittest: raise proper assertion instead of failing with non-existent variable

adjust unittests in test_deltatar

correct a comment, add more info to log message

adjust filter_path: also remove trailing os.sep

fix strip_base_dir argument for DeltaTar._recursive_walk_dir: check for os.sep

simplify DeltaTar._recursive_walk_dir

(had called os.path.isdir and filter_path twice on each file directly
 after another)

had forgotten a few tarobj.close and os.unlink(temp_file) in new tests

change one output, make 2 variables to testing routine arguments

use KiB, MiB (factor 1024) instead of KB, MB (factor 1000)

fix search for file with impossible size (had forgotten that volume_size is in MB)

Increase version to 1.2

Merge branch 'fix-compression-size'

The new code will give final tar file sizes
close to the volume size even when using compression.

ensure temp file is deleted; add some comments about results

added performance test script

added minimum file size arg to find_random_files

should make returned files more realistic

reduce time wasted on _dbg output: format string only when it is actually printed

remove _dbg(str.format(args)) from performance-sensitive loop in addfile

added some more comments

add unittest that runs one of the many multivolume compression size tests

created another test for multivolume compression size

changed debug output level of the debug output I added earlier

removed some debug output

fix ValueError message (otherwise '*' is interpreted as string repetition)

ensure max_volume_size is int or None

skip one test with known failure

correct number of compressed backup volumes in tests

added class variable MODE_COMPRESS to test_deltatar unittests

do a proper unittest.skip if test is not run

remove print()s in unittest test_multivol

remove unused import

extend valid range of sizes for sample.tar.gz file

added new unittest test_multivol_compress with bigger random-data file

renamed unittest test_multivol_compress to test_compress_single (compresses to single volume)

added a few debug messages to addfile and open_volume

changed TarFile.addfile to get better sized volumes if compressing

created a 2nd TarFile._size_left: one for file and one for stream

fix unittest's create_pseudo_random_file: do return file name as docu says

author of that module seems to never have heard of the tempfile module in
python stdlib!

improved unittest's create file: do not gather GB in memory before writing

clean up in unittest: remove size_test_* files

clean up in unittest: remove unused imports

make file size test faster by removing 16GB test file

create unittest for warning

warn if trying to compress/encrypt multivolume with mode w:...

adjust file-size-estimation unittest; add an actual test to unittest

started a unittest for multi-volume with compression

created unittest for get_file_size

added function get_file_size and var _file_size to _Stream

changed some comments, corrected one indent

delete(): Don't crash on removing symlinks to directories

shutil.rmtree() will refuse to follow symlinks.
-> just call os.unlink() for symlinks.

Revert "added arguments for permissions of created dirs and files to deltatar.create_full/diff_backup"

This reverts commit 8db5dd46357def656b84019cded8aed8f0626a03.

(simpler and more important to have UI deal with unclean input)

added arguments for permissions of created dirs and files to deltatar.create_full/diff_backup

Increase version to 1.1

Reflect the filename changes and
a few other bells and whistles.

Switch produced filenames from YY-mm-dd to YYYY-mm-dd

Ability to the run the unit tests without a .git directory

Useful for executing the tests during every rpm build.

Include unit test files in source tarball

Don't install them though. Just needed for
running the unit tests during the rpm binary build.

Unit test: Skip multivolume split test for modes that don't support it.

Actual code borrowed from test_restore_from_index().
Same code in test_restore_multivol_from_index() and a few others.

All unit tests running again.

Unit test: Fix _equal_stat_dicts() invocation

The jsonize_path_iterator() generator returns a tuple
with the wanted dictionary as the first element.

Pass on 'compresslevel' for gzip / bzip2 compressed archives only

Otherwise we crash when opening plain tar files for writing:

    TypeError: taropen() takes from 2 to 4 positional arguments but 5 were given

First part of the unit test fix. Verified with debug statements
in gzopen() that passing on the parameter still works.

Add comments about the callback param to the docs

Also, some others cosmetic changes.

Add a callback function to the restore process

By having a function called for every file
that's about to be restore, we can keep track
of the progress of the extraction.

adding an integration test that uses create_pseudo_random_files to create a deterministic files and directories tree and then uses delta-tar with the run_benchmark script.

adding zlib and zlib-blocks tests

improving benchmark tests and their documentation

adding support to set the gzip compression level in tarfile

Move README.txt to the docs folder. Better name

Added profiler test for tarfile and zlib.

Added test to test multivolume corruption at restore