adding more options to backup script, like listing backup files

fixing some restore problems

* files that are not in the index being restored are now removed

* directories' mtime was not being restored sometimes because it
  wasn't finding the tarobj

fixing sorting and improving dramatically restore diff backup:

* sorting was not correct because the directory separator was being taken
  into account as part of the sorting, and thus if a directory contained
  a character like '-' it would affect sorting when compared with '/'.
  Now we sort directory by directory in a path, so the dir separator is
  not sorted itself.

* diffs backups where very slow because we were using a very simple
  algorithm that was also very slow, were for each file we would reopen
  and go across the index until found. Now we go across the index only
  once in the whole restore operation, so the speed of restoring a
  backup has increased dramatically.

small documentation fix, improving jsonpath comparator for directories, as their size dont matter, and improving it also to not compare uid or gid if not superuser

add handy backup command, used for benchmarks

fixing bug related to deltatar multivol restore

Extracting a multivol diff backup sometimes failed because we did
not set the volume number, which is needed to be done when we are
extracting files one by one.

fixing multiple errors in deltatar at once:

* naming of the generated backups was incorrect because they were
always named as if they were full backups, even if it was a diff
one. This has been changed both at backup creation and at backup
finding.

Related to that is the backup volume "finder": it was trying to
find volumes with current date which is not what we want, so now
it guesses the date of the volume based on a prefix and a suffix
inside the backup directory.

* changing the ordering of the files in _recursive_walk_dir to
follow an ascending naming sorted Breadth First Search algorithm.
This has been fixed without having to retrieve the full list and
then apply a sort to be efficient, which was something Daniel
applied as a fix and got reverted for memory efficiency.

* fixing index iterator also removing the need to have the full
index in memory and allowing it to be used with the "with"
python statement.

* fixing collate_iterators sorting because when the second index
element was less than the first one, we were not taking into
account that in a BFS algorithm files nearer to the root in depth
go first regardless of the sorting.

* some optimizations and fixes related to the deletion of files
in restore_backup for diff backups have been done

Fixed multivolume with encryption creation

Adding the test test_restore_from_index_diff_backup3_multivol I've found a
bug in the multivolume creation with encryption. The problem was that the
first volume of data was created correctly, but the second and so were
created in plain text.

The problem was in the TarFile.open_volume method, just in the creation of
the new volume file, the encryption data was not passed to the new _Stream
object.

Fixed aes deltatar restoring

Test DeltaTarGzipAes256ConcatTest.test_restore_from_index_diff_backup3 was
failing and this patch fixed it.

The encryption was initialized on every call to _init_read_gz and every
time we found a new encryption chunk (something that starts with
"Salted__"). The correct way to do it is to initialize at the beginning and
every time we find a new encryption chunk, it's not needed to initialize
the encryption on every call to _init_read_gz.

There was an exception trying to decompress a chunk of data in the line:

buf = self.cmp.decompress(buf)

This happened because at the end of the file the call to _init_read_gz
fails and the exception is controlled by a try-except, but sometimes just
after this fail there is a call to read the trailing data with the gzip and
a try to decompress and it fails because the self.cmp is not initialized,
this data is garbage, so I catch this exception and everything works okay.

Fixed DeltaTar create_diff_backup and restore_backup

Start all tests in the same directory

Fixed test_create_diff_backup1

fixing again tarfile.readline..

adding unit test that uses .git to create and restore backups

fixing readlin in tarfile, it was not working right after passing the bufsize

removing typo error

adding support for compressed index files

deltatar: setting and checking mtime and ctime in dirs and files

fixing bug in diff engine making it fail when a directory is removed

adding some unit tests for restoring diff backups and fixing some bugs in there

deltatar: initial implementation of the diff restore engine

improving diff engine unit test so that it test deletion of files

deltatar: fixing some problems with diff engine and adding more unit tests

improving the empty diff backup unit test

deltatar: standarizing using a prefix for all kind of file paths in all types of backups

initial implementation of diff backup and a simple unit test

writing iterators for directory diffs and unit testing them

deltatar: adding parent path checking, and unit tests for it

testing deltatar filtering regular expressions

allow also filtering on the extraction of backup tar files

deltatar: limit restore from index tests to uncompressed or concat compressed modes

deltatar: adding support for filtering in restore index and adding unit tests

Fixing AESCrypt stupid bug

adding unit tests for filter function

first implementation of filtered restore_backup and unit test

implementing filter_func in deltatar

Removing OFB pad to avoid to hide errors

fixing bug extracting tarfiles from index offsets when using multivol

restore from index without multiple vols now works

adding initial support to restore from index. still failing in directories

tarfile: adding a way to know the starting position of last tar member added

updated the estimation

fixing and unit testing multivolume support

deltatar: removing not bz2 concat stream test, adding crc checking and unit test for it

adding a test class for each supported mode and fixing some related bugs

deltatar: now index file is created on create_full_backup calls

initial super simple implementation and unit test of restore_backup

initial basic implementation of the create_full_backup and very basic unit test

adding steps to the design

specifing max vol size in mb and only for backup creation

fixing minor typos in DeltaTar spec

Fix small typo

improving design of the tool after thomas input

fixing some minor details

improving the design of DeltaTar public API, making it more flexible

uploading proposed public API

Add note about file index compression/encryption

specifying key_length in bits instead of bytes

Supporing aes128 and aes256 encryption type

Changed the gpl header to lgpl

Fixed encryption pad treatment using random pad

Fixed filesplit corner case infinite loop

Added encrypt/decrypt multivolume test

Adding intra2net copyright header to every python file

Using aes128 for encryption

Implemented aes decryption support

Fixed AESCrypt.encrypt with no data multiple of bs

adding aes encryption support for creation

fixing compressed multivol

working in rescue tar utility

adding crc checking when reading tar.gz files

More tests to check corner cases

Test to check extract of gnu-tar file with multiple files and volumes

Removing not needed line, it's a self assignation

adding rescue file splitter and some unit tests using it

extracting files in r#gz mode now works too, includes unit tests

adding initial concat compression support and a simple unit test

adding unit test for volume error handling

adding corner case size test

generalizing unittests and adding some more

fixing multivolume related bugs

fixing minor nitpicks reported by pylint and pyflakes

removing some debug lines

Fix cosmetic typo in comment

fixing remaining issues with PAX compress/extract

initial not fully functional pax multivol implementation

beautifying test code a bit

fixing extraction of multivolume with multiple files

adding support for reading multivolume tars

add extract volume test - not implemented yet (test driven development)

adding unit tests for tarfile and fixing some cases which were not working

initial working tar multivolume creation implementation

initial tarfile multivol writing implementation

adding tarfile from cpython latest version

answering some questions

Feedback and more questions.

answering TODO questions

Add note about using JSON for the file index format

test commit

Add design ideas and first TODO steps