Merge branch 'install-subdir'

Skip CnfVar unittests

These tests seem to never have worked

Clarify that disc_filler is no unittest

Replace non-ascii char in cnfvar, import print from future

Rename cnfvar unittest so it is actually being found and used

Make all internal imports relative

Remove test code from zip_stream module, add comments

Increase version to 1.2

Install into subdir pyi2ncommon in site-packages

Before, all files src/*.py were just copied to /usr/lib/pythonX.X/site-packages

Move template for tests to template dir

Merge branch 'zip-stream'

Create template subdir, move template there

Could otherwise not get template.py out of installed code

Add a TODO to track current development directions.

Create a streamable version of ZipFile

Python's ZipFile requires data in memory or on disc in order to compress it.
This module contains class ZipStream that extends ZipFile to allow read-only,
non-seekable streams as input.

For python < 3.5 this requires python-zipfile35; implementation is MUCH simpler
for python >= 3.6

Do not color output to non-terminal; improve print() arg handling

Handle missing parameters to log string

More output from test to simplify debugging; set thresh back to 1s

Use a monotonic wall clock for performance tests also in py2

This fixes the problem enountered sometimes in unittest test_log_read. The
clock was not precise enough (10ms beat)

Make src and test a package by adding __init__.py

Make sure unittests only import from src

Before, the imports could have been from an earlier installed version of
pyi2ncommon.

Skip unittest that fails when building rpm

Test succeeds if running unittests on shell, but fails when building rpm.
For some reason there is an extra thread that behaves unexpected.

Merge branch 'cnfvar-py'

Change version to 1.1

Be more generous with reading delay in unittest

Make compatible again with py2

Build dist with py3

use string type for writing to stdout

improve description of cnfvar.py command line usage

Try it out:

    $ ssh some-intranator '/usr/intranator/bin/get_cnf' |python3 src/cnfvar.py -

adapt cnfvar stdout writer for python3

stdio output still trips over the bytes / string separation. Fix
it by defaulting to bytes which mirrors the reader. Add optional
string writer for use with direct text output.

test for toplevel line after popping nested var

After reaching the end of a sequence of CNF siblings at nesting
level > 1, the parser crashes because the updated current line
is a toplevel line:

    234  FIREWALL_NETGROUP,1: "i2n"
    235     (234) FIREWALL_NETGROUP_NETWORK,0: ""
    236        (235) FIREWALL_NETGROUP_NETWORK_IP,0: "172.16.1.0"
    237        (235) FIREWALL_NETGROUP_NETWORK_NETMASK,0: "255.255.255.0"
    238  FIREWALL_NETGROUP,2: "drift-extern" # <----------------------------------- boom!
    239     (238) FIREWALL_NETGROUP_NETWORK,0: "drift"
    240        (239) FIREWALL_NETGROUP_NETWORK_IP,0: "172.16.1.85"
    241        (239) FIREWALL_NETGROUP_NETWORK_NETMASK,0: "255.255.255.255"

Fix by testing for parent lines and exiting immediately.

fix stdio processing in cnfvar.py

Data not supplied from the Python end still suffers from encoding
issues, so fix those.

extend cnfvar.py description

Also amend the formatting that got distorted by autopep8 in
Autotest.

add license blurb to cnfvar files

All repo files are under GPLv2+ with linking exception.

update cnfvar unittest for python 3

import cnfvar and unit tests

cnfvar.py          <- intranator/backup-crypto
cnfvar_unittest.py <- autotest-intranator/backup-crypto

Consequently, cnfvar.py has already been adapted for Python 3,
the unit tests have not.

Rename shortened to head_and_tail

Create unittest for shortened(...)

Create text_helper shortened(...)

Fix unittests for color output functions

Make text_helpers py2-compatible

More error handling in log_read

Add unittest for new text_helpers.

Can only test whether functions raise an error since correct behaviour is
hard to test automatically.

Create text_helpers with color/style functions for output

Update unittest template and skip one test

Ignore automatically created api doc files

remove warning that is triggered quite often and purely informal

remove whitespace

created simple LogParser

fix typo in docu and extend a little

improve docu

ensure NOTICE log level is always int

add I2nLogger.exception

deal with level given as string in I2nLogger.log or constructor

removed param max_lines from I2nLogger: more trouble that it is worth

copied function is_glob that I created for oletools

fix sphinx todo/seealso flags

change argument order since I used paths as only arg for the x-th time

in case there are multiple mounts for same path, prefer REAL_FILESYSTEM_TYPE

re-introduce blacklist since fstype not always known

replaced blacklist NOT_REAL_FILESYSTEMS with whitelist REAL_FILESYSTEMS

make sizes in test_helpers readable

also deal with differences in size_str

make sizes more readable with function file_helpers.size_str

create shell script to run unittests

get unittests run again

cleaner way to sort out unwanted file system info: bool flag

created watch_disc_fill to monitor disc fill of other programs

create new file_helpers.get_mount_info

completed testing the non-forking filesystem state, use as default now

implement non-forking way to get all filesystem's fill state (/proc/mounts + statvfs)

does not quite give the same result as df (yet?)

re-enable unittests in spec file, skip individual tests

fix unittest compatibility issues

added iter_helpers.[i]zip_longest
added test_helpers.get_perf_counter

updated README

create make_dist.sh script that creates and modifies spec file and source tar.gz

do not package docu/tests into pyi2ncommon (get installed into /usr)

added README

created a setup.py following distutils instructions from https://docs.python.org/3.3/distutils/index.html

renamed unittests from test/module_unittest.py to test/test_module.py

moved python files from root dir into new src subdir

as recommended in distutils docu

moved old unittests into test subdir

uups

updated doc

add license to every source file and replaced codeauthor with Intra2net

test completed successfully (/dev/random was too slow)

change unit of FilesystemFillState to bytes since that was assumed in other code

fix a bug in text-parsing; clean up imports

added comments and todos

created test that actually writes data to a filesystem to really test disc_fill_checked

new test, new bugs found...

create iter_helpers since pairwise now used multiple times

disc checker thread works now in unittests

added alternativ implementation using alarms (untested)

added a todo and forgotten 'self's

some bugfixes: ignore tmpfs in disc fill check, set daemon compatibly

fix typos

start testing the DiscCheckerThread, not as easy as expected...

continue testing and correcting disc-usage checker; decision function and zero-estimation correct

test creation and str-formatting of FilesystemFillState since I once stumbled over this

add from __future__ import print_function for compatibility in templates

clarified names around df-wrappers: include "fill" in function and class

implemented robust estimation of time-until-disc-full