Be more generous with reading delay in unittest

Make compatible again with py2

Build dist with py3

use string type for writing to stdout

improve description of cnfvar.py command line usage

Try it out:

    $ ssh some-intranator '/usr/intranator/bin/get_cnf' |python3 src/cnfvar.py -

adapt cnfvar stdout writer for python3

stdio output still trips over the bytes / string separation. Fix
it by defaulting to bytes which mirrors the reader. Add optional
string writer for use with direct text output.

test for toplevel line after popping nested var

After reaching the end of a sequence of CNF siblings at nesting
level > 1, the parser crashes because the updated current line
is a toplevel line:

    234  FIREWALL_NETGROUP,1: "i2n"
    235     (234) FIREWALL_NETGROUP_NETWORK,0: ""
    236        (235) FIREWALL_NETGROUP_NETWORK_IP,0: "172.16.1.0"
    237        (235) FIREWALL_NETGROUP_NETWORK_NETMASK,0: "255.255.255.0"
    238  FIREWALL_NETGROUP,2: "drift-extern" # <----------------------------------- boom!
    239     (238) FIREWALL_NETGROUP_NETWORK,0: "drift"
    240        (239) FIREWALL_NETGROUP_NETWORK_IP,0: "172.16.1.85"
    241        (239) FIREWALL_NETGROUP_NETWORK_NETMASK,0: "255.255.255.255"

Fix by testing for parent lines and exiting immediately.

fix stdio processing in cnfvar.py

Data not supplied from the Python end still suffers from encoding
issues, so fix those.

extend cnfvar.py description

Also amend the formatting that got distorted by autopep8 in
Autotest.

add license blurb to cnfvar files

All repo files are under GPLv2+ with linking exception.

update cnfvar unittest for python 3

import cnfvar and unit tests

cnfvar.py          <- intranator/backup-crypto
cnfvar_unittest.py <- autotest-intranator/backup-crypto

Consequently, cnfvar.py has already been adapted for Python 3,
the unit tests have not.

Rename shortened to head_and_tail

Create unittest for shortened(...)

Create text_helper shortened(...)

Fix unittests for color output functions

Make text_helpers py2-compatible

More error handling in log_read

Add unittest for new text_helpers.

Can only test whether functions raise an error since correct behaviour is
hard to test automatically.

Create text_helpers with color/style functions for output

Update unittest template and skip one test

Ignore automatically created api doc files

remove warning that is triggered quite often and purely informal

remove whitespace

created simple LogParser

fix typo in docu and extend a little

improve docu

ensure NOTICE log level is always int

add I2nLogger.exception

deal with level given as string in I2nLogger.log or constructor

removed param max_lines from I2nLogger: more trouble that it is worth

copied function is_glob that I created for oletools

fix sphinx todo/seealso flags

change argument order since I used paths as only arg for the x-th time

in case there are multiple mounts for same path, prefer REAL_FILESYSTEM_TYPE

re-introduce blacklist since fstype not always known

replaced blacklist NOT_REAL_FILESYSTEMS with whitelist REAL_FILESYSTEMS

make sizes in test_helpers readable

also deal with differences in size_str

make sizes more readable with function file_helpers.size_str

create shell script to run unittests

get unittests run again

cleaner way to sort out unwanted file system info: bool flag

created watch_disc_fill to monitor disc fill of other programs

create new file_helpers.get_mount_info

completed testing the non-forking filesystem state, use as default now

implement non-forking way to get all filesystem's fill state (/proc/mounts + statvfs)

does not quite give the same result as df (yet?)

re-enable unittests in spec file, skip individual tests

fix unittest compatibility issues

added iter_helpers.[i]zip_longest
added test_helpers.get_perf_counter

updated README

create make_dist.sh script that creates and modifies spec file and source tar.gz

do not package docu/tests into pyi2ncommon (get installed into /usr)

added README

created a setup.py following distutils instructions from https://docs.python.org/3.3/distutils/index.html

renamed unittests from test/module_unittest.py to test/test_module.py

moved python files from root dir into new src subdir

as recommended in distutils docu

moved old unittests into test subdir

uups

updated doc

add license to every source file and replaced codeauthor with Intra2net

test completed successfully (/dev/random was too slow)

change unit of FilesystemFillState to bytes since that was assumed in other code

fix a bug in text-parsing; clean up imports

added comments and todos

created test that actually writes data to a filesystem to really test disc_fill_checked

new test, new bugs found...

create iter_helpers since pairwise now used multiple times

disc checker thread works now in unittests

added alternativ implementation using alarms (untested)

added a todo and forgotten 'self's

some bugfixes: ignore tmpfs in disc fill check, set daemon compatibly

fix typos

start testing the DiscCheckerThread, not as easy as expected...

continue testing and correcting disc-usage checker; decision function and zero-estimation correct

test creation and str-formatting of FilesystemFillState since I once stumbled over this

add from __future__ import print_function for compatibility in templates

clarified names around df-wrappers: include "fill" in function and class

implemented robust estimation of time-until-disc-full

finished LogarithmicBuffer, tested with new unittest

fixed CircularBuffer unittest

created test_helpers for simplifying quick test development; started disc usage checker

make line-splitting optional in call_and_capture

clarified test template

created unittest for file_helpers

created a wrapper around "df" command in file_helpers

created unittest for CircularBuffer

implemented LogarithmicBuffer

more renaming and testing to make clear CircularBuffer is not just for log text

cleaned up CircularBuffer

renamed output_buffer.py to buffers.py

added file_helpers with cd context manager

created call_helpers with call_and_capture and corresponding unittest

created unittest for type_helpers; added is_unicode

created test subdir with unit test template

fixed and added to I2nLogger, is now in a useable state

added two stubs: arnied.py and output_buffer.py

added functions is_interesting_count and n_digits to log_helpers

had forgotten a ':'

log_read.LineReader passed first test

added more type_helpers: is_file_obj and is_str_or_byte

created log_read.py with functional base class IterativeReader

this replaces follow.py because I realized that the approach there (using
select.poll) is not guaranteed to work. log_read uses stat.st_size as its
c++ exemplar does