Fix error wrapping stdout when redirecting

In some cases (e.g. redirecting stdout to shell), the automatic determination
in ZipFile constructor whether its file argument can seek() and tell() fails.
stdout seems to support both but returns bogus values for tell(), resulting
in negative sizes when writing the archive's end record.

Provide a fix with additional arg force_wrap

Also ensure that CRCs are always correct as suggested in python docs and
stackoverflow

Simplify imports in zip_stream and add comments

Create unittest for zip_stream

Only runs in python3 (zipfile35 could be made py2-compatible by importing
print() and removing PyZipFile, but also have trouble with byte sizes in
struct.pack)

Create unittest for argpars_helpers

Create new arparse_helpers with NonExitingParser and existing_file

Created unittest for iter_helpers

Create iter_helper interesting_repetition

Merge clean-up branch

Update README

Fix comments in check.sh

Mention autotest in setup.py, update template files

Fix whitespace in comments in template

Finally break ties with python2

Remove unused test_helpers

Replace only usage of test_helpers

Remove unused call_helpers

Remove deprecated log reader utility

Use log_read instead

Remove old unused file helpers

Half-baked re-implementation of psutils, no good

Fix name of project in doc config

Create sphinx docu only of src, not of test

Update copyright in sphinx docu

Correct formatting of comments in template, add some more text

Unify license, copyright and author information

Fixed one error and some whitespace found by pycharm

Make a note in file_helpers to use psutils instead of re-implementing it

Merge branch 'install-subdir'

Skip CnfVar unittests

These tests seem to never have worked

Clarify that disc_filler is no unittest

Replace non-ascii char in cnfvar, import print from future

Rename cnfvar unittest so it is actually being found and used

Make all internal imports relative

Remove test code from zip_stream module, add comments

Increase version to 1.2

Install into subdir pyi2ncommon in site-packages

Before, all files src/*.py were just copied to /usr/lib/pythonX.X/site-packages

Move template for tests to template dir

Merge branch 'zip-stream'

Create template subdir, move template there

Could otherwise not get template.py out of installed code

Add a TODO to track current development directions.

Create a streamable version of ZipFile

Python's ZipFile requires data in memory or on disc in order to compress it.
This module contains class ZipStream that extends ZipFile to allow read-only,
non-seekable streams as input.

For python < 3.5 this requires python-zipfile35; implementation is MUCH simpler
for python >= 3.6

Do not color output to non-terminal; improve print() arg handling

Handle missing parameters to log string

More output from test to simplify debugging; set thresh back to 1s

Use a monotonic wall clock for performance tests also in py2

This fixes the problem enountered sometimes in unittest test_log_read. The
clock was not precise enough (10ms beat)

Make src and test a package by adding __init__.py

Make sure unittests only import from src

Before, the imports could have been from an earlier installed version of
pyi2ncommon.

Skip unittest that fails when building rpm

Test succeeds if running unittests on shell, but fails when building rpm.
For some reason there is an extra thread that behaves unexpected.

Merge branch 'cnfvar-py'

Change version to 1.1

Be more generous with reading delay in unittest

Make compatible again with py2

Build dist with py3

use string type for writing to stdout

improve description of cnfvar.py command line usage

Try it out:

    $ ssh some-intranator '/usr/intranator/bin/get_cnf' |python3 src/cnfvar.py -

adapt cnfvar stdout writer for python3

stdio output still trips over the bytes / string separation. Fix
it by defaulting to bytes which mirrors the reader. Add optional
string writer for use with direct text output.

test for toplevel line after popping nested var

After reaching the end of a sequence of CNF siblings at nesting
level > 1, the parser crashes because the updated current line
is a toplevel line:

    234  FIREWALL_NETGROUP,1: "i2n"
    235     (234) FIREWALL_NETGROUP_NETWORK,0: ""
    236        (235) FIREWALL_NETGROUP_NETWORK_IP,0: "172.16.1.0"
    237        (235) FIREWALL_NETGROUP_NETWORK_NETMASK,0: "255.255.255.0"
    238  FIREWALL_NETGROUP,2: "drift-extern" # <----------------------------------- boom!
    239     (238) FIREWALL_NETGROUP_NETWORK,0: "drift"
    240        (239) FIREWALL_NETGROUP_NETWORK_IP,0: "172.16.1.85"
    241        (239) FIREWALL_NETGROUP_NETWORK_NETMASK,0: "255.255.255.255"

Fix by testing for parent lines and exiting immediately.

fix stdio processing in cnfvar.py

Data not supplied from the Python end still suffers from encoding
issues, so fix those.

extend cnfvar.py description

Also amend the formatting that got distorted by autopep8 in
Autotest.

add license blurb to cnfvar files

All repo files are under GPLv2+ with linking exception.

update cnfvar unittest for python 3

import cnfvar and unit tests

cnfvar.py          <- intranator/backup-crypto
cnfvar_unittest.py <- autotest-intranator/backup-crypto

Consequently, cnfvar.py has already been adapted for Python 3,
the unit tests have not.

Rename shortened to head_and_tail

Create unittest for shortened(...)

Create text_helper shortened(...)

Fix unittests for color output functions

Make text_helpers py2-compatible

More error handling in log_read

Add unittest for new text_helpers.

Can only test whether functions raise an error since correct behaviour is
hard to test automatically.

Create text_helpers with color/style functions for output

Update unittest template and skip one test

Ignore automatically created api doc files

remove warning that is triggered quite often and purely informal

remove whitespace

created simple LogParser

fix typo in docu and extend a little

improve docu

ensure NOTICE log level is always int

add I2nLogger.exception

deal with level given as string in I2nLogger.log or constructor

removed param max_lines from I2nLogger: more trouble that it is worth

copied function is_glob that I created for oletools

fix sphinx todo/seealso flags

change argument order since I used paths as only arg for the x-th time

in case there are multiple mounts for same path, prefer REAL_FILESYSTEM_TYPE

re-introduce blacklist since fstype not always known

replaced blacklist NOT_REAL_FILESYSTEMS with whitelist REAL_FILESYSTEMS

make sizes in test_helpers readable

also deal with differences in size_str

make sizes more readable with function file_helpers.size_str

create shell script to run unittests

get unittests run again

cleaner way to sort out unwanted file system info: bool flag

created watch_disc_fill to monitor disc fill of other programs

create new file_helpers.get_mount_info

completed testing the non-forking filesystem state, use as default now

implement non-forking way to get all filesystem's fill state (/proc/mounts + statvfs)

does not quite give the same result as df (yet?)

re-enable unittests in spec file, skip individual tests

fix unittest compatibility issues

added iter_helpers.[i]zip_longest
added test_helpers.get_perf_counter

updated README

create make_dist.sh script that creates and modifies spec file and source tar.gz

do not package docu/tests into pyi2ncommon (get installed into /usr)