Create unittest for size_str

Bring back size_str text helper

Had been removed since it was not needed any more. Is needed again, so may
be relevant after all

Create unit tests for cd context manager

Bring back cd context manager

This has been in pyi2ncommon before but was removed since it was only used
in one place (which exists no more). Now needed it again, so bring it back.

Merge branch 'cnfvar-dev'

fix misleading error message in simple_cnf

normalize varname as cnfvar.py expects it

When cnfvar reads variables, it normalizes the names to
lowercase. Only when emitting classic CNF_FILE style output
the names are uppercased for set_cnf.

support comparison of SimpleCnf() with non-SimpleCnf() objects

Since __eq__ operations are polymorphic, crashing on different
``types'' is not a good idea.

validate SimpleCnf inputs

The cnfvar functions cannot handle ``tuple'' inputs since the
inputs are variable length. Make simple_cnf pass a list instead
and reject non-list inputs in the ctor.

restore simple_cnf/add_single API

Restore an API that vanished at some point despite there still
being users.

This is commit fa747d25a7c47a1ceef165c4e1667b9755c9da0d on
autotest/i2n. The original commit message in full:

    In

        commit 5f6735c41fc769ac9ba6ee62754ab2b7da3d68d2
        Author: Christian Herdtweck <christian.herdtweck@intra2net.com>
        Date:   Wed Apr 5 18:14:02 2017 +0200

            Extend SimpleCnf.add_single to SimpleCnf.add

    this ApI was folded into .add() without providing an overload for
    downstream consumers. Provide the symbol again as a thin wrapper
    around .add() and hope for the behavior to remain unaffected.

fix cnfvar crash on end inside child vars

The recursive call to parse_cnf_children() may also return None
if it hit EOF.

lowercase all incoming varnames

The CNF store is case-indifferent regarding variable names when
reading from it, so just normalize all of them when internalizing
variables.

when emitting CNF lines, force capitalization of variable names

add cnfvar helper for counting CNF trees

allow parent-less renumbering of CNF_VARs

When more control is needed over the line numbers a CNF_VAR and
its children are assigned, the *parent* linenumber can be used to
pass an offset. Add a parameter *toplevel* to prevent the parent
index from being set.

loosen criteria on CNF object roots

Single CNF_VARs are technically malformed since CNF file is
always a list of vars. However, any isolated CNF line can be
trivially converted to a valid CNF_VAR by wrapping it in a list
ctor, so do that automatically when determining the root of a
CNF_VAR.

fix renumbering in cnfvar.py

avoid formatting binary strings

Postpone bytes conversion of CNF-encoded objects until the last
moment to work around missing interpolation of bytes objects in
Python 3.3 (the version still in use on the Intranator).

Reference: https://bufs.python.org/issue3982

Update version to 1.3

Use HTTP firewall ruleset option starting from I2N release 6.5.0

Fix encoding issue when building rpm

This issue never occured in regular shells because usually LOCALE and
system encoding and similar is set.

Add CONTRIBUTING guide with rules for contributors

Make debug print in test optional

Fix units and threshold for log read test

Fix cnf var unit test: cnf lines can have different order

Merge branch 'autotest-migration' into master

This branch migrates all utilities originally developed for Autotest but
considered generalizable beyond its scope and useful for other projects
requiring python bindings for I2N related functionality.

Any future improvement and refactoring on the contributed modules will
be done here and made available for client code including Autotest.

Include the cnfline subpackage in the setuptools script

Avoid creating unclean debug directories during build cnfvar unit tests

Remove arnied utility stub now that the actual wrapper is available

Backport some subprocess py3.5+ functionality for older python versions

The main platform using these utilities only supports py3.3 making
this extra effort necessary for a seamless caller experience.

Restrict the logging to pyi2ncommon namespace

The logging for the entire library can be managed through its
root logger and thus of all migrated functionality.

Use the correct sourcing for all added unit tests

Adapt all internal imports in relative fashion

We were modifying the system path before but now we can use
cleaner importing approach.

Add GPLv2 licensing headers to all migrated utilities

Migrate utilities from the autotest-intra2net repo

Use the system independent null device provided by python

Convert configs to bytes to make some unit tests work with cnfvar

Unify the cnf reading API to bytes argument and returned str

Also fix byte usage in config preparation with the above assumption.

Update library description, remove autotest

Fix iter_helper import and test

Bring back call helpers

Were not used sofar but will be extendend and used again by autotest code

Merge branch 'zip-stream-test'

Fix error wrapping stdout when redirecting

In some cases (e.g. redirecting stdout to shell), the automatic determination
in ZipFile constructor whether its file argument can seek() and tell() fails.
stdout seems to support both but returns bogus values for tell(), resulting
in negative sizes when writing the archive's end record.

Provide a fix with additional arg force_wrap

Also ensure that CRCs are always correct as suggested in python docs and
stackoverflow

Simplify imports in zip_stream and add comments

Create unittest for zip_stream

Only runs in python3 (zipfile35 could be made py2-compatible by importing
print() and removing PyZipFile, but also have trouble with byte sizes in
struct.pack)

Create unittest for argpars_helpers

Create new arparse_helpers with NonExitingParser and existing_file

Created unittest for iter_helpers

Create iter_helper interesting_repetition

Merge clean-up branch

Update README

Fix comments in check.sh

Mention autotest in setup.py, update template files

Fix whitespace in comments in template

Finally break ties with python2

Remove unused test_helpers

Replace only usage of test_helpers

Remove unused call_helpers

Remove deprecated log reader utility

Use log_read instead

Remove old unused file helpers

Half-baked re-implementation of psutils, no good

Fix name of project in doc config

Create sphinx docu only of src, not of test

Update copyright in sphinx docu

Correct formatting of comments in template, add some more text

Unify license, copyright and author information

Fixed one error and some whitespace found by pycharm

Make a note in file_helpers to use psutils instead of re-implementing it

Merge branch 'install-subdir'

Skip CnfVar unittests

These tests seem to never have worked

Clarify that disc_filler is no unittest

Replace non-ascii char in cnfvar, import print from future

Rename cnfvar unittest so it is actually being found and used

Make all internal imports relative

Remove test code from zip_stream module, add comments

Increase version to 1.2

Install into subdir pyi2ncommon in site-packages

Before, all files src/*.py were just copied to /usr/lib/pythonX.X/site-packages

Move template for tests to template dir

Merge branch 'zip-stream'

Create template subdir, move template there

Could otherwise not get template.py out of installed code

Add a TODO to track current development directions.

Create a streamable version of ZipFile

Python's ZipFile requires data in memory or on disc in order to compress it.
This module contains class ZipStream that extends ZipFile to allow read-only,
non-seekable streams as input.

For python < 3.5 this requires python-zipfile35; implementation is MUCH simpler
for python >= 3.6

Do not color output to non-terminal; improve print() arg handling

Handle missing parameters to log string

More output from test to simplify debugging; set thresh back to 1s

Use a monotonic wall clock for performance tests also in py2

This fixes the problem enountered sometimes in unittest test_log_read. The
clock was not precise enough (10ms beat)

Make src and test a package by adding __init__.py

Make sure unittests only import from src

Before, the imports could have been from an earlier installed version of
pyi2ncommon.

Skip unittest that fails when building rpm

Test succeeds if running unittests on shell, but fails when building rpm.
For some reason there is an extra thread that behaves unexpected.

Merge branch 'cnfvar-py'

Change version to 1.1

Be more generous with reading delay in unittest

Make compatible again with py2

Build dist with py3

use string type for writing to stdout

improve description of cnfvar.py command line usage

Try it out:

    $ ssh some-intranator '/usr/intranator/bin/get_cnf' |python3 src/cnfvar.py -

adapt cnfvar stdout writer for python3

stdio output still trips over the bytes / string separation. Fix
it by defaulting to bytes which mirrors the reader. Add optional
string writer for use with direct text output.

test for toplevel line after popping nested var

After reaching the end of a sequence of CNF siblings at nesting
level > 1, the parser crashes because the updated current line
is a toplevel line:

    234  FIREWALL_NETGROUP,1: "i2n"
    235     (234) FIREWALL_NETGROUP_NETWORK,0: ""
    236        (235) FIREWALL_NETGROUP_NETWORK_IP,0: "172.16.1.0"
    237        (235) FIREWALL_NETGROUP_NETWORK_NETMASK,0: "255.255.255.0"
    238  FIREWALL_NETGROUP,2: "drift-extern" # <----------------------------------- boom!
    239     (238) FIREWALL_NETGROUP_NETWORK,0: "drift"
    240        (239) FIREWALL_NETGROUP_NETWORK_IP,0: "172.16.1.85"
    241        (239) FIREWALL_NETGROUP_NETWORK_NETMASK,0: "255.255.255.255"

Fix by testing for parent lines and exiting immediately.

fix stdio processing in cnfvar.py

Data not supplied from the Python end still suffers from encoding
issues, so fix those.

extend cnfvar.py description

Also amend the formatting that got distorted by autopep8 in
Autotest.

add license blurb to cnfvar files

All repo files are under GPLv2+ with linking exception.