Fix remote scheduling of programs

When scheduling a program on a remote VM, the schedule file was
not being sent to the VM. Also, when removing previously schedule
files rm was waiting for confirmation since we didn't pass it
the `-f` option.

Overwrite run_cmd timeout in wait_for_run

The default timeout of 60 seconds might not be enough

Add timeout support to run_cmd

When calling shell commands on a VM we have a default timeout
of 60 seconds (in the session functions designed to run remote
commands). However, some arnied_wrapper functions such as
`wait_for_run` (which calls `arnied_helper
--wait-for-program-timeout`) require a larger timeout, so we
need to be able to overwrite the default.

Merge branch 'call-helper-no-default-split'

Merge branch 'cnfvar-fixes'

test_call_helpers: create unittests for subprocess_run

Check that subprocess_run is compatible with python3.5 subprocess.run

tidy up cnfvar.py unit tests

This batch of unit tests was disabled since the switch to Python3
on account of minor encoding troubles. Reactivate it and ensure
encoding and escaping are handled properly.

test_call_helpers: fix Comments

call_helpers: Make default behaviour of subprocess_run compatible

subprocess_run just calls call_and_capture which has different default
settings (return text instead of bytes, split lines).
However, subprocess_run should be a drop-in replacement of the python3.5
subprocess.run function, so should behave the same way.

This little trick fixed e.g. calls to "get_cnf -j" called from cnfvar.py
on python 3.3 (current intra2net system version)

accept both bytes and str for cnfvar readers

Make both the CNF format and the JSON readers handle bytes and
str transparently.

(Note there is still a deplorable asymmetry in the routines such
that the JSON path will convert to *str* whereas the CNF part,
assuming single-byte encoded data, will convert to *bytes*. This
is necessary for compatibility reasons until the Intranator gets
a more recent Python interpreter.)

allow selecting individual tests in unittest wrapper

Extend run_unittests.sh so it doesn't necessarily always run
everything:

    $ ./run_unittests.sh                  # -> as before
    $ ./run_unittests.sh test.test_cnfvar # run test/test_cnfvar.py
    $ ./run_unittests.sh test_cnfvar      # run test/test_cnfvar.py

handle data escaping properly in cnf vars

libcnffile has an additional step that strips escaping from
var data so this:

    42 MY_VAR,0: "foo\"bar\"baz"

is actually a valid CNF_VAR with a data member equals ``foo"bar"baz''.
Till now, cnfvar.py would reject such a line because of the
stricter matching. Since escaped strings are ubiquitous in JSON
encoded data, this must be handled properly. (Ironically this is
not an issue with the JSON interface due to the builtin string
escaping rules of the format.)

Imitate the behavior of libcnffile so properly escaped double
quotes don't terminate the string matching. Lucky for us we can
get away with extending the line regex with an alternating
pattern in a non-matching group ``(?:...''.

Create unittests for case changes of cnfvar varnames

normalize cnfvars for JSON output too

Reported by Christian: The normalization pass that ensures
varnames are uppercase was missing from the JSON based routines
which caused them to be rejected by set_cnf(). Implement it by
passing a normalized copy of the CNF tree to the json writer.

Fix debug output line in dial.py

Convert cnfvar names to lowercase on json import

read_cnf already converts all variable names to lower case. Do the same for
read_cnf_json to get consistent behaviour. SimpleCnf already relies on this.

Remove unnecessary creation of reference

Correct doc in simple_cnf

Merge branch 'less-unittest-clutter'

Disable debug output in log_read

Fixed based on Plamen's review.

Create 2 pyi2ncommon rpms: for py3.3 and py3.6

The python version, for which pyi2ncommon is installed on target machine,
is fixed in the rpm. It defaults to same version as build host. Managed
to change that by creating setup.cfg file dynamically while running
setup.py . With help of that script, can now create one version for
autotest (py3.6) and one for I2n systems (py3.3)

Do not require fixed python3 version for pyi2ncommon

Reduce output from simple_cnf test to warnings

Replace deprecated logging function with equivalent

Replace deprecated unittest function with equivalent

Ensure all opened files/sockets are closed in mail_utils

bump minor version to keep track of changes

Merge branch 'util-resurrection'

Fix doc strings for text_helpers (except color stuff)

Thanks to Plamen for hint in review

Fix doc string for sysmisc.cd()

Thanks to Plamen for hint

Create unittest for size_str

Bring back size_str text helper

Had been removed since it was not needed any more. Is needed again, so may
be relevant after all

Create unit tests for cd context manager

Bring back cd context manager

This has been in pyi2ncommon before but was removed since it was only used
in one place (which exists no more). Now needed it again, so bring it back.

Merge branch 'cnfvar-dev'

fix misleading error message in simple_cnf

normalize varname as cnfvar.py expects it

When cnfvar reads variables, it normalizes the names to
lowercase. Only when emitting classic CNF_FILE style output
the names are uppercased for set_cnf.

support comparison of SimpleCnf() with non-SimpleCnf() objects

Since __eq__ operations are polymorphic, crashing on different
``types'' is not a good idea.

validate SimpleCnf inputs

The cnfvar functions cannot handle ``tuple'' inputs since the
inputs are variable length. Make simple_cnf pass a list instead
and reject non-list inputs in the ctor.

restore simple_cnf/add_single API

Restore an API that vanished at some point despite there still
being users.

This is commit fa747d25a7c47a1ceef165c4e1667b9755c9da0d on
autotest/i2n. The original commit message in full:

    In

        commit 5f6735c41fc769ac9ba6ee62754ab2b7da3d68d2
        Author: Christian Herdtweck <christian.herdtweck@intra2net.com>
        Date:   Wed Apr 5 18:14:02 2017 +0200

            Extend SimpleCnf.add_single to SimpleCnf.add

    this ApI was folded into .add() without providing an overload for
    downstream consumers. Provide the symbol again as a thin wrapper
    around .add() and hope for the behavior to remain unaffected.

fix cnfvar crash on end inside child vars

The recursive call to parse_cnf_children() may also return None
if it hit EOF.

lowercase all incoming varnames

The CNF store is case-indifferent regarding variable names when
reading from it, so just normalize all of them when internalizing
variables.

when emitting CNF lines, force capitalization of variable names

add cnfvar helper for counting CNF trees

allow parent-less renumbering of CNF_VARs

When more control is needed over the line numbers a CNF_VAR and
its children are assigned, the *parent* linenumber can be used to
pass an offset. Add a parameter *toplevel* to prevent the parent
index from being set.

loosen criteria on CNF object roots

Single CNF_VARs are technically malformed since CNF file is
always a list of vars. However, any isolated CNF line can be
trivially converted to a valid CNF_VAR by wrapping it in a list
ctor, so do that automatically when determining the root of a
CNF_VAR.

fix renumbering in cnfvar.py

avoid formatting binary strings

Postpone bytes conversion of CNF-encoded objects until the last
moment to work around missing interpolation of bytes objects in
Python 3.3 (the version still in use on the Intranator).

Reference: https://bufs.python.org/issue3982

Update version to 1.3

Use HTTP firewall ruleset option starting from I2N release 6.5.0

Fix encoding issue when building rpm

This issue never occured in regular shells because usually LOCALE and
system encoding and similar is set.

Add CONTRIBUTING guide with rules for contributors

Make debug print in test optional

Fix units and threshold for log read test

Fix cnf var unit test: cnf lines can have different order

Merge branch 'autotest-migration' into master

This branch migrates all utilities originally developed for Autotest but
considered generalizable beyond its scope and useful for other projects
requiring python bindings for I2N related functionality.

Any future improvement and refactoring on the contributed modules will
be done here and made available for client code including Autotest.

Include the cnfline subpackage in the setuptools script

Avoid creating unclean debug directories during build cnfvar unit tests

Remove arnied utility stub now that the actual wrapper is available

Backport some subprocess py3.5+ functionality for older python versions

The main platform using these utilities only supports py3.3 making
this extra effort necessary for a seamless caller experience.

Restrict the logging to pyi2ncommon namespace

The logging for the entire library can be managed through its
root logger and thus of all migrated functionality.

Use the correct sourcing for all added unit tests

Adapt all internal imports in relative fashion

We were modifying the system path before but now we can use
cleaner importing approach.

Add GPLv2 licensing headers to all migrated utilities

Migrate utilities from the autotest-intra2net repo

Use the system independent null device provided by python

Convert configs to bytes to make some unit tests work with cnfvar

Unify the cnf reading API to bytes argument and returned str

Also fix byte usage in config preparation with the above assumption.

Update library description, remove autotest

Fix iter_helper import and test

Bring back call helpers

Were not used sofar but will be extendend and used again by autotest code

Merge branch 'zip-stream-test'

Fix error wrapping stdout when redirecting

In some cases (e.g. redirecting stdout to shell), the automatic determination
in ZipFile constructor whether its file argument can seek() and tell() fails.
stdout seems to support both but returns bogus values for tell(), resulting
in negative sizes when writing the archive's end record.

Provide a fix with additional arg force_wrap

Also ensure that CRCs are always correct as suggested in python docs and
stackoverflow

Simplify imports in zip_stream and add comments

Create unittest for zip_stream

Only runs in python3 (zipfile35 could be made py2-compatible by importing
print() and removing PyZipFile, but also have trouble with byte sizes in
struct.pack)

Create unittest for argpars_helpers

Create new arparse_helpers with NonExitingParser and existing_file

Created unittest for iter_helpers

Create iter_helper interesting_repetition

Merge clean-up branch

Update README

Fix comments in check.sh

Mention autotest in setup.py, update template files

Fix whitespace in comments in template

Finally break ties with python2

Remove unused test_helpers

Replace only usage of test_helpers

Remove unused call_helpers

Remove deprecated log reader utility

Use log_read instead

Remove old unused file helpers

Half-baked re-implementation of psutils, no good

Fix name of project in doc config

Create sphinx docu only of src, not of test

Update copyright in sphinx docu

Correct formatting of comments in template, add some more text

Unify license, copyright and author information

Fixed one error and some whitespace found by pycharm

Make a note in file_helpers to use psutils instead of re-implementing it

Merge branch 'install-subdir'

Skip CnfVar unittests

These tests seem to never have worked

Clarify that disc_filler is no unittest