Increase version to 1.6.2

Remove ISDN dialin related cnfvars

It does not seem to be used in pyi2ncommon or intra2net-qa anyway.

Merge branch 'drop-cnfvar-translation'

Merge branch 'mkconfig-generalizations'

Drop legacy cnfvar-autotest parameter translation

Extend the port forwarding mk_config function to proper port selection

Use a better default value for the nic type of newly defined nics

Increase version to 1.6

Also mention "python" in description.

Merge branch 'mail-utils-improvement'

Fix timezone in test for parse_mail_date

Add option to parse newer EmailMessage type from mails

Sofar, parser policy was not specified, so "compat32" was used for compatibility
with python 3.2. Changing to the more modern "default" policy returns a different
type of message (EmailMessage instead of Message) that has quite some differences.
For example, EmailMessage.get(header_name) returns no longer str but a Header object.
This would break lots of code so use the old compat32 as default still.

Parse email from bytes instead of text

This allows usage of other encodings than the system encoding (e.g. latin1)

Create mail_utils test with latin1 encoded mail

Move mail_validator tests into own test file

Minor fixes for mail_utils

- update module description
- add missing docu
- add link to MailValidator and ImapMailbox docu
- correct comment
- fix wrapping of 3 lines
- remove one useless else

Move MailValidator into own module

mail_utils is getting overcrowded and MailValidator is about half of it
and rather independent of the rest.

Create ImapMailbox, a wrapper around python's IMAP4

Python's built-in imap class offers little convenience. Add some
of our own with this class.

Create unittest for parse_mail_date

Create mail_util parse_mail_date

This is only a 2-liner now but started off as a more involved function
which was cut down when I realized: it is already implemented in python.

Leave this here, still, so I do not make that mistake again (and for the
small extra convenience).

Create function get_user_mail_files

Sometimes do not need to parse the mail, just need to know how many/which
files there are.

Return after giving help in make_dist.py

Bring back source check script

Old script was deleted a few commits ago for version 1.5
(commit 81f7f6c7a16bc5e63228996cedf8ac83f45f3717).
This is a modified version from i2n avocado source.

Fix a bug in mail_utils.send_email_with_files

Implementation had assumed that isinstance(bool, int) is False. But bool
is a subclass of int, therefore logic did not work

Change version to 1.5

Remove outdated check script. Will bring back as adapted copy from QA code

Increase version to 1.5 (alpha)

Merge branch 'py3.7-ssl-certs'

Take into account that certs are not issued to "localhost"

Use FQDN instead

Make certificate checks optional, enable per default

Also give an option to give an extra certificate to accept as .pem

Fix error type returned from failed POST

Allow HTTPS connections with self-signed certificates

We use such certificates on the web surface of the Intra2net system.

Improve output of unittest

Create dist for python3.7 per default (and add help)

Both Intra2net systems and avocado are now running on python3.7

Fix bad end of iterator and unused variable

The StopIteration is a real error in python 3.7

Merge branch 'py3.7-subprocess'

Remove unittests for removed function

Remove obsoleted comment in the arnied wrapper docstring

Drop emulation of py3.5+ subprocess module for python 3.3

The Intra2net system now relies on python 3.7 ridding us of all
this extra complexity.

Define new capture output flag for python 3.7 which is false by default

This is a bad indicator of the backwards compatibility of minor versions
since adding the flag with a default like this would probably break a
lot of code down there. Sometimes it seems that python developers are
not really concerned with how many things they break in their minors.

Remove the global TODO with outdated information

We can use Mantis BT, Trello, or other system for better
tracking of tasks.

Make unittest output less distracting

That blinking really catches my eye every time, quite distracting.
Also limit output to a single line.

Improve output of wait_for_email_transfer

Most of all, warn if timeout was reached without finishing email transfer

Run unittests in make_dist.py; update doc

Add release argument to make_dist.py

This should simplify introducing a proper labeling of development versions
of pyi2ncommon (the -avocado-test-X naming scheme did not prove successful)

Re-run with LANG=C in unittest runner

Merge branch 'cnfvar-autodetect-bytes'

Create unittest for read_cnf_json(non-ascii-str)

Fix unittest if run from non-unicode shell

When opening files (like os.devnull) in text mode, python uses the shell's
default encoding. In case LANG=C or when redirecting (for example), that
is just 'ascii', so writing non-ascii strings to /dev/null fails with
UnicodeError

Add and fix and few CNF_VAR-related doc strings

Auto-detect str/bytes when dumping cnf vars

This is the second attempt to solve the problem when to "print" byte strings
and when to use regular unicode strings.

One problem is that sys.stdout can be a text stream or a byte stream
depending on shell environment.

Merge branch 'make-dist-improvements'

Avoid modifying wrong rpm from make_dist

Bughunting before was complicated by usage of wrong rpm files. Make tests
more strict to avoid finding wrong rpm

Require zipfile35 only for rpms for py<3.5

Document build machine requirement in README

Allow specify py version for make_dist

make_dist.py had assumed that py3.3 and py3.6 are installed on local machine.
Document that assumption and allow to deviate from it

add a minimal setup guide in order to build the RPMs

Merge branch 'cnfvar-byte-fixes'

Be more precise about the binary in sysmisc cheat reboot docstring

Pass byte stream to the cnfvar from the dynamic cnf setting

Ignore some PyDev configuration in the git tree

Deprecate irrelevant autotest comments in the cnfvar

Merge branch 'mail_utils-for-avocado-emailfilter'

Fix cnfvar case of writing bytes from the io module

Use a more robust condition in wait_for_email_transfer

This solution uses 'postqueue -j' command, which will produce an
empty list for stdout only when there are no more emails in the
queue. We become independent of the format of the output (byte,
string, specific characters, etc)

Create unittest for new mail_utils feature

Merge branch 'arnied-fix-remote-scheduling'

Create new mail_utils option: get headers+attachments

Often I parse and transfer big email message when actually
I only want the headers plus the attachment file names.

Create an option for this in mail_utils.parse_mail_file

Merge branch 'call-helper-no-default-split'

Fix remote scheduling of programs

When scheduling a program on a remote VM, the schedule file was
not being sent to the VM. Also, when removing previously schedule
files rm was waiting for confirmation since we didn't pass it
the `-f` option.

pylint/pydocstyle compliance for mail_utils

- Wrapped long lines
- Added/Modified doc strings
- Replace single-letter variable names

Merge branch 'cnfvar-fixes'

test_call_helpers: create unittests for subprocess_run

Check that subprocess_run is compatible with python3.5 subprocess.run

Overwrite run_cmd timeout in wait_for_run

The default timeout of 60 seconds might not be enough

Create new mail util function to get body text(s)

tidy up cnfvar.py unit tests

This batch of unit tests was disabled since the switch to Python3
on account of minor encoding troubles. Reactivate it and ensure
encoding and escaping are handled properly.

test_call_helpers: fix Comments

Add timeout support to run_cmd

When calling shell commands on a VM we have a default timeout
of 60 seconds (in the session functions designed to run remote
commands). However, some arnied_wrapper functions such as
`wait_for_run` (which calls `arnied_helper
--wait-for-program-timeout`) require a larger timeout, so we
need to be able to overwrite the default.

Add function to decode non-ascii attachment names from mails

call_helpers: Make default behaviour of subprocess_run compatible

subprocess_run just calls call_and_capture which has different default
settings (return text instead of bytes, split lines).
However, subprocess_run should be a drop-in replacement of the python3.5
subprocess.run function, so should behave the same way.

This little trick fixed e.g. calls to "get_cnf -j" called from cnfvar.py
on python 3.3 (current intra2net system version)

accept both bytes and str for cnfvar readers

Make both the CNF format and the JSON readers handle bytes and
str transparently.

(Note there is still a deplorable asymmetry in the routines such
that the JSON path will convert to *str* whereas the CNF part,
assuming single-byte encoded data, will convert to *bytes*. This
is necessary for compatibility reasons until the Intranator gets
a more recent Python interpreter.)

allow selecting individual tests in unittest wrapper

Extend run_unittests.sh so it doesn't necessarily always run
everything:

    $ ./run_unittests.sh                  # -> as before
    $ ./run_unittests.sh test.test_cnfvar # run test/test_cnfvar.py
    $ ./run_unittests.sh test_cnfvar      # run test/test_cnfvar.py

handle data escaping properly in cnf vars

libcnffile has an additional step that strips escaping from
var data so this:

    42 MY_VAR,0: "foo\"bar\"baz"

is actually a valid CNF_VAR with a data member equals ``foo"bar"baz''.
Till now, cnfvar.py would reject such a line because of the
stricter matching. Since escaped strings are ubiquitous in JSON
encoded data, this must be handled properly. (Ironically this is
not an issue with the JSON interface due to the builtin string
escaping rules of the format.)

Imitate the behavior of libcnffile so properly escaped double
quotes don't terminate the string matching. Lucky for us we can
get away with extending the line regex with an alternating
pattern in a non-matching group ``(?:...''.

Create unittests for case changes of cnfvar varnames

normalize cnfvars for JSON output too

Reported by Christian: The normalization pass that ensures
varnames are uppercase was missing from the JSON based routines
which caused them to be rejected by set_cnf(). Implement it by
passing a normalized copy of the CNF tree to the json writer.

Fix debug output line in dial.py

Convert cnfvar names to lowercase on json import

read_cnf already converts all variable names to lower case. Do the same for
read_cnf_json to get consistent behaviour. SimpleCnf already relies on this.

Remove unnecessary creation of reference

Correct doc in simple_cnf

Merge branch 'less-unittest-clutter'

Disable debug output in log_read

Fixed based on Plamen's review.

Create 2 pyi2ncommon rpms: for py3.3 and py3.6

The python version, for which pyi2ncommon is installed on target machine,
is fixed in the rpm. It defaults to same version as build host. Managed
to change that by creating setup.cfg file dynamically while running
setup.py . With help of that script, can now create one version for
autotest (py3.6) and one for I2n systems (py3.3)

Do not require fixed python3 version for pyi2ncommon

Reduce output from simple_cnf test to warnings

Replace deprecated logging function with equivalent

Replace deprecated unittest function with equivalent

Ensure all opened files/sockets are closed in mail_utils

bump minor version to keep track of changes

Merge branch 'util-resurrection'

Fix doc strings for text_helpers (except color stuff)

Thanks to Plamen for hint in review

Fix doc string for sysmisc.cd()

Thanks to Plamen for hint