Version 1.6.7

Merge branch 'logger-accept-handlers'

Fix comments and spacing

Add methods to more easily add handlers

Create unittest for log_helper from test functions

Fix a small bug in log helper

Add a NullHandler if no handler is supplied to i2n logger

Add option to add specified handlers to logger

Merge branch 'log-read-improve'

log_read: correct error message

log_read: return/yield all of input args from iteration

log_read: Make names of class variables clearer

log_read: Fix import order and return from prepare_result

log_read: create/Fix docstrings

Including fixes inspired by Plamen's review.

log_read: One more check for test

log_read: Deal with rare case of wrong fstat at test start

log_read: Just warn when file shrinks, try reading anyway

Fix get_cnf if working on local machine

get_cnf always returns latin1-encoded output, but wrapper decoded shell-output
with system-default-encoding (usually utf8). Fix that

Add argparse-checker for file allowing empty

Often one needs to give as argument an existing file, so we have a check for
that, that can be used with argparse. However, sometimes you want to give
users the option to not give a filename at all, which is what this new
checker allows.

Fix some whitespace and line breaks

Reduce assumptions on stdout

We might be running in an environment that captures stdout
by using some replacement class. Do not fail in that case
but just disble coloring

Do not assume running tests in English system

Error message might differ greatly. This will have to be
adjusted further, works now for German and English

Do not re-run tests if they failed already

Bump release, now version 1.6.6

Merge branch 'arnied-wait-socket'

Use the already defined function to wait for generate

Improve documentation of arnied wrapper and tests

Add a new function to wait for arnied to be ready

Usually code depending on arnied checks whether its process is running
before proceeding, which can lead to a race condition when it is not
yet fully started. The new function makes use of a novel CLI option
in the arnied helper that blocks execution until arnied is indeed
ready to be used.

Fix unit tests

The dummy provider CNF variable was not in the correct form.

Also drop the TODO regarding raising an error when failing to go
online. The `run_cmd` function, which is mocked in the unit tests,
does check for the exit code of commands before returning.

Add license and doc to rpm package

Failed to do this using setup.py and hacks in make_dist.py,
at least when doc and license files should not end up in
site-packages with the source code. Therefore change (and
simplify) the whole build process by re-creating
make_dist.py to just create a tarball that is compatible
with standard python spec files (like that of our QA) and
provide such a simple spec file to be used with rpmbuild.

Remove superfluous doc/README

Increase version to 1.6.5

Fix decoding on "get_cnf --json"

The get_cnf command returns its output already in utf-8 when the
json switch is enabled. However the module cnfvar assumes that
raw data is always latin1, which is the case most of the time
when using arnied commands. This patch decodes the data, as we
know it is utf-8, before calling read_cnf_json.

Another caveat however, when the language locale is set to "C"
(which is currently the standard for avocado) before vm sessions
are started, every output (latin1 or utf-8) containing non ascii
characters will have those characters omitted (not garbled,
simply missing).

Increase version to 1.6.4

Small fix and comment for imap mailbox

Minor fix: else --> elif

Running both cases was impossible, anyway.

Fix typo in Group CnfVar builder

Minor improvement of comments for SimpleCnf

Replace all mentions of autotest with pyi2n-generic alternatives

The only part we keep is using the Autotest email ID used from
a custom tool 'test_data_sync' which should be updated on one
separate batch.

Add support for new NIC_COMMENT field

The comment field on NICs moves from the parent NIC
to a new NIC_COMMENT cnfvar.

Increase version to 1.6.3

Create ImapMailbox.fetch_{mail,message}

Merge branch 'mail-to-extern'

Add unittest for prepare_recipients

Update comments in mail validator tests

Allow sending mail to external recipients.

Email sending functions had always assumed they send to local recipients.
However, with a little modification functions can be used to send to
external recipients, too.

Add validation for running arnied process for the unset_cnf function

This is the least developed arnied cnfvar function mostly because
we rarely had to unset any pre-existing cnfvar. Independently of
use cases, this function is required to validate the arnied process
is running in a similar manner to the more developed get/set functions.

Refactor the entire waiting for GENERATE to allow for more arguments

This code is completely redundant and has a much better implementation
in the more general waiting for a running program method.

Increase the available arguments for all current mk_config methods

The mk_config is a statistical hub for the way we do API calls to
the fully dynamic set_cnf bindings so it seems like a good place
to start implementing a more graspable unified cnfvar approach.

Increase version to 1.6.2

Remove ISDN dialin related cnfvars

It does not seem to be used in pyi2ncommon or intra2net-qa anyway.

Merge branch 'drop-cnfvar-translation'

Merge branch 'mkconfig-generalizations'

Drop legacy cnfvar-autotest parameter translation

Extend the port forwarding mk_config function to proper port selection

Use a better default value for the nic type of newly defined nics

Increase version to 1.6

Also mention "python" in description.

Merge branch 'mail-utils-improvement'

Fix timezone in test for parse_mail_date

Add option to parse newer EmailMessage type from mails

Sofar, parser policy was not specified, so "compat32" was used for compatibility
with python 3.2. Changing to the more modern "default" policy returns a different
type of message (EmailMessage instead of Message) that has quite some differences.
For example, EmailMessage.get(header_name) returns no longer str but a Header object.
This would break lots of code so use the old compat32 as default still.

Parse email from bytes instead of text

This allows usage of other encodings than the system encoding (e.g. latin1)

Create mail_utils test with latin1 encoded mail

Move mail_validator tests into own test file

Minor fixes for mail_utils

- update module description
- add missing docu
- add link to MailValidator and ImapMailbox docu
- correct comment
- fix wrapping of 3 lines
- remove one useless else

Move MailValidator into own module

mail_utils is getting overcrowded and MailValidator is about half of it
and rather independent of the rest.

Create ImapMailbox, a wrapper around python's IMAP4

Python's built-in imap class offers little convenience. Add some
of our own with this class.

Create unittest for parse_mail_date

Create mail_util parse_mail_date

This is only a 2-liner now but started off as a more involved function
which was cut down when I realized: it is already implemented in python.

Leave this here, still, so I do not make that mistake again (and for the
small extra convenience).

Create function get_user_mail_files

Sometimes do not need to parse the mail, just need to know how many/which
files there are.

Return after giving help in make_dist.py

Bring back source check script

Old script was deleted a few commits ago for version 1.5
(commit 81f7f6c7a16bc5e63228996cedf8ac83f45f3717).
This is a modified version from i2n avocado source.

Fix a bug in mail_utils.send_email_with_files

Implementation had assumed that isinstance(bool, int) is False. But bool
is a subclass of int, therefore logic did not work

Change version to 1.5

Remove outdated check script. Will bring back as adapted copy from QA code

Increase version to 1.5 (alpha)

Merge branch 'py3.7-ssl-certs'

Take into account that certs are not issued to "localhost"

Use FQDN instead

Make certificate checks optional, enable per default

Also give an option to give an extra certificate to accept as .pem

Fix error type returned from failed POST

Allow HTTPS connections with self-signed certificates

We use such certificates on the web surface of the Intra2net system.

Improve output of unittest

Create dist for python3.7 per default (and add help)

Both Intra2net systems and avocado are now running on python3.7

Fix bad end of iterator and unused variable

The StopIteration is a real error in python 3.7

Merge branch 'py3.7-subprocess'

Remove unittests for removed function

Remove obsoleted comment in the arnied wrapper docstring

Drop emulation of py3.5+ subprocess module for python 3.3

The Intra2net system now relies on python 3.7 ridding us of all
this extra complexity.

Define new capture output flag for python 3.7 which is false by default

This is a bad indicator of the backwards compatibility of minor versions
since adding the flag with a default like this would probably break a
lot of code down there. Sometimes it seems that python developers are
not really concerned with how many things they break in their minors.

Remove the global TODO with outdated information

We can use Mantis BT, Trello, or other system for better
tracking of tasks.

Make unittest output less distracting

That blinking really catches my eye every time, quite distracting.
Also limit output to a single line.

Improve output of wait_for_email_transfer

Most of all, warn if timeout was reached without finishing email transfer

Run unittests in make_dist.py; update doc

Add release argument to make_dist.py

This should simplify introducing a proper labeling of development versions
of pyi2ncommon (the -avocado-test-X naming scheme did not prove successful)

Re-run with LANG=C in unittest runner

Merge branch 'cnfvar-autodetect-bytes'

Create unittest for read_cnf_json(non-ascii-str)

Fix unittest if run from non-unicode shell

When opening files (like os.devnull) in text mode, python uses the shell's
default encoding. In case LANG=C or when redirecting (for example), that
is just 'ascii', so writing non-ascii strings to /dev/null fails with
UnicodeError

Add and fix and few CNF_VAR-related doc strings

Auto-detect str/bytes when dumping cnf vars

This is the second attempt to solve the problem when to "print" byte strings
and when to use regular unicode strings.

One problem is that sys.stdout can be a text stream or a byte stream
depending on shell environment.

Merge branch 'make-dist-improvements'