Increase version to 1.7.2

Make CnfVar lists comparable

Add a mixin with a compare() function to BaseCnfList that returns an
instance of CnfDiff to simplify printing diffs.

Add unittests for new functionality.

Move mail util for waiting for quarantine from QA

Add 3 unittests with fixed log file contents

Add some stability/reliability/reproducability to log parsing unit tests.

Also: fix type documentation in LogParser doc string

Add new VPNCONN_PROTO default VPNCONN cnfvar

Change needed due to upcoming Wireguard support.

Adjust SYS_LOG_PATTERN to parse single digit day number

Noticed by this failing unit test:

FAIL: test_parse_messages (test_log_read.LogReadTester)
Try parsing first 100 lines of messages if running on linux
----------------------------------------------------------------------
Traceback (most recent call last):
  File "pyi2ncommon/test/test_log_read.py", line 268, in test_parse_messages
    self.assertIsNotNone(data, f"Failed to parse {parser.last_unparsed_line}")
AssertionError: unexpectedly None : Failed to parse Nov  7 09:24:31 storm kernel: Linux version 6.0.5-200.fc36.x86_64 (mockbuild@bkernel02.iad2.fedoraproject.org) (gcc (GCC) 12.2.1 20220819 (Red Hat 12.2.1-2), GNU ld version 2.37-36.fc36) #1 SMP PREEMPT_DYNAMIC Wed Oct 26 15:55:21 UTC 2022

Increase version to 1.7.1

Merge branch 'api-doc-improvements'

Remove api doc headers

These headers (usually "SUMMARY", "CONTENTS", "INTERFACE") were inherited
from QA in a few places but not used consistently and in most places much
too prominent considering the little text they structured. Removed them in
most places and in some replaced them with other structuring elements like
lists.

Improve table of contents

Fix errors in api doc creation

There were a number of warnings and errors when creating docs, resulting in
html docs that were screwed up in a few places. Fixed those.

Merge branch 'log-parser'

Add patterns for common linux log lines

Needed to analyze large proxy logs in support. This helped.

Syslog pattern simplifies testing of log_read.

Create more convenient constructor for LogParser

Return matches or None from LogParser iteration

Yielding match-object or string is bad style. Iteration over LogParser now
yields either match-object or None. If None is returned (i.e. parsing line
failed), then the problematic input is saved in LogParser object's attribute
last_unparsed_line (until next matching fails).

To make this work we need to run prepare_result on every single line, so
prepare_result cannot return multiple lines at once. Therefore, made
prepare_result also a generator (which makes more sense, anyway).

Implement simple reading of stationary logs

Change default behaviour: assume log is not being written to any more, so
iteration over log lines ends once end is reached. Still allow for original
"following" behaviour with changed parameter.

Fix error in log reader

When receiving several lines, the LogParser would only parse and
return the first. Fixed that.

Merge branch 'cnfvar-deprecations'

Deprecate any arnied wrapper cnfvar functionality

This also includes dropping a few functions using hard-coded
{get|set|unset}_cnf binary calls for functionality that is
simple enough to be taken care of by client code.

It leaves us only with remainder functions that we would like
to eventually get either through the arnied API or through some
other module specializing on top of the arnied API.

Reorder and complete the string and file serialization methods

We were missing to_cnf_string() methods which are usually replaced
by the simple `str(Cnf(...))` but it is still better to add them
for completeness in code relying on the full mix of serialization
methods at least for the sake of syntactic consistency and thus
better readability in some particular use cases.

Deprecate "to" and privatize "from" cnf structure methods

These are no longer officially used by any client code and are now
restricted only to one directional internal use when it comes to
the old functionality of reading cnfvars from strings or JSON data
which were originally developed to use the same format (cnf structure).

Drop localized dialout cnfvar complexity for the easier cnf store

This is the final step towards a fully adapted dialout module and
gets rid simultaneously of outdated arnied cnfvar calls as well as
outdated cnf structure parsing in the new cnfvar API, both of which
will follow next.

Convert the old cnfvar module into a cnfvar string parsing module

In other words, we drop any redundant and duplicate functionality
and leave out only the string parsing methods which are still used
by the cnfvar subpackage and keep their corresponding unit tests.

Drop previous simple cnf module and class throughout the codebase

Within pyi2ncommon this is only a matter of isolated narrowly used
code within the dial module.

Merge branch 'cnfline-templates' into cnfvar-deprecations

This subbranch merges the mk_config templates and the cnfline classes
into single signature functions with maximum use case versatility.

Replace the mk_config with a sample minimal cnfvar templates module

The following commit provides an example for turning the partially
developed (and always incomplete for new use cases) mk_config functions
into ones that only provide a minimal set of defaults and can still
be used as one-liners by client/user code. The example implementation
at the moment is for a simple and a user template cnfvars and will
later on be extended to groups and all other major cnfvars.

Add a minimal coverage unit test for runtime breakage detection

Since the template fiels are mostly data loaded from templates, the
idea is to at least go through all of them and check for correct
class of the generated cnfvars and for defaults dictionaries making
sure the templates module is not populated with anything else.

Drop any cnfvar manipulation from the generic mail utils

The conclusion from previous attempts to convert any user cnfvar
manipulation to dynamic mode was that each user could be specific
to the use case where it is created so handling this in the mail
utils should be replaced by direct calls to the new cnfvar API.

Add minimal defaults modification based on cnfvar type/mode

Some cnfvars like providers have different modes and some cnfvars
like nics have differnet types that change a large number of default
child variables. This in turn results in large modification overhead
when changing their type/mode, the largest of which could be handled
by the templates themselves.

Change creation of mail users to dynamic

This is more easily extendable and avoids old bad habit of passing down
huge param dicts to very specific functions like this one.

User creation is hard to test, so there is no unittest for this yet. Manual
tests succeeded. Have to adapt QA tests and test there further.

Additionally to the original conversion, default mail users don't have
to be administrators.

Unify the template arguments across various template cnfvars

There are no obligatory fields as whether any of them are used or
required depends entirly on the cnfvar type/mode for each template.
For instance, AD users may not have password field, GWINLAN providers
may not have local IP, DSL and PPTP providers may not have provider IP,
and protocol forwarding might not have source and destination ports.

It is thus better to unify the function signatures entirely and later
provide some extra facilitation for different cnfvar types/modes.

Sanitize all collected default values to empty fields

All values are better off being empty rather than filled with noisy
sample data that could be wrongfully introduced on the user side.

Drop any None and thus previously required default values

There can be no "None" cnfvar values as these will be automatically
converted to "None" strings. Empty strings are thus their correct
equivalent after the cnfline classes migration.

As no child cnfvars could be considered obligatory and whether they
are required depends entirely on choices for other child cnfvars,
we will not try to implement any option for an early fail and simply
delegate any further validation to the production code.

Use better and fresh/recent UI defaults for all templates

In particular, German locale for user cnfvars is a better choice
considering our current customer base and some values were not
actual or at least recent UI defaults before the migration.

Drop the cnfline subpackage and reuse all of its defaults for templates

In particular, add defaults for already available templates through
the old mk_config but also migrate the cnfline ones in the same
location.

Use group (minimal GUI) defaults similarly to the user template

This provides a complete user-group combination for testing of
the template concept before migrating more templates code.

Note that the UI-defaults for group child cnfvars are not the same
as the ones provided in the build_group module which seem to be
too few and the minimal needed for the configuration to be accepted.

When creating an empty GROUP in the UI, these fields are populated:

    1 GROUP,104: "ganz neu"
    2    (1) GROUP_ACCESS_GO_ONLINE_ALLOWED,0: "1"
    3    (1) GROUP_COMMENT,0: ""
    4    (1) GROUP_EMAILFILTER_BAN_FILTERLIST_REF,0: "-1"
    5    (1) GROUP_EMAIL_RELAY_RIGHTS,0: "RELAY_FROM_INTRANET"
    6    (1) GROUP_PROXY_PROFILE_REF,0: "1"

So there is a tad more than just "GROUP_COMMENT" and following the
UI these additional fields should be added and similarly populated.

Introduce use of defaults i.e. UI-default rather than minimal user cnfvars

Merge branch 'cnfvar-review-improvements' into master

Wait for arnied in addition to generate to preserve backward compatibility

We simplify this a bit though by waiting for the arnied availability
just once during initialization of the cnf store and not on each
get/set/unset_cnf call (now query, commit, and delete calls).

As this is done for backward compability which is guaranteed for
the binary cnfvar driver only, we leave a TODO where we will have
to consider what is the best future for the varlink driver: either
busy-loop on socket availability to once again wait with a timeout
or drop this assumption entirely for better control and easier use.

Restore support for zero instance filtering in binary cnf store queries

Some cnfvars like NICs support zero instance numbers and without
this fix the query would simply return all cnfvars in a cnf list
if we need `get_cnf CNFVAR 0` from the query.

Fix and improve readability of cnfvar API backend type logging

The original logging meant to use instances and not entire classes
resulting in unreadable "type" log messages.

Add case-insensitive replace() behavior to str-inheriting CnfName

Implement add() to add cnfvars to cnfvar lists directly from tuples

The CnfList class already has some functionality for initialization
directly from tuples and the Cnf class already has some functionality
like add_child() for adding a cnfvar from a tuple to Cnf instance's
CnfList instance children. To complete the syntactic sugar circle,
also provide the further possibility to add a CnfList item straight
from a tuple using add() instead of the more raw and manual append()
which can also handle both Cnf instances and tuples similarly to the
previous two options above.

Fix inconsistent cnf structure method naming

Part of the API methods were using "from/to_cnfvar_dict" while the
other part were using "from/to_cnf_structure".

Add a shortcut to obtain the instance of a possibly existing cnfvar

This is added in the cnf list query mixin which is where we have
all shortcut, syntactic sugar, and ease of use methods.

Revert the default instance number back to zero

These types of cnfvars are much more ubiquitous in the code base
and cnfvars that could be instantiated in ranges of instance numbers
are typically instantiated via templates (cnfvar.templates) due to
their size complexity thus not really benefiting from a default -1
instance here.

Improve creation of docs

Want to have the name "pyi2ncommon" in there, not have it replaced by "src".

Realized that modules.rst is auto-created, so does not belong into git.

Update deprecation warnings

Parts of arnied_wrapper will have to stay. However, simple_cnf,
mk_config and cnfline are to be removed, too.

Also make other warnings a proper reST note.

Update purpose in module descriptions

After a long discussion between Tom, Plamen, and Christian about location
and form of config-related functionality, it was realized that pyi2ncommon
is not just a collection of helpers for internal use, but also an interface
for "external" users of Intra2net system code like QA. Adjust description
in spec file and doc main page accordingly.

Update mail utils folder name assumptions from Objekte to Elemente

"Gesendete Objekte" was the old name from Outlook 2003-2007 and was
changed to "Gesendete Elemente" in Outlook 2010 onwards. We aligned
ourselves with Outlook since it's the most used email client with
the IBS.

Create argparse type "existing_dir[_empty]"

Programs often have a file or dir as argument, check in argparse right
away whether that actually exists. Optionally, accept an empty value to
use a default value.

Clean up, remove compat with py < 3.6

Remove __future__ statements and other remainders of python2-compatibility.
Remove checks for python version <3.6, assume we are running on python 3.6
or above.

Also run a major pylint on all the code and fix lots of things, including
many typos, missing paramters, strange whitespace, "r" in front of regex
string literals, ...

However, ignore deprecated modules.

Increase version to 1.7.0

Little fixes found during cnfvar-api-Review

Merge branch 'cnfvar-api'

Review: a few fixes

functional changes:
* get to run on python < 3.8
* add missing args for shadowed functions startswith/endswith
* some more

non-functional changes:
* add some doc strings (mostly arnied_api)
* wrap very long lines
* add some whitespace to make linter happier
* fix a few typos
* remove unnecessary "object" super class
* fix api documentation
* add diagram that Samir had created to api doc

Deprecate cnfvar_old and arnied_wrapper

Just via text in doc string, do not raise Warnings yet

Add a new cnfvar2 API

It is composed of three main modules:
- binary: wrappers around the get_ and set_cnf binaries
- model: provides Cnf and CnfList classes, which are Python
representation of cnfvars with dozens of facility methods to
manipulate them
- store: classes implemented using the repository pattern that
run queries against the arnied API or the binaries using the above
module and return CnfList instances

Add a Python version of arnied varlink interface

Also add as many typings as possible.

Can be easily used from within an IBS VM that has the varlink module
installed:

```
    from pyi2ncommon.arnied_api import Arnied, GetCnfQuery
    cnfs = Arnied.get_cnf(GetCnfQuery("USER"))
    user = cnfs.vars[0]

    assert user.name == "USER"
    assert user.instance == 1
    assert user.data == "admin"
```

Rename cnfvar module to cnfvar_old

The new API will replace it and we want to prevent users from being
confused about which to use.

Various fixes to the cnfvar module

- fix infinite loop with blank lines
- do not drop parent and comment values when normalizing
- fix error when first child begins with whitespaces
- format, restructure and document the module

Ignore JetBrains IDE dir

Version 1.6.7

Merge branch 'logger-accept-handlers'

Fix comments and spacing

Add methods to more easily add handlers

Create unittest for log_helper from test functions

Fix a small bug in log helper

Add a NullHandler if no handler is supplied to i2n logger

Add option to add specified handlers to logger

Merge branch 'log-read-improve'

log_read: correct error message

log_read: return/yield all of input args from iteration

log_read: Make names of class variables clearer

log_read: Fix import order and return from prepare_result

log_read: create/Fix docstrings

Including fixes inspired by Plamen's review.

log_read: One more check for test

log_read: Deal with rare case of wrong fstat at test start

log_read: Just warn when file shrinks, try reading anyway

Fix get_cnf if working on local machine

get_cnf always returns latin1-encoded output, but wrapper decoded shell-output
with system-default-encoding (usually utf8). Fix that

Add argparse-checker for file allowing empty

Often one needs to give as argument an existing file, so we have a check for
that, that can be used with argparse. However, sometimes you want to give
users the option to not give a filename at all, which is what this new
checker allows.

Fix some whitespace and line breaks

Reduce assumptions on stdout

We might be running in an environment that captures stdout
by using some replacement class. Do not fail in that case
but just disble coloring

Do not assume running tests in English system

Error message might differ greatly. This will have to be
adjusted further, works now for German and English

Do not re-run tests if they failed already

Bump release, now version 1.6.6

Merge branch 'arnied-wait-socket'

Use the already defined function to wait for generate

Improve documentation of arnied wrapper and tests

Add a new function to wait for arnied to be ready

Usually code depending on arnied checks whether its process is running
before proceeding, which can lead to a race condition when it is not
yet fully started. The new function makes use of a novel CLI option
in the arnied helper that blocks execution until arnied is indeed
ready to be used.

Fix unit tests

The dummy provider CNF variable was not in the correct form.

Also drop the TODO regarding raising an error when failing to go
online. The `run_cmd` function, which is mocked in the unit tests,
does check for the exit code of commands before returning.

Add license and doc to rpm package

Failed to do this using setup.py and hacks in make_dist.py,
at least when doc and license files should not end up in
site-packages with the source code. Therefore change (and
simplify) the whole build process by re-creating
make_dist.py to just create a tarball that is compatible
with standard python spec files (like that of our QA) and
provide such a simple spec file to be used with rpmbuild.

Remove superfluous doc/README

Increase version to 1.6.5

Fix decoding on "get_cnf --json"

The get_cnf command returns its output already in utf-8 when the
json switch is enabled. However the module cnfvar assumes that
raw data is always latin1, which is the case most of the time
when using arnied commands. This patch decodes the data, as we
know it is utf-8, before calling read_cnf_json.

Another caveat however, when the language locale is set to "C"
(which is currently the standard for avocado) before vm sessions
are started, every output (latin1 or utf-8) containing non ascii
characters will have those characters omitted (not garbled,
simply missing).

Increase version to 1.6.4

Small fix and comment for imap mailbox

Minor fix: else --> elif

Running both cases was impossible, anyway.

Fix typo in Group CnfVar builder

Minor improvement of comments for SimpleCnf