Merge branch 'daemon-ext'

add handling of stdio descriptors

This completes the daemonization API by adding a function that
reassigns the stdio descriptors to /dev/null to prevent the
process from being tied IO wise to the terminal it was started
on.

A ``daemonize_full()`` helper combines all the daemonization
steps into a single call.

don't leak iconv context on OOM

add session handling

The ``daemonize()`` API does not establish a new session so
processes that use it end up being controlled by the tty of the
process they were launched under, which too often happens to be
some system console.

Merge branch 'html_entities_iso'

fix typo

add latin-1 wrapper for html_entities

Still a bit underwhelming as we can't express the encoding
difference in the type system.

account for deletion marker in /proc/pid/exe

The kernel appends a `` (deleted)`` suffix to the executable path
if the original binary has been unlinked since the process was
started. The ``pid_of()`` API needs to account for this when
matching process names.

Fix 'occurred' typo

remove unused constants

These have been provided by glibc for ages and are no longer
needed.

replace obsolete call to ftime(3)

ftime() and timeb.h have been deprecated since POSIX 2008 and
will be removed in future versions of glibc [0]. Replace them
with (probably faster) calls to clock_gettime(2).

[0] https://sourceware.org/ml/libc-announce/2020/msg00001.html

drop reference to obsolete symbol from unit test

The revert

    commit 49ee03b8f8540d2f09ebd416d2f3e09350300573 (origin/master, origin/HEAD)
    Author: Christian Herdtweck <christian.herdtweck@intra2net.com>
    Date:   Thu Apr 18 17:35:21 2019 +0200

        Revert "Add another convenience function allowing i18n_noops("foo")+"bar""

failed to revert one use of i18n_noops() from the unit tests
which breaks the build. Fix it by removing the call.

Revert "Add another convenience function allowing i18n_noops("foo")+"bar""

Such string-return aliases for i18n functions encourage creation of texts
using concatenation (+). However, such strings might not be translateable
in the future (e.g. into languages with very different word order).

To encourage using i18n_get_string() which is a translation-friendly way
to dynamically assemble strings, we remove this

This reverts commit 0562a0f617437d45d9e344da14980598d7c6c93d.

Release libi2ncommon 2.11

No increase in SOVERSION needed as far as I can tell.

Merge branch 'timefunc-new'

document some more timefunc member functions

add constructor tests for all Time::Clock ids and variants

Go through the supported combinations of clock modes in the
constructor tests.

stop leaking TZ between unit tests

So apparently boost/unit_test does not restore the original
environment for each test. Do that ourselves then for the TZ
variable which is needed for certain tests.

Also enable UTC in more helpers that leave it unspecified in
formatting. Till now those were relying on the UTC set in a
previous test. Ew!

document timefunc api

document clockid_t helper

remove bogus clock variant check

Spotted by Tom: There are no variants to CLOCK_BOOTTIME so
this would fall back on the default monotonic clock.

handle strftime() more defensively

Null terminating the result is not necessary under the assumption
that the function works as advertised since we start out with a
zeroed buffer. Thus drop the calculation based on its return
value and null terminate the final byte instead -- after all if
the function should be borked we have no idea where the
terminator should go.

Also error out if it returns zero since the ISO time format cannot
result in the empty string.

Fix output unit for Time::operator<<

It's seconds instead of milliseconds.

Fix compile warning

timefunc.cpp: In function ‘boost::optional<std::basic_string<char, std::char_traits<char>, std::allocator<char> > > format_min_sec_msec(const timespec&)’:
timefunc.cpp:1000: warning: '0' flag ignored with precision and ‘%d’ gnu_printf format

Also fix small typos.

add more struct timespec/Time formatters

Add formatters for durations:

* format_sec_msec: ``1s 337ms'', and
* format_min_sec_msec: ``1m3.370s'' (following time(1)).

Also only use string option types when there is actually an error
path under our control (e. g. with snprintf(3)). (NB the
omnipresent to_string() does not propagate formatting errors
upward so the wrappers we have for it return a plain string.)

take precautions for 32bit time_t/long

Direct handling of time_t or conversions to it from other
representations will cause failures on 32 bit systems. Introduce
an exception ``conversion_error'' to communicate these conditions
from constructors.

use separate directives for time formatting and scanning

Glibc 2.17 has trouble with length modifiers in format directives
which prevents us from using the same strings both ways. This is
fixed in later versions (by 2.25 definitely, maybe earlier) but
for the time being we have to use different format strings
depending on the action.

implement division by scalar for Time and container ops

Add division by integer plus related operations over containers.

As per C++ convention the division functions themselves will not
attempt to handle the case when zero is passed as the divisor.
The functions operating on containers will simply return a zero-
initialized Time object if the argument container is empty.

allow creating Time objects from formatted timestamps

Read ISO-8601 formatted strings to construct timestamps from.

The format strings already defined for formatting timestamps are
reused. Since years can be negative but the sign handling in
glibc is flawed with the %Y specifier, we need to handle negative
year numbers manually.

extend Time class with string formatters

Add convenience member functions for the existing formatters.
Note that the make_*() group of functions all use
``localtime_r()`` internally so unit tests must be guarded by an
explicit time zone change to UTC.

add ISO-8601 formatters to timefunc

Adds format_iso8601() to create conforming timestamps from
broken-down time. Includes overload wrappers for time_t and
struct timespec.

implement basic operations over class Time

This adds members and overloads for

    * addition, subtraction / difference, multiplication by
      time_t,
    * comparison, less-than / greater-than, equality,
    * trivial formatting (needed in boost unittest)

operations involving *class Time* objects.

implement a basic time/clock datastructure

Add a class ``Time'' to the timefunc part of the library. The
goal is to provide a generalist handle around struct timespec to
supersede the current ones that had been built on now deprecated
APIs (e. g. ``timeb.h'').

stop leaking FILE* objects when hashing

In hash_file(), the input FILE* needs freeing when no error
occurred. Do this as soon as it is not needed anymore.

make crypto code compile with openssl 1.1.x

From EVP_DigestInit(3):

       EVP_MD_CTX_create() and EVP_MD_CTX_destroy() were renamed
       to EVP_MD_CTX_new() and EVP_MD_CTX_free() in OpenSSL 1.1.

drop unused includes from userfunc

Ironically, despite the duplicate include the userfunc routines
never even check errno at all.

Merge branch 'redirect-urlauth'

Remove default hash algorithm from the new hash functions

Rationale: SHA1 is outdated, we would need to switch
to something like SHA256 nowadays. If the algorithm
is given explicitly, we can grep for the identifier.

When we do the migration from the libgcrypt-intranator API,
it's better to explicitly adapt the call sites.

RedirectHash class created in restricted_html file

class used to find all redirect urls in a html text and add a query
parameter "urlauth" with a hash as value to them.

Hashing functions based upon openssl created

The following functions were implemented:
string hash_data(string data, algorithm algo=SHA1); // output: hex encoded hash
string hash_data_raw(string data, algorithm algo=SHA1); // output: raw binary hash
string hash_file(string filename, algorithm algo=SHA1); // hash data in 64kb blocks

Unit test also included.

Add openssl-devel to build requirements

Revert "restore join_string() symbols in library"

We bump the SOVERSION of the library, so no compat functions needed anymore.

This reverts commit f3b61bd6816546a39a072a5b8be56d78cf775683.

Bump soversion to 7 since the pipestream interface changed

Merge branch 'pipeexec'

Thanks Philipp!

add support for guarding pipestream with NO_NEW_PRIVS

Add an option to the pipestream and related APIs to drop the
right to obtain further privileges before exec()ing the binary
(off by default). This may be used as an additional measure to
guard invocations of untrusted binaries or trusted ones that
operate on untrusted inputs.

Target audience: arnied scheduler, everywhere file(1) or
imagemagick tools are called.

Defects: it will be tricky to properly unit test this.

[0] https://www.kernel.org/doc/Documentation/prctl/no_new_privs.txt

do not indent boost unittest structurals

As per request. Does not contain functional changes.

pass pipestream flags as bitset

Avoid cluttering the API with long lists of booleans by using
symbolic names instead.

add option to forward environment to pipestream

Add an argument to all execve-based pipestream APIs to control
whether *environ* should be passed through to the executed
command. Till now this used to depend on whether path lookup was
requested which is rather undesirable.

Unit tests included.

skip unit tests for handling child errors in pipestream with ancient boost

distinguish child errors from failing to exec

Use the old pipe/cloexec trick to separate errors from the spawned
program from such that occur before execv[p]e(). Only errors on
the far side of exec() may be handled by the user.

protect pipe fd with O_CLOEXEC

On the parent, prevent other exec()s than the one in our child
from carrying over the fd. The pipe wrapper may be long lived
for this to become a problem.

block signals before fork()ing the pipestream child

Block all signals until we are ready to handle them again.

In particular, this saves us checking for close(2) being
interrupted.

redirect unused fds to /dev/null in pipestream

Closing an fd like stdout and stderr will cause EBADF on access
which may not be handled in a child process. Thus redirect them
to /dev/null if the user requests that their output be ignored.

allow path lookup for pipestream

Add a flag ``path'' which, if set, causes the specified program
to be executed with execvpe(); also, the environment is passed
on so in this case (to propagate $PATH) so it is up to the caller
to sanitize envp beforehand.

add printing helper to pipestream status specification

handle pipe termination separately depending on whether a shell is present

Keep the child's pid around and wait() for it to perish in the
dtor of inpipestream. Return the error from closing the pipe or
terminating the process in the shell-free version. The mechanism
for retrieving the status does not allow to distinguish between
the two, so always prefer the latter.

add pipestream unit tests for execution failure

Note that on the Intranator as of 6.4.13, the argument
--catch_system_errors=no must be passed to the unit test
executable on account of ancient Boost being oversensitive to
child process termination.

allow selecting stdout and stderr with inpipestream

Only handle the user-requested fd in the forked command and
discard the other.

bump release version 2.9 -> 2.10

add pipestream ctor overload for vectors of string

Add definitions that make passing a vector<string> equivalent to
passing a char**, i. e. take the execve() path.

add unit test series for pipestream

Setup skeleton unit test file with some simple functionality
tests and include it in a normal run. There haven't been any
pipestream tests so far.

add shell-free pipestream

Overload the pipestream ctor with a variant that avoids shelling
out with *popen(3)* that is chosen by passing an argument list
in lieu of a command.

Implement percent url encoder and decoder

Add basic restricted_html structure

use glibc syscall wrapper for clock_gettime

These are available on any non-ancient system by now so it’s safe
to drop them.

Merge branch 'scopetracker-nothrow'

The nothrow() modification of SourceLocation has been dropped
since std::string might throw std::bad_alloc.
Fixing this would require more work for little gain.

Wrap Scopetracker constructor/destructor in big try-catch

Return NULL thread local storage instead of raising exception

Merge branch 'stringfunc-join_string'

restore join_string() symbols in library

To keep the library it backward compatible, instantiate versions
of join_string() for STL containers.

Old symbols (x86):

    0003a040 g    DF .text  00000083  Base        _ZN3I2n11join_stringERKSt4listISsSaISsEERKSs
    00039fb0 g    DF .text  00000084  Base        _ZN3I2n11join_stringERKSt6vectorISsSaISsEERKSs

New symbols:

    000aa0fd g    DF .text  00000041  Base        _ZN3I2n11join_stringERKSt4listISsSaISsEERKSs
    000b084d  w   DF .text  0000017d  Base        _ZN3I2n11join_stringISt20_List_const_iteratorISsEEESsT_S3_RKSs
    000b09ca  w   DF .text  0000017d  Base        _ZN3I2n11join_stringIN9__gnu_cxx17__normal_iteratorIPKSsSt6vectorISsSaISsEEEEEESsT_S9_RS3_
    000aa13e g    DF .text  00000041  Base        _ZN3I2n11join_stringERKSt6vectorISsSaISsEERKSs
    000afbce  w   DF .text  00000074  Base        _ZN3I2n11join_stringISt6vectorISsSaISsEEEESsRKT_RKSs
    000a9f62 g    DF .text  0000019b  Base        _ZN3I2n11join_stringEPKPKcRKSs
    000afb5a  w   DF .text  00000074  Base        _ZN3I2n11join_stringISt4listISsSaISsEEEESsRKT_RKSs

add unit tests for join_string() overloads

implement iterator based join_string()

For more idiomatic C++, add a version of join_string () that
accepts a pair of iterators and templatize it, to supersede the
existing boilerplate variants. Good riddance.

overload join_string() for std::set

add char** overloads for join_string

Add overloads to joing NULL-terminated arrays with
join_string().

change permissions before fsync()

Reorder the calls so that the metadata changes performed by
fchmod() are committed to disk (journal) the same way as the
data.

Adapt Requires.private and Libs.private to make pkg-config output all neccessary libs for a static build

build static library versions of libi2ncommon too

BOOST_MESSAGE got replaced by BOOST_TEST_MESSAGE in newer versions of boost

base64 encoder/decoder: Add parameter to control linefeed handling

openssl is very strict about if the input data of the decoder
contains linefeeds or not.

Therefore make it a parameter and default
to "one line" base64 output/input.

Add unit test cases.

Add new base64_encode() / base64_decode() functions

Based upon openssl. If an error occurs, an exception
is thrown and memory cleanup is still done.

Increase version to 2.9

Carefully checked that it should be ABI compatible to 2.8.

Declare internal function rounding_upwards() to have local linkage only

Rename get_dir_size() to get_dir_count()

Create unittest for i18n_noop[s]

Add another convenience function allowing i18n_noops("foo")+"bar"

Merge branch 'scopetracker-shorter-types'

Run shorten_stl_types (and a bit more) only if needed in scope tracker

Use new shorten_stl_types in scope tracker

Create unit tests for new shorten_stl_types

Create string-function shorten_stl_types

Create get_dir_size to avoid unnecessary name copying if only size needed

Merge branch 'remove-html-comments'

Change find_html_comments() API to return the results

Create vector-result-version of split_string with unit test

[Note from Tom during review:
 Can still be optimized later on when the API is in place]

Add unittests for new find/replace_html_comments

Create functions find/remove_html_comments

Similar functions existed in two places in UI but these were not able to
deal with nested comments.

Added function format_date which is format_full_time without time

Clean up log file created in unit tests

Ensure filefunc unit test works with all working dirs

The __FILE__ macro contains an absolute path.

Fix comment