Merge branch 'improve-safety'

Increase pingcheck version to 0.8

Unbreak unit test

The on-disk cache structure changed in 2015 and we didn't notice.

-> add new field.

Write out cache file to temporary file + atomic replace

Just in case multiple processes might race for the writeout.
Actually seen in production as pingcheck currently seems
to get restarted by connd for every new INTRACLIENT.

Add exception safety to load of the DNS disk cache

A corrupted cache might throw an exception in the middle
of an unserialize operation. This might leave our DnsCache class
with an undefined data state.

Solution: Unserialize into local variables first, then do a
atomic swap() once everything could be parsed correctly.

Fix 'occurred' typo

Explicitly link pthread

Needed by newer binutils, they are more strict.

Switch to Intra2net rpm group

fixed CMakeLists: do not make debug the default, remove compile flags

moved tests

updated connd --status output parser to include log level; mode it pep8 and partially pylint-compatible

revision 1 of version 0.7

remove consistency check for empty callback list in finalize_resolve

empty list possible and ok if resolving was initiated by long-term timer

increase version to 0.7

main feature: tested time warp compatibility (or lack thereof, see file TODO)

revision 0.6r5 so we are in sync with other revision numbers; make compiler happier

Fix trivial typo

downgraded icmp parsing error log messages and notice when not saving packets

bugfixed erase and re-set of TTLs; changed time warp thresh from 24h to 10mins

increased revision to 0.6r4

added clean-up to DnsCache: will remove very old entries after 60 days

moved 3 lines of Cname constructors from dnscache.cpp to cname.h

(why would anybody search for Cname code in dnscache.cpp?)

secured DnsCache against time warp-related errors

made a note in TODO and signal handler about SIGHUP and boost asio in case of time warp

prevent pingcheck from repeating report of same status; show notification status in log

changed value of link_up/down_interval from minutes to seconds

more work than expected!

removed debug output (to be precise: reduced level from notice to debug)

save float comparison; fixed syntax error

increased revision --> v0.6r2

paranoia: ensure we never divide by 0 althrough logic should prevent that

added delay to pingers with random interval; delay all first pings

So far the mostly had no delay at all, now the delay is random in [0, interval].
For all pingers set a little delay before first ping

changed forgotten link status messages to format used for other messages when reporting link up/down

fixed memory access violations in test_dns: cancelled a timer on dying io_service

changed testing log level to debug

increse revision to 0.6.1 and log level of missing-dump-dir-message to notice

made counts in link status analyzer log messages clearer as promised quite a while ago

added missing counter increment in backup loop termination

improved information content of logs: in LinkAnalyzer messages add cname chain

unfortunately this means a dependency of LinkAnalzer from DNS, so had to change
CMake for test_linkstatus quite a bit

fixed and re-enabled unit tests

changed default path for log file to /var/log

removed debug option I had set for testing (DUMP_ALWAYS)

changed paths of DNS cache (now in /var/cache) and dumped packets; dump only if /datastore/pingcheck.broken exists

moved adjustment of PingTimeout to right place in PingScheduler;

re-added line I had deleted erroneously; compiles again now

made limits in HostStatus floats; reduce logging

fixed bug that caused HostStatus to never leave BurstMode

added variable for threshold for switching from "all congested" --> "connection failed"

made congestion/offline behaviour more stable: do no declare online right after going offline

fixed bug that caused congestion flag to stay on when all is congested and fail flag is set in HostStatus

Re-enable unit test during rpm build. Ignore exit status for now

Release version 0.6

to avoid going down in congested line scenario, also need longer ping timeout

also bugfix in HostStatus

added option to limit number of IPs per host that are saved in cache

congestion detection now working; also add case that if all IPs get timeout despite higher ping numbers, then declare host down

added more detailed failure returns from IcmpPinger

removed assertion in HostStatus that PingsPerformedCount <= ResolvedIpCount*NParallelPingers

because that required some hacks in case we have no IP and call the ping_done_handler

use line digestion recognition in PingScheduler;

* created new PingNumber based on PingInterval
* moved creation of pingers just before calling Pinger->ping
* moved creation of DnsResolver to prepare_next_ping
* removed unnecessary arg to update_dns_resolver
* fixed bug in HostStatus::log_prefix

added congestion analysis to HostStatus

(make cast from time difference to long explicit in pinger callback)

if sending several pings in parallel, delay them in scheduler

moved time duration measurement of ping from scheduler to pingers

removed the main while loop because if catch an exception cannot know state of pingers, so better to fail and re-start binary completely

started parallel pings, not quite done yet since need to delay them

give HostStatus analyzer more info: details on ping success/failure and ping duration

preparing HostStatus to decide other ping timeouts/frequencies/numbers and DNS timeout

deal with case that have no IP from DNS nor from Cache

completed partial IPv6 compatibility in DNS; does retrieve and Cache IPv6 IPs

also added test for this and updated cache test for future cases of cache structure changes

use I2n::tmpfstream to write pcap dump files

remove debug output or more precisely: changed its log level from notice to debug; revision 1 of v0.5

fixed a bug causing failed assertions from inconsistent counts in HostStatus

reason was that number of IPs may change if target host is a cname that
has changed to a different end host; this is very hard to predict so
always reset counters if number of IPs changes

improved simplified IcmpPinger logging (using LogPrefix like in DNS and PingScheduler)

add some debugging output at NOTICE level to HostStatus so can debug on production machine

changed default value for time between resolves (min TTL) from 10s to 60s

fixed bug: correctly handle case when never had any IP and DNS fails

extended ICMP packet dumping to parts after packet creation

in detail:
* in IcmpPinger::handle_receive_icmp_packet, may get exceptions from boost assertions
  in to_string and print and match_xy functions --> put into a try-catch
* created a dump_packet(packet) and moved dump_packet functions into IcmpPacketFactory
* to dump an IcmpPacket, need to also dump its IP header --> created IpHeader::write
* for this moved the Payload variable from Ipv4/6Header to IpHeader super class
* during testing in feed_packet_data, add skipped byte size to log output

re-raise a little output in cache: state newly acquired IPs and CNAMEs

version 0.5

logging update

added logic to deal with dns replies to old dns requests --> no more consistency check failures for now

made DNS much less talkative

made link status analyzer more talkative

added log output target UNDEFINED; return if no hosts defined

* added the target so can warn user in case of unrecognized command line option
* also updated connd_state (there is a new connd subsys)
* avoid warning from cmake by not adding test subdir in test_dns cmake file

made nicer static variables of packet dump mode and location

increased version to 0.4 revision 0: new DNS, merged Scheduler with Rotate and made it use async DNS

remove the footer saying that vim is the best editor -- anyone knows anyway

created arg recursion_count to async_resolve and many other to avoid infinite loops

* arg recursion_count replaces cname_count which up to now identified problems in post-processing
* created simple loop test
* added option to configure recursion depth limit to DnsMaster

minor other changes:
* corrected docu for resolved-ip-ttl-threshold option: is not milliseconds but seconds
* add test to ResolverBase: check number of callbacks and warn if suspiciously many

added option min-time-between-resolves-option and tests for it

define this as revision 3 of version 0.3 and add to intranator source master

had forgotten to unset debug option (max number of acceptable errors was 1)

did minor changes; used this version for testing over week-end

fixed bug that caused outdated IPsto be returned from cache; added test for that

found reason for 0.0.0.0 IPs in logs: IcmpPingers are created without IP but register immediately with PacketDistributor

adjust log message, should probably remove debug output some time

added option log-file and option FILE to log-output; use in main and adjusted unit tests

tested new DNS with internal server, make more robust against caching; works nicely now

added test to DNS: load cache from file

fixed bug in TimeToLive: get huge TTLs from cast to uint32_t of negative values

fixed 2 bugs and made clearer that Long-term timer in DnsResolver is not affected by finalize_resolve

bugs:
* HostAddress::is_valid returned opposite
* use the returned IP to ping and do not request another in PingScheduler::ping
* move reset of ContinueOnOutdatedIp within PingScheduler to after ping

long-term timer:
* added a variable DnsResolver: LongtermTimerIsActive
* added a function to ResolverBase: is_waiting_to_resolve
* added a function cancel_resolve to PingScheduler that decides whether to cancel or not
* added an arg to DnsResolver::stop_trying

removed the HostStatus::report_dns_resolution_failure (not used any more)

ensured LogPrefix is used in DNS and PingScheduler; shortened lines; remove vim end note

more cname-skip unit-tests and simplification of skip-finder function

created and passed first unit tests for DNS; finished recovery from PingScheduler::ContinueOnOutdatedIPs

Also:
* renamed PingScheduler::try_to_ping to PingScheduler::ping_when_ready
* fixed string constant DnsCache::DoNotUseCacheFile
* moved Cname to own header file
* created constructor of DnsMaster with DnsCacheItem so can test cache offline
* fixed retrieval of outdated CName

remote PingRotate

merged PingRotate into PingScheduler; fixed save/load of cache to/from file; started creating DNS unittest

code now compiles and links and pings again!

merged because through Asynchronicity it is more difficult to give feedback from Rotate to Scheduler
further changes
* in cache ensure that there is not cname and ip for same hostname
* in cache remove trailing dots from hostnames
* by default ask only for [number of] updatd IPs in retrieval from resolver
* remove some left-overs from recursive resolving (e.g. Recursor creation in master)

simplified dns (no self-made recursion); merge PingScheduler and PingRotate; make them use Async DNS

does not compile yet, work in progress!

finished self-implementation of DNS resolver recursion; will now remove all that!

implemented resolving that avoids caching by creating non-recursive queries
that are directly talking to different name servers; will remove this now
because firewalls might prevent direct communication and do not want to
self-implement dnssec some time.
--> now remove own implementation of recursion in resolving and try to deal
    with cached results

continue implementation; first tests with recursion returned IPs but then added cancel code

added option to cancel Recursor if timeout is reached
sometimes re-try resolving more quickly instead of calling handle_unavailable
changed saving of ttls: save original value and creation time by adding friend class HostAddress
cache can do the recursive ip retrieval, better place than ResolverBase

changed how dns deals with cnames and recursion: remember cnames and implement recursive lookup here using DnsResolvers that are not saved in DnsMaster.

Experiments with own name server and recursive cnames showed that TTLs are not always the minimum.
This way we have better control about resulting TTLs
and debugging is easier since DNS caching is avoided.

Also create unique id for each dns message and check reply
and in main warn if using debug option max_exceptions.