libt2n: (tomj) small fix to support data transfers over 2GB
[libt2n] / src / socket_handler.cpp
index 6f9df07..91d5899 100644 (file)
 
 #include <sstream>
 #include <iostream>
+#include <algorithm>
 
 #include "socket_handler.hxx"
 #include "t2n_exception.hxx"
+#include "log.hxx"
 
 using namespace std;
 
 namespace libt2n
 {
 
+socket_handler::socket_handler(int _sock, socket_type_value _socket_type)
+: sock(_sock)
+, recv_buffer_size( default_recv_buffer_size )
+, write_block_size( default_write_block_size )
+, write_timeout( default_write_timeout )
+, socket_type(_socket_type)
+{
+}
+
+
+/// set options like fast reuse and keepalive every socket should have
 void socket_handler::set_socket_options(int sock)
 {
     int i=1;
 
     /* fast reuse enable */
     if (setsockopt(sock,SOL_SOCKET, SO_REUSEADDR, &i, sizeof(i)) < 0)
-    {
-        string err="error setting socket option: ";
-        err+=strerror(errno);
-        log(error, err);
-        throw t2n_communication_error(err);
-    }
+        EXCEPTIONSTREAM(error,t2n_communication_error,"error setting socket option: " << strerror(errno));
 
     /* keepalive enable */
     if (setsockopt(sock,SOL_SOCKET, SO_KEEPALIVE, &i, sizeof(i)) < 0)
-    {
-        string err="error setting socket option: ";
-        err+=strerror(errno);
-        log(error, err);
-        throw t2n_communication_error(err);
-    }
+        EXCEPTIONSTREAM(error,t2n_communication_error,"error setting socket option: " << strerror(errno));
 
     /* close on exec */
     int fdflags;
     fdflags=fcntl(sock,F_GETFD, 0);
     if (fdflags < 0)
-    {
-        string err="fcntl error on socket: ";
-        err+=strerror(errno);
-        log(error, err);
-        throw t2n_communication_error(err);
-    }
+        EXCEPTIONSTREAM(error,t2n_communication_error,"fcntl error on socket: " << strerror(errno));
+
     fdflags |= FD_CLOEXEC;
     if (fcntl(sock,F_SETFD,fdflags) < 0)
-    {
-        string err="fcntl error on socket: ";
-        err+=strerror(errno);
-        log(error, err);
-        throw t2n_communication_error(err);
-    }
+        EXCEPTIONSTREAM(error,t2n_communication_error,"fcntl error on socket: " << strerror(errno));
 
     /* non-blocking mode */
     int flflags;
     flflags=fcntl(sock,F_GETFL,0);
     if (flflags < 0)
-    {
-        string err="fcntl error on socket: ";
-        err+=strerror(errno);
-        log(error, err);
-        throw t2n_communication_error(err);
-    }
+        EXCEPTIONSTREAM(error,t2n_communication_error,"fcntl error on socket: " << strerror(errno));
+
     flflags |= O_NONBLOCK;
     if (fcntl(sock,F_SETFL,flflags) < 0)
-    {
-        string err="fcntl error on socket: ";
-        err+=strerror(errno);
-        log(error, err);
-        throw t2n_communication_error(err);
-    }
+        EXCEPTIONSTREAM(error,t2n_communication_error,"fcntl error on socket: " << strerror(errno));
 }
 
+/// close the underlying socket connection. Don't call directly, use the version provided
+/// by the connection class you are using.
 void socket_handler::close()
 {
+    LOGSTREAM(debug,"close connection");
     // graceful shutdown
     shutdown(sock,SHUT_RDWR);
     ::close(sock);
 }
 
+/// is the underlying socket connection still open?
 bool socket_handler::is_closed()
 {
     int r=fcntl(sock,F_GETFL);
@@ -119,7 +108,60 @@ bool socket_handler::is_closed()
     return !(r & O_ACCMODE);
 }
 
-bool socket_handler::data_waiting(long long usec_timeout)
+
+/**
+ * @brief set a new size for the receive buffer.
+ * @param new_recv_buffer_size the new size for the receive buffer.
+ *
+ * The receive buffer determines the amount of data which is tried to read at once
+ * from the underlying socket.
+ *
+ * The value is normalized to be at least 512 bytes and at max 32K bytes.
+ */
+void socket_handler::set_recv_buffer_size(unsigned int new_recv_buffer_size)
+{
+    recv_buffer_size= std::max( 512u, std::min( 32u * 1024u, new_recv_buffer_size ));
+} //
+
+
+/**
+ * @brief set new size for the data chunks when writeing.
+ * @param new_write_block_size the new chunk size.
+ *
+ * The write block size determines the amount of data which is tried to write
+ * to the socket when data needs to be sended.
+ * Since writing data is done in a loop, this does not limit the amunt of data which can
+ * be written.
+ *
+ * The value is normalized to be at least 512 bytes and at max 32K bytes.
+ */
+void socket_handler::set_write_block_size(unsigned int new_write_block_size)
+{
+    write_block_size= std::max( 512u, std::min( 32u * 1024u, new_write_block_size ));
+} //
+
+
+/**
+ * @brief set new timeout for writing a block
+ * @param new_write_timeout the new timeout in usecs, -1: wait endless
+ *
+ * The write timeout determines the maximum amount of time that is waited
+ * between writing each block. If the timeout is exceeded, write will
+ * throw t2n_transfer_error
+ */
+void socket_handler::set_write_timeout(long long new_write_timeout)
+{
+    write_block_size=new_write_timeout;
+} //
+
+
+/** @brief check if new data is waiting on the raw socket
+    @param[in,out] usec_timeout wait until new data is found, max timeout usecs.
+            -1: wait endless
+            0: return instantly
+    @param[out] usec_timeout_remaining microseconds from the timeout that were not used
+*/
+bool socket_handler::data_waiting(long long usec_timeout,long long* usec_timeout_remaining)
 {
     // just our socket
     fd_set active_fd_set;
@@ -136,26 +178,44 @@ bool socket_handler::data_waiting(long long usec_timeout)
     {
         timeout_ptr = &tval;
 
-        // timeout von long long usec in int sec + int usec umrechnen
+        // convert timeout from long long usec to int sec + int usec
         tval.tv_sec = usec_timeout / 1000000;
         tval.tv_usec = usec_timeout % 1000000;
     }
 
-    if(select (FD_SETSIZE, &active_fd_set, NULL, NULL, timeout_ptr) > 0)
+    int ret=select (FD_SETSIZE, &active_fd_set, NULL, NULL, timeout_ptr);
+
+    // return the timeout we did not use
+    // todo: this is linux specific according to man 2 select
+    if (usec_timeout > 0 && usec_timeout_remaining != NULL)
+        *usec_timeout_remaining=(tval.tv_sec*1000000)+tval.tv_usec;
+
+    if (ret > 0)
         return true;
     else
         return false;
 }
 
-bool socket_handler::fill_buffer(std::string& buffer, long long usec_timeout)
+/** @brief read data from the raw socket and copy it into the provided buffer
+    @param buffer the buffer where to append the new data
+    @param[in,out] usec_timeout wait until new data is found, max timeout usecs.
+            -1: wait endless
+            0: return instantly
+    @param[out] usec_timeout_remaining microseconds from the timeout that were not used
+*/
+bool socket_handler::fill_buffer(std::string& buffer, long long usec_timeout, long long *usec_timeout_remaining)
 {
-    // fast path for timeout==-1
-    if (usec_timeout==-1 || data_waiting(usec_timeout))
+    // fast path for timeout==0
+    if (usec_timeout==0 || data_waiting(usec_timeout,usec_timeout_remaining))
         return fill_buffer(buffer);
     else
         return false;
 }
 
+/** @brief read data from the raw socket and copy it into the provided buffer. Returns
+           instantly if no data is waiting.
+    @param buffer the buffer where to append the new data
+*/
 bool socket_handler::fill_buffer(std::string& buffer)
 {
     bool try_again=false;
@@ -163,6 +223,7 @@ bool socket_handler::fill_buffer(std::string& buffer)
     char socket_buffer[recv_buffer_size];
 
     int nbytes = read (sock, socket_buffer, recv_buffer_size);
+
     if (nbytes < 0)
     {
         if (errno == EAGAIN)
@@ -170,29 +231,30 @@ bool socket_handler::fill_buffer(std::string& buffer)
         else if (errno == EINTR)
         {
             // interrupted, try again
+            LOGSTREAM(debug,"EINTR received on read(), trying again");
             try_again=true;
         }
         else
-        {
-            log(error,string("error reading from socket : ")+strerror(errno));
-            // TODO: exception?
-            return false;
-        }
+            EXCEPTIONSTREAM(error,t2n_transfer_error,"error reading from socket : " << strerror(errno));
     }
 
     // End-of-file
     if (nbytes == 0 && !try_again)
     {
+        LOGSTREAM(debug,"0 bytes received on read(), closing connection");
         close();
         return false;
     }
 
     // Data read -> store it
     if (nbytes > 0)
-        buffer.assign(socket_buffer,nbytes);
+    {
+        buffer.append(socket_buffer,nbytes);
+        LOGSTREAM(debug,nbytes << " bytes read");
+    }
 
     // more data waiting -> recurse
-    if (data_waiting())
+    if (data_waiting(0))
         fill_buffer(buffer);
 
     if (nbytes > 0)
@@ -201,9 +263,11 @@ bool socket_handler::fill_buffer(std::string& buffer)
         return false;
 }
 
+/// writes raw data to the socket. Don't use directly, use the write() function provided by the 
+/// connection because it encapsulates the data.
 void socket_handler::socket_write(const std::string& data)
 {
-    int offset = 0;
+    unsigned int offset = 0;
     while (offset < data.size())
     {
         unsigned int write_size=write_block_size;
@@ -212,35 +276,74 @@ void socket_handler::socket_write(const std::string& data)
             write_size = data.size()-offset;
 
         int rtn;
-        while ((rtn=::write(sock, data.data()+offset, write_size)) &&
-               rtn == -1 && (errno == EAGAIN || errno == EINTR))
+        while ((rtn=::write(sock, data.data()+offset, write_size)) == -1 &&
+               (errno == EAGAIN || errno == EINTR))
         {
-            usleep (80000);
-            log(debug,"resuming write() call after EAGAIN or EINTR");
+            wait_ready_to_write(sock,write_timeout);
+            LOGSTREAM(debug,"resuming write() call after EAGAIN or EINTR");
         }
 
         if (rtn == -1)
-        {
-            log(error,string("write() returned ")+strerror(errno));
-            // TODO: exception?
-            return;
-        }
+            EXCEPTIONSTREAM(error,t2n_transfer_error,"write() returned " << strerror(errno));
         else if (rtn != write_size)
         {
-            ostringstream msg;
-            msg << "write() wrote " << rtn << " bytes, should have been " 
-                << write_size << " (complete: " << data.size() << ")";
-
-            log(error,msg.str());
+            LOGSTREAM(debug,"write() wrote " << rtn << " bytes, should have been "
+                << write_size << " (complete: " << data.size() << ")");
 
-            // TODO: exception?
-            return;
+            write_size = rtn;
         }
 
         offset += write_size;
     }
 
+    LOGSTREAM(debug,"wrote " << data.size() << " bytes");
+
     return;
+} // eo socket_handler::socket_write(const std::string&)
+
+/// wait until the socket is ready to write again
+void socket_handler::wait_ready_to_write(int socket, long long write_block_timeout)
+{
+    // prepare socket sets
+    fd_set write_set[1];
+    fd_set except_set[1];
+    FD_ZERO(write_set);
+    FD_ZERO(except_set);
+    FD_SET(socket, write_set);
+    FD_SET(socket, except_set);
+
+    // prepare timeout struct
+    struct timeval tval;
+    struct timeval *timeout_ptr;
+
+    if (write_block_timeout == -1)
+        timeout_ptr = NULL;
+    else
+    {
+        timeout_ptr = &tval;
+
+        // convert timeout from long long usec to int sec + int usec
+        tval.tv_sec = write_block_timeout / 1000000;
+        tval.tv_usec = write_block_timeout % 1000000;
+    }
+
+    // let's wait for the socket to become writable again...
+    int rtn;
+    while ((rtn=::select(socket+1, NULL, write_set, except_set, timeout_ptr)) ==-1 && errno == EINTR);
+
+    if (rtn > 0 && (!FD_ISSET(socket,write_set)) && FD_ISSET(socket, except_set))
+    {
+        // if we are selected but cannot write and have an exception
+        // we have serious trouble...
+        EXCEPTIONSTREAM(error,t2n_transfer_error,"exception on socket; cannot write any more.");
+    }
+
+    if (rtn==0)
+        EXCEPTIONSTREAM(error,t2n_transfer_error,"timeout on select() for write");
+
+    if (rtn==-1)
+        EXCEPTIONSTREAM(error,t2n_transfer_error,"cannot select() for write: " << strerror(errno));
 }
 
+
 }