developer.intra2net.com Git - imap-fix-internaldate/blob - src/mail_iterator.py

   1 '''
   2 mail_iterator.py - The module contains the MailIterator class.
   3
   4 Copyright (c) 2012 Intra2net AG
   5 Author: Plamen Dimitrov
   6
   7 This program is free software: you can redistribute it and/or modify
   8 it under the terms of the GNU General Public License as published by
   9 the Free Software Foundation, either version 3 of the License, or
  10 (at your option) any later version.
  11
  12 This program is distributed in the hope that it will be useful,
  13 but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 GNU General Public License for more details.
  16 '''
  17
  18 import imaplib
  19 import re
  20 import time
  21 import logging
  22
  23 MAILBOX_RESP = re.compile(r'\((?P<flags>.*?)\) "(?P<delimiter>.*)" (?P<name>.*)')
  24 UIDVAL_RESP = re.compile(r'(?P<name>.*) \(UIDVALIDITY (?P<uidval>.*)\)')
  25
  26 #imaplib.Debug = 4
  27
  28 class MailIterator:
  29     """This class communicates with the e-mail server."""
  30
  31     # class attributes
  32     # IMAP4_SSL for connection with an IMAP server
  33     mail_con = None
  34     # list of tuples (uidvalidity, mailboxname) for the retrieved mailboxes
  35     mailboxes = None
  36     # logged in status
  37     logged_in = None
  38     # skip shared folders
  39     skip_shared_folders = None
  40
  41     def __init__(self, server, username, password, skip_shared_folders = False):
  42         """Creates a connection and a user session."""
  43         try:
  44             self.mail_con = imaplib.IMAP4_SSL(server)
  45             self.mail_con.login(username, password)
  46             logging.info("Logged in as %s.", username)
  47         except:
  48             self.logged_in = False
  49             raise UserWarning("Could not log in as user " + username + ".")
  50         self.logged_in = True
  51         try:
  52             _result, self.mailboxes = self.mail_con.list()
  53         except:
  54             raise UserWarning("Could not retrieve mailboxes for user " + username + ".")
  55         self.skip_shared_folders = skip_shared_folders
  56
  57     def __del__(self):
  58         """Closes the connection and the user session."""
  59         if(self.logged_in):
  60             self.mail_con.close()
  61             self.mail_con.logout()
  62
  63     def __iter__(self):
  64         """Iterates through all mailboxes, returns (uidval,name)."""
  65         for mailbox in self.mailboxes:
  66             logging.debug("Checking mailbox %s.", mailbox)
  67             mailbox = MAILBOX_RESP.match(mailbox.decode('iso-8859-1')).groups()
  68             # detect if mailbox is shared and if skip flag is set iterate further
  69             if(self.skip_shared_folders and mailbox[2].split(mailbox[1])[0] == '"user'):
  70                 logging.info("Mailbox %s is shared and therefore skipped.", mailbox[2])
  71                 continue
  72             # retrieve uidvalidity
  73             try:
  74                 _result, data = self.mail_con.status(mailbox[2], '(UIDVALIDITY)')
  75             except:
  76                 raise UserWarning("Could not retrieve mailbox uidvalidity.")
  77             uidval = UIDVAL_RESP.match(data[0].decode('iso-8859-1')).groups()
  78             logging.debug("Extracted mailbox info is %s %s.", data[0], uidval)
  79             # select mailbox if writable
  80             try:
  81                 self.mail_con.select(mailbox[2])
  82             except self.mail_con.readonly:
  83                 logging.warning("Mailbox %s is not writable and therefore skipped.", mailbox[2])
  84                 continue
  85             yield (mailbox[2], uidval[1])
  86
  87     def fetch_messages(self):
  88         """Fetches the messages from the current mailbox, return list of uids."""
  89         try:
  90             _result, data = self.mail_con.uid('search', None, "ALL")
  91         except:
  92             raise UserWarning("Could not fetch messages.")
  93         mailid_list = data[0].split()
  94         return mailid_list
  95
  96     def fetch_internal_date(self, mid):
  97         """Fetches the internal date of a message, returns a time tuple."""
  98         try:
  99             _result, data = self.mail_con.uid('fetch', mid, '(INTERNALDATE)')
 100         except:
 101             raise UserWarning("Could not fetch the internal date of message " + mid.decode('iso-8859-1') + ".")
 102         internal_date = imaplib.Internaldate2tuple(data[0])
 103         return internal_date
 104
 105     def fetch_received_date(self, mid):
 106         """Fetches the received date of a message, returns bytes reponse."""
 107         try:
 108             _result, data = self.mail_con.uid('fetch', mid, '(BODY.PEEK[HEADER.FIELDS (RECEIVED)])')
 109         except:
 110             raise UserWarning("Could not fetch the received header of message " + mid.decode('iso-8859-1') + ".")
 111         return data[0][1].decode('iso-8859-1')
 112
 113     def fetch_basic_date(self, mid):
 114         """Fetches the basic date of a message, returns bytes reponse."""
 115         try:
 116             _result, data = self.mail_con.uid('fetch', mid, '(BODY.PEEK[HEADER.FIELDS (DATE)])')
 117         except:
 118             raise UserWarning("Could not fetch the date header of message " + mid.decode('iso-8859-1') + ".")
 119         return data[0][1].decode('iso-8859-1')
 120
 121     def update_message(self, mid, mailbox, internal_date):
 122         """Replaces a message with one with correct internal date."""
 123         internal_date_sec = time.mktime(internal_date.timetuple())
 124         try:
 125             result, data = self.mail_con.uid('fetch', mid, '(RFC822)')
 126             #logging.debug("Entire e-mail is: %s", data[0][1])
 127
 128             # retrieve and select flags to upload
 129             fetched_flags = self.mail_con.uid('fetch', mid, '(FLAGS)')[1][0]
 130             parsed_flags = imaplib.ParseFlags(fetched_flags)
 131             selected_flags = ()
 132             for flag in parsed_flags:
 133                 if(flag != b'\\Recent'):
 134                     selected_flags += (flag,)
 135             logging.debug("Selected flags %s from parsed flags %s.", selected_flags, parsed_flags)
 136             flags_str = " ".join(flag.decode('iso-8859-1') for flag in selected_flags)
 137
 138             # upload message copy and delete old one
 139             result, data = self.mail_con.append(mailbox, flags_str,
 140                                                 internal_date_sec, data[0][1])
 141             logging.debug("Adding corrected copy of the message reponse: %s %s", result, data)
 142         except:
 143             raise UserWarning("Could not replace the e-mail " + mid.decode('iso-8859-1') + ".")
 144         try:
 145             result, data = self.mail_con.uid('STORE', mid, '+FLAGS', r'(\Deleted)')
 146             logging.debug("Removing old copy of the message reponse: %s %s", result, data)
 147         except:
 148             raise UserWarning("Could not delete the e-mail " + mid.decode('iso-8859-1') + ".")
 149         self.mail_con.expunge()
 150         return