Você pode se livrar deles codificando explicitamente para poder usar
errors="replace"
ou ignore
Os bytes resultantes não serão bonitos, mas serão registrados. logging.error("Exception: " + str(ex.args[1].encode(encoding='charmap', errors='replace')))