Почтовые заголовки. RFC служебные заголовки

Сообщение электронной почты обычно состоит из двух частей:

заголовка (header), содержащего служебную информацию, управляющую доставкой и обработкой сообщения;

тела (body), содержащего непосредственно пользовательское сообщение: текст и прикрепленные данные (графические, звуковые файлы и т.п.).

Заголовок сообщения

Почтовое сообщение – это простой текст в формате ASCII. Поэтому заголовок сообщения представляет собой последовательность текстовых строк вида:

Стандартом почтовых сообщений предусмотрено большое количество полей. Часть из них являются обязательными, т.е. без них невозможно осуществить правильную доставку сообщений, а часть - необязательными. Ниже перечислены наиболее часто используемые поля.

Message-ID – уникальный идентификатор сообщения. Уникальность значения этого поля гарантируется программным обеспечением узла-отправителя, поэтому оно генерируется автоматически.

Date – поле "Дата". Содержит дату отправки сообщения. Значение поля устанавливается автоматически почтовым клиентом при отправке сообщения.

From – поле "От". Содержит адрес, который отправитель сообщения указывает в качестве исходящего адреса.

Sender – поле "Отправитель". Содержит адрес, с которого было реально отправлено сообщение. Это поле может отсутствовать в заголовке, если поле "From" содержит адрес реального отправителя.

To – поле "Кому". Содержит адрес основного получателя сообщения.

Cc – поле "Копия". Содержит адреса дополнительных получателей сообщения.

Bcc – поле "Скрытая копия". Содержит адреса дополнительных получателей сообщения. Получатели, перечисленные в полях "To" и "Cc", не будут знать, что абоненты из списка "Bcc" получили копию сообщения.

Reply-to – поле "Ответить". Содержит адрес, по которому получатель должен направлять ответ. Это поле является необязательным: в случае его отсутствия ответы направляются по адресу, указанному в поле "From".

Subject – поле "Тема сообщения". В этом поле обычно указывается краткое описание (тема) сообщения.

Тело сообщения

Изначально предполагалось, что почтовые сообщения могут содержать только текст в формате ASCII. А поскольку возможность передачи нетекстовой информации не предусматривалась, то протоколы передачи электронной почты могут некорректно обрабатывать такие сообщения. В связи с этим в свое время был разработан специальный стандарт, определяющий принципы преобразования нетекстовых данных к текстовому виду. Этот стандарт получил название MIME (Multipurpose Internet Mail Extension, многоцелевое расширение почты Интернет).

MIME предполагает, что в теле сообщения могут передаваться следующие виды информации:

текст – простой текст в формате ASCII, а также текст в формате RTF или HTML;

графические изображения – файлы в формате JPEG и GIF;

аудио и видео данные;

данные в форматах различных приложений, например, документы Microsoft Office, а также данные произвольного формата (в том числе, различные исполняемые файлы).

В одном почтовом сообщении могут быть переданы данные различных типов. Такие сообщения представляют собой структуру с общим заголовком и несколькими блоками внутри тела, каждый из которых содержит информацию своего типа.

Это широко используется при отправке сообщений с вложениями (attachments) – дополнительными "прикрепленными" файлами, которые могут содержать разнородную информацию. Например, к текстовому сообщению можно прикрепить графический файл c фотографией отправителя.

Кроме того, это может оказаться полезным, когда текст сообщения необходимо передать в разных форматах. Например, отправленное сообщение в формате HTML, содержащее какое-либо оформление, может некорректно восприниматься клиентской программой получателя. Чтобы избежать подобных проблем почтовый клиент отправителя может сформировать альтернативное представление сообщения в виде простого текста.

Для обеспечения корректной передачи сообщений c нетекстовыми данными в MIME предусмотрены два алгоритма перекодировки, осуществляющие преобразование таких данных к тестовому виду:

алгоритм "Quoted-printable", предназначенный для замены байтов, не являющихся ASCII-символами, на группу из трех байт, представляющих собой только стандартные символы;

алгоритм "Base64", осуществляющий преобразование трех произвольных байт в четыре ASCII-символа.

Для обеспечения корректной интерпретации данных стандартом MIME в заголовок сообщения вводятся дополнительные специальные поля.

Content-type – поле "Тип содержимого". Отвечает за корректное определение типа данных, содержащихся в сообщении заголовка сообщения. Значение поля указывает на конкретный тип данных, или информирует о том, что тело содержит несколько разнотипных блоков.

Content-Transfer-Encoding – поле "Тип кодирования содержимого". Определяет способ преобразования (перекодировки) исходных данных в текстовый вид.

Любой e-mail в своей основе обладает одинаковым строением. Формат почтового сообщения В Сети определен в документе RFC-822 (Standard for ARPA Internet Text Message, опубликован в 1982 г.). Почтовое сообщение состоит из трех частей: конверта (envelope), заголовков (headers) и тела сообщения (body). Пользователю доступны только заголовоки (headers) и тело (body) сообщения. Конверт используется программами доставки (для передачи сообщения от сервера к серверу). RFC-822 регламентирует содержание заголовка сообщения. Заголовок всегда находится перед телом сообщения, отделен от него пустой строкой и состоит из полей (имя и содержание). Имя поля отделено от содержания символом ":".

Минимально необходимыми являются следующие поля "Date: «, »From: «, »Cc: " и/или "To: ", например:

From: [email protected]

To: [email protected]

From: [email protected]

Cc: [email protected]

From: [email protected]

To: [email protected]

Cc: [email protected]

где "Date: «, »From: «, »Cc: " и "To: " являются именами заголовка, а через пробел напротив каждого имени заголовка указано соответствующее содержание. Определим значение каждого указанного имени заголовка:

Поле "Date:" выставляется компьютером отправителя, на котором может быть неправильно установлены дата и время

Date: — назначение данного заголовка очевидно: он указывает дату и время отправки письма (из примеров "Fri, 6 Dec 2002 23:26:50 +0300 (MSK/MSD)" видно, что письмо было отправлено 6 декабря 2002 года в 23:26:50 по московскому времени). Если этот заголовок не был создан на компьютере отправителя, то, возможно, его добавит почтовый сервер или какой-нибудь другой компьютер, через который пройдет письмо. Его ни в коем случае нельзя принимать за непреложную истину, и дело даже не в возможности подделки — в мире чудовищно большое количество компьютеров с неверно идущими часами;

From: — указывает адрес отправителя (в примере мы видим, что письмо было отправлено с адреса [email protected]);

To: — адрес(а) получателя(ей) (получателем в нашем примере является [email protected]). Отметим, что поле "To: " не обязано содержать адрес получателя, а также может содержать адреса нескольких получателей;

Cc: (Carbon Copy) — адресация копий, этот заголовок является расширением поля «To», он указывает дополнительных получателей письма (получатель «To» видит список всех «Cc»). Различий между заголовками «To» и «Cc», в сущности, нет, если не считать, что некоторые почтовые программы рассматривают их по-разному, генерируя ответ на сообщение. В примере № 1 поля Cc нет, то есть письмо было отправлено единственному получателю [email protected]. Из примера № 2 видно, что данный заголовок принадлежит адресату [email protected], которому отправлена копия письма (он не видит поле To). Пример № 3 показывает, что письмо было отправлено получателю письма [email protected], а также копия письма была отправлена на ящик [email protected].

Но это только самые основные поля заголовка. Обычно заголовок содержит значительно больше полей, чем указано выше. Давайте с ними ознакомимся...

Поле "Received:" — штамп прохождения письма через почтовый сервер

Received: — "штамп" прохождения письма через почтовый сервер. Заголовки "Received:" предоставляют подробную информацию о жизни сообщения и не дадут обмануть получателя сообщения, откуда именно пришло письмо. Если, например, машина turmeric.com, IP-адрес которой 104.128.23.115, посылает сообщение машине mail.bieberdorf.edu, но пытается ее обмануть, сказав HELO galangal.org, заголовок "Received:" получится следующим: Received: from manaraga.org (turmeric.com ) by mail.bieberdorf.edu...(остаток строки опущен для ясности). Здесь подделка сразу выводится на чистую воду. Данная строка говорит: "машина turmeric.com, чей адрес 104.128.23.115, назвалась galangal.org". Мы рассмотрели лишь один пример, наглядно представляющий нужность и полезность данного заголовка письма, в связи с тем, что целью данный статьи не является подробное изучение каждого заголовка, а лишь ознакомление с наиболее часто встречающимися в обычной жизни. Тем более что о заголовке "Received:" можно написать отдельную статью.

Message-Id: — уникальный идентификатор письма, присваиваемый каждому сообщению, — чаще всего первым почтовым сервером, который встретится у него на пути, либо же почтовым клиентом. Обычно он имеет форму "[email protected], где «abrakadabra» набор произвольных символов, а вторая часть "domain.ru" — имя машины, присвоившей идентификатор. Иногда, но редко, «abrakadabra» включает в себя имя отправителя. Message-Id используется программами доставки почты во избежание "зацикливания" письма;

Поле «Bcc» — скрытая копия

Bcc: (Blind Carbon Copy) — слепая/скрытая копия (получатели не подозревают о других получателях из поля «Bcc»). Скрытые копии очень популярны среди спамеров, поскольку многие неопытные пользователи оказываются сбитыми с толку, получив письмо, которое, вроде бы, не было им адресовано;

Subject: — тема письма (наличие Re: означает ответ; Fwd: — переадресацию). Почтовый стандарт допускает наличие только латинских символов (US-ASCII) в поле «Subject» поэтому, несмотря на то, что многие пользователи заполняют данное поле по-русски, этого делать не рекомендуется. Нормальная ситуация — когда написанная по-русски тема письма при отправке перекодируется почтовой программой отправителя в 7-битную base64 с указанием языковой кодировки, в которой эта тема написана (как это делают программы Pine, Pegasus Mail), а почтовая программа получателя декодирует тему письма в читаемый вид. Однако это возможность почтового стандарта MIME, который программа UUPC не поддерживает;

Reply-To: — адрес для ответов. Несмотря на то, что этот заголовок имеет множество способов цивилизованного применения, он также используется спамерами для отведения удара от себя. Может быть, какой-нибудь наивный спамер и захочет собирать ответы на свои письма и укажет верный заголовок "Reply-to:", но большинство указывает там либо несуществующий адрес, либо адрес невинной жертвы;

In-Reply-To: — показывает, что сообщение относится к типу "ответ на ответ";

Comments: — означает комментарий. Этот заголовок не является стандартным, а потому может содержать любую информацию. Подобные заголовки добавляются некоторыми почтовыми программами (в частности, популярной программой Pegasus) для идентификации отправителя, но часто прописывается вручную спамерами, так что относиться к нему следует с осторожностью;

Status: — статус письма (новое, прочитанное);

Apparently-To: — эти заголовки нетипичны для нормальных сообщений, они обычно являются признаком массовой рассылки. В последнее время для массовых рассылок используется программное обеспечение, достаточно "умное", чтобы не плодить гигантские списки из этих заголовков;

Organization: — абсолютно свободный заголовок, обычно содержащий название организации, через которую отправитель сообщения получает доступ к сети. Отправитель, как правило, контролирует этот заголовок, поэтому там вполне может быть что-то вроде ЗАО "Рога и Копыта";

Priority: — исключительно свободный заголовок, устанавливающий приоритет сообщения. Большинство программ его игнорируют. Часто используется спамерами в форме "Priority: urgent" (или что-нибудь в этом роде) с целью привлечения внимания к сообщению;

Errors-To: — указывает адрес для отсылки автоматически генерируемых сообщений об ошибке, таких как "нет такого пользователя". Это редко используемый заголовок, так как большинство отправителей обычно хотят получать сообщения об ошибках на исходящий адрес, который используется почтовыми серверами по умолчанию.

Спецификация RFC-822 — сильно устарела

Рассмотренные нами выше заголовки регламентируются RFC-822, как было сказано выше. Со времени использования стандарта RFC-822 обнаружился ряд ограничений, заметно урезающих пользовательские потребности. В частности, возможность пересылки нетекстовых данных, например, аудио и графики — данная возможность просто не была упомянута в RFC-822, описывающем лишь формат текстовых сообщений. И даже в случае текстового сообщения, стандарт RFC-822 обошел вниманием нужды пользователей, использующих расширенный набор символов, что характерно для азиатских и большинства европейских языков. Основное ограничение RFC-822 — относительно короткие строки и 7-битная символьная таблица. Пользователям для отправки нетекстовых данных приходилось конвертировать тело своего письма в 7-битную форму с помощью UUENCODE, BINHEX и аналогов. Стало понятно, что требовалась новая, дополнительная спецификация, и она была разработана — MIME — Multipurpose Internet Mail Extension (RFC-1314). Об этой спецификации мы поговорим в отдельной статье.

Технические заголовки

Согласно стандартам обмена электронными сообщениями, письма поддерживают некоторые заголовки, каждый из которых должен быть с новой строки. По умолчанию уже прописаны необходимые из них: MIME-Version, Content-Type, From, Reply-To, Subject, To. Записанные в поле заголовков новые, будут добавлены к имеющимся вшеуказанным.

Все почтовые агенты воспринимают эти стандарты по разному. Хотя эти заголовки email и указаны в официальных протоколах RFC, они могут быть ингорированы или неверно интерпретированы, по этому перед email рассылкой их стоит тестировать на себе.

Что такое служебные заголовки и зачем их настраивать

Протоколы, реализующие отправку и приём электронных писем, появились еще в 80-е. В те благословенные и слегка наивные времена всемирная сеть была мала и фактически не знала мошенничества и обмана, поэтому проверки и защита в почтовых протоколах почти отсутствовали.

Если вы небольшой рассыльщик, например, частное лицо или организация, и отправляете по несколько сотен писем за раз с собственного сайта, то настраивать технические заголовки вам не потребуется.

В случае использования платформ-рассыльщиков ситуация усложняется. Отправителем выступает ваш домен, например, site.ru, но рассылка ведётся с адреса mail.sendsay.ru, что вызовет у принимающего почтового сервера справедливые подозрения.

Sender Policy Framework

Чтобы снять подозрения почтовиков используется специальный механизм - SPF (Sender Policy Framework или инфраструктура политики отправителя). С его помощью сайт (всё тот же, site.ru) говорит принимающей стороне, что рассыльщик (sendsay.ru) действительно имеет права на отправку ваших писем.

Важно, что SPF работает только с заголовком письма и специальным обратным адресом (smtp.mailfrom), но не с тем адресом From, который видит человек. Так что мошенничество с подменой From никак не повлияет на проверку SPF.

Выходит, этот механизм не является действительно надёжной защитой: чаще всего провал SPF-проверки не является поводом отвергнуть письмо. Главная его задача - подтверждение отправителя, что важно для репутации домена в глазах почтовых платформ. Чем выше рейтинг домена, тем ниже шансы, что ваши письма будут признаны спамом. Если компания использует для рассылок несколько доменных имён (допустим, .ru и.com), то настраивать служебные заголовки придётся для каждого доменного имени отдельно. Проще всего выделить для рассылок специальное доменное имя (например, mail.stie.ru) и настроить SPF-запись под него.

При желании для рассылок можно воспользоваться и доменом sendsay.ru, но это имеет ряд побочных эффектов. В частности, использование стороннего отправителя явно отображается в веб-интерфейсе gmail.com: рядом с адресом отправителя появляется надпись о рассыльщике:

Не смертельно, но неприятно. В настройке SPF-записи поможет сетевой SPF-мастер .

Domain Keys Identified Mail

Следующим бастионом на пути проверки писем является цифровая подпись DKIM (Domain Keys Identified Mail - идентификация письма по ключу домена). DKIM - это специальная криптографическая подпись, которая позволяет надёжно идентифицировать вас как легитимного отправителя. Идеологически DKIM подобна водяным знакам на банкнотах.

Метод строится на паре ключей шифрования: открытом и закрытом. Закрытым ключом сообщение подписывается перед отправкой. Открытый ключ публикуется на DNS-сервере отправителя в TXT-записи.

При получении письма, принимающий сервер читает открытый ключ и автоматически проверяет, действительно ли email подписано правильным ключом. Таким образом, криптографическая подпись позволяет не только идентифицировать отправителя, но и гарантировать, что подписанное сообщение не было искажено в пути.

Провал проверки DKIM обычно не является катастрофой: подобные письма доберутся до получателя, пусть и с пометкой «возможно мошенничество, мы не можем проверить подлинность отправителя» . Самое неприятное последствие проваленной DKIM-проверки - ущерб для репутации отправителя.

В рамках платформы Sendsay для подписывания сообщений используются только ключи, сгенерированные системой.

Если же вы настраиваете самостоятельную рассылку, то создание цифровых подписей лежит на вас. Для упрощения настройки DKIM удобно воспользоваться онлайн-визардом .

Domain-based Message Authentication, Reporting and Conformance

Domain-based Message Authentication, Reporting and Conformance (DMARC) - идентификация сообщений, создание отчётов и определение соответствия по доменному имени. DMARC - политика проверки сообщений, предназначенная для снижения числа нежелательных писем.

Возникшая всего пару лет назад (в марте 2015 года), DMARC строится на уже описанных SPF и DKIM, но имеет существенное отличие. Если базовые механизмы лишь говорят получающему почтовому серверу прошло ли письмо проверки, то DMARC объявляет как с такими сообщениями следует поступать.

Можно включить строгую политику и запретить доставку подобных писем, хотя не все почтовые сервисы следуют этим инструкциям буквально. В частности, почта Яндекса всё равно доставит письма, пусть и с пометкой, что это «возможно мошенничество». Есть у DMARC и возможность пропустить все письма без исключения, тогда проваленные проверки будут отражаться только в отчётах. Это бывает полезно при отладке технических заголовков.

В настройке DMARC-записей также поможет специальный сервис .

Для проверки правильности технических заголовков воспользуйтесь универсальным сервисом supertool . Он не только выявляет проблемы, но и формирует рекомендации по исправлению.

Итог

Как видите, настройка аутентификации электронной почты - задача сложная, но важная в современном контексте. Платформа старается взять на себя заботу о технических деталях, именно поэтому при делегировании нам своего поддомена, клиенты получают служебные заголовки, настроенные нашими специалистами.

Предисловие:

Тебе приходилось когда-нибудь
отсылать трояны "от другого лица" на
ящики пользователей? Тогда ты знаешь, что
успех зависит от нескольких факторов: во-первых
от того, кому попало письмо (ламер, юзер,
хакер и т.д.), во-вторых от умения
использовать социальную инженерию и в-третьих
от умения фальсификации заголовков.

Инструментарий:

Итак, что же нам понадобится:

Прога для создания письма.
Подойдёт любая: TheBat!, АутГлюк и т.д. Если
нужно отослать более одного письма,
рекомендую SendIt.
Прога для массовой рассылки
писем с поддержкой использования прокси (Advanced
Direct Remailer , G-Loch
EasyMail , Advanced
Mass Sender , Group
Mail Free , Mega-MailerPro ,
Beijing Express Direct
Email Blaster и т.
д.)
Прога для работы других прог
через прокси: Socks Chain
и т. д.
Ну, и письмо от чела, чьим "двойником"
станешь.

Все эти проги я описывать не буду.
Это выходит за рамки моей статьи. Описание
прог под пунктом "2" можно найти в
последнем номере журнала "Хакер" (ver 02.03
(50)).

Принцип работы

Принцип работы прост, как всё
гениальное: если пользователь
засомневается, что письмо пришло от того,
кто указан в поле "От", он полезет в
заголовки и будет с умным лицом их изучать (а
может и сравнит с пришедшими до этого
письмами). Поэтому нам надо подменить
заголовки писем на те, которые указываются
в настоящем письме. Вот для чего нам
требовалось получить письмо от того, кем мы
притворимся.

Формирование письма

Самый первый этап работы
заключается в правильном создании письма.
"А что сложного в создании писем?"
спросишь ты. Под "созданием письма" я
имею ввиду не текст письма, а создание
заголовков. Итак, всем известно, что при передачи письма
почтовому серверу тот вставляет свой
заголовок в начало. Т. е. самый первый
заголовок будет от сервака, где находится
твоё мыло, т.к. он последний получил письмо. Наша задача состоит в том, чтобы отправить
письмо серверу где находится мыло жертвы
напрямую, т.е. минуя другие сервера, и при
этом притворится настоящим отправляющим
сервером.

Вот тут нам понадобятся две проги (или
одна — смотря какими пользуешься): любой
почтовик и одна из прог под пунктом 2.

В почтовике составляем текст
письма. Это уж как-нибудь без меня. После
того, как письмо написано, его нужно
перенаправить к проге ADR (Advanced Direct Remailer). Для
этого в настройках почтовика заполняем
поле SMTP сервера как "localhost" (без кавычек) и отправляем письмо. Теперь
заходим в ADR, кликаем правой кнопкой мыши на
письмо и выбираем "Посмотреть сообщение".
У нас высвечивается Блокнот, в котором
показаны текст письма и заголовки
почтовика. Текст письма не трогаем, а вот
заголовки удаляем и вставляем нужные. Для
этого надо открыть письмо того чела, кем мы
будем прикидываться и настроить почтовик
на показ заголовков (например, в русском TheBat!
это делается так: вид-> показывать
заголовки (RFC-822)).

Нужно вставить все заголовки этого
письма, кроме самого первого (последний
заголовок вставит сервер). Теперь заголовки
необходимо отредактировать: заменить мыло
получателя на то, на которое собираешься
посылать письмо, изменить дату и время на то,
которое будет при отправке. При этом нужно
подсчитать разность времени между
получениями письма серверами, через
которое оно проходит, и ставить время для
каждого сервера своё.

Теперь лезем в настройки ADR.
Заходим в раздел "Доставка" и в поле
"Домен для "HELO"" пишем название
сервака, который отправляет почту (в
заголовках письма оно указано рядом с его IP).
Далее нам понадобится Socks Chain. В настройках
устанавливаем, через сколько проксей нужно
отправить письмо до того, как оно попадёт на
SMTP (хватит и одного). Не закрывая SC снова
лезем в настройки ADR-> "Прокси". Здесь
указываем адрес прокси как 127.0.0.1 и порт,
который стоит в настройках SC (по умолчанию
1081).

Всё, отправляем письмо.

From [email protected] Sun Dec 08 09:04:04 2002
Envelope-to: [email protected]
Delivery-date: Sun, 08 Dec 2002 09:04:04 +0300
Received: from (helo=webserver2.kaspersky-labs.com)
by mx5.mail.ru with smtp (Exim
SMTP.5)
id 18KuXr-000GQc-00
for [email protected]; Sun, 08 Dec 2002
09:04:04 +0300
From:
To: [email protected]
Subject: Тест.
Mime-Version: 1.0
Content-Type: text/plain; charset=windows-1251
Message-Id:
Date: Sun, 08 Dec 2002 09:04:04 +0300

Думаю, не для кого не секрет, кем я
хотел представиться 🙂

Проблемы

Иногда почтовые сервера с высокой
степенью защиты от спама не принимают почту,
если указать в "Домене для "HELO"" не
настоящее имя сервера, с которого пришло
письмо (такое было с mail.ru и hotbox.ru). Вероятно,
сервер сравнивает IP с какого идёт письмо (в
случае с использованием прокси — его адрес)
с IP сервера, на котором находится ящик
отсылающего. В этом случае письмо попадает
в "Плохие" с ошибкой "Почтовый ящик
не существует на этом сервере". Вероятные
решения этой проблемы:

Заменить имя домена на настоящее
(в случае использования прокси — указать
его IP)

Попытаться использовать IP-спуфинг

Сделать имя своего компа таким
же, как и у хоста, который указывается в
"Домен для "HELO" (на тот случай, если
твою машину при соединении регистрируют
в сети прова).

При отправке письма напрямую,
некоторые сервера отказываются работать,
если используется их служба, а в строке "От"
указан ящик, чей аккаунт находится у
другого сервера (такое было у mail.ru).

Сервер отказывается принять
письмо, если указан несуществующий
обратный адрес.

В последнее время многие
сервера отказываются принимать почту, если
определённый IP соответствует прокси. Здесь
также стоит попробовать спуфинг.

Плюсы и минусы данного способа

К достоинствам этого способа можно
отнести возможность рассылки писем без
засветки своих реальных данных (IP, имя компа,
и т.д.) При этом, этот способ вполне может
подействовать не только на ламеров, которые
и о заголовках-то никогда не слышали, но и на
юзеров, если те полезли в заголовки письма (там
всё идентично, кроме IP).

Недостаток: может найтись тот
чувак, который проверит соответствие IP и
имя указанного домена. Но всё равно, уж
лучше так, чем отсылать заведомо
неправильно сформированное письмо.

Заключение

Ну, вот и всё. Желаю тебе побед в
нелёгкой борьбе против ламеров.