Анализ журналов прокси. Продолжение

Почему-то Интернет ломится от статей в стиле "как собрать логи", но статей описывающих, что с этими логами можно сделать практически нет.
Давайте попытаемся заполнить эту нишу и рассмотрим несколько возможных сценариев анализа журналов прокси сервера собранных нами ранее.

Классика:«кто больше съел»
Тут все просто. В панели «Down by user» (это не оскорбление. слово download не влезло в панель) выбираем верхних пользователей, щелкаем на изображении лупы и анализируем

Причем, что удобно, мы на одном экране видим:

1. Человечек смотрел видео с youtube;
2. Человечек начал это делать в обед (12-13);
3. Человечек не смог остановиться, когда обед закончился.

Можно проанализировать, что он смотрел, сопоставить это с журналами работы с информационными ресурсами, но этим сегодня заниматься не будем. Классика!
Классика «слабое звено»

Допустим, мы хотим посмотреть, кто ищет себе работу? Добавляем запрос «urihost: *job* or *rabota* or hh.ru» и наблюдаем кандидатов на анализ. Благодаря панели «Upload max» можно даже отловить момент выкладывания резюме.

В момент написания поста ничего интересного не происходило, поэтому просто посмотрите, что в обед люди не только отдыхают, но и занимаются серфингом по сайтам навевающим грусть на HR.
Стандартный «кто послал»
Вы, наверное, уже обратили внимание на панельку «Upload max» справа от панели запросов. Эта панель показывает размеры индивидуальных отправок данных через прокси-сервер. То есть на ней визуально мы можем выявить нарушения связанные с отправкой наружу информации. Таблично это делать не очень удобно
Смотрим, как у нас дела были в последние 12 часов.

Ага, видим 12 мегабайтную отправку. Уменьшаем время, за которое проводится анализ, так как количество событий в секунду превышает 50.

Уточняем. Фильтруем по пользователю и затем по имени сайта

И вот мы видим, кто отправил информацию и куда. К счастью это штатная отправка на сайт закупок, на анализ которой потребовалось несколько секунд.
Стандартный «масс-контакт»
Случилось некоторое время назад такое, что корпорация добра несколько усовершенствовала свой браузер, в результате чего в нем как-то особенно выделился функционал чата. В результате на прокси обрушился шквал запросов на соединение с IM-сервером, которые отклонялись. Это не есть хорошо.
Чтобы продемонстрировать работу по анализу, пришлось отключить фильтрацию отклоненных запросов (TCP_DENIED). В результате наблюдаем сайт требующий нашего внимания – urs.microsoft.com. Он не связан с IM, описанным в предыдущем абзаце, но для примера пойдет.

Продвинутый «ratio»К сожалению, такой вид анализа на ELK мне пока не удалось реализовать. Его идея в том, чтобы делать расчет соотношения информации отправленной на сайт к принятой. Этот способ анализа позволяет выявлять туннели и сайты-интерфейсы к IM, например. Делается все на сегодня запросом из SQL, где журналы так же хранятся. Нужно сохранить немного брутальности.
Продвинутый «reputation»
Это из раздела помечтать. Идея – дергать из репутационных баз информацию о доверии сайтам и выводить информацию на экран анализа. Идея навеяна плагином WOT для браузеров.

Буду рад, если коллективный разум подскажет, как реализовать продвинутые способы анализа или предложит свои идеи. Что смогу реализую и опишу.

Анализ журналов прокси

Так получилось, что отдел, в котором я работаю, в основном состоит из сотрудников правоохранительных органов, представления о защите информации у которых отличаются от моих. В частности, одним из основных показателей благополучия в информационной системе является «правильное» использование сотрудниками ресурсов сети Интернет. «Правильное» можно расшифровать как мало и редко. И, так как проверки по этим критериям достаточно просто организовать, отчет по результатам мониторинга работы пользователей в сети Интернет становится одним из ключевых в работе отдела.
Как собирать журналы, описано многократно и много где.
Давайте поподробнее рассмотрим, как их анализировать, чтобы покрыть нужды коллег пришедших в коммерческую безопасность из органов и решить свои задачи.
Есть брутальный способ, для настоящих мужиков, через запись журналов в какой-нибудь SQL и запросы к нему из командной строки в стиле:

---

select id, from_unixtime(time), r_host, inet_ntoa(r_ip), r_port, sum(sc_bytes) from proxylog where time > (UNIX_TIMESTAMP() - 86400*2) and cs_username like 'ХХХ' group by r_host order by sum(sc_bytes);

---

Используя его, мы можем быть уверенными, что анализ журналов не сможет сделать никто кроме нас. Это по-своему круто и дает нам определенный авторитет.
Но давайте повернемся лицом к коллегам и используем стандартную на сегодня связку Logstash-Elasticsearch-Kibana (ELK в английском просторечии) для анализа журналов. Вероятно, есть более оптимальные решения, но они потребуют больше времени на настройку и тюнинг. Итак…


ELK мне было удобно поставить на Debian. Правильный "Debian way" описан на этой страничке.

Squid:
Журналы Squid падают в Logstash. Способы выбирайте сами, они описаны во многих местах.
Пара особенностей. По подсказке коллеги из головной конторы, в журнал был добавлен заголовок referrer, а по моей инициативе - количество отправленных байт. В результате директива logformat выглядит так:

---

%ts.%03tu %6tr %>a %Ss/%03>Hs %<st %rm %ru %un %Sh/%<A %mt %>st %{Referer}>h

---

Logstash:
Чтобы падающие сообщения были нормализованы, то есть из потока символов была извлечена информация, используем вот такую конструкцию:

---

…
else if [message] =~ "(squid)" {
mutate { replace => { "type" => "squid-access" } }
grok {
match => ["message", "<14>%{SYSLOGTIMESTAMP}\s+%{SYSLOGHOST:sourcehost}\s+\(%{WORD:syslogprog}\):\s+%{NUMBER:timestamp}\s+%{NUMBER:request_msec}\s+%{IPORHOST:client}\s+%{WORD:cache_result}/%{NUMBER:status}\s+%{NUMBER:size:int}\s+%{WORD:http_type}\s+(%{URIPROTO}://)?(?:%{USER}(?::[^@]*)?@)?(?:%{URIHOST:urihost})?(?:%{URIPATHPARAM})?\s+(%{WORD:username}|-)\s+%{WORD:request_route}/(%{IPORHOST:forwarded_to}|-)\s+%{NOTSPACE:content_type}
\s+%{NUMBER:send_size:int}\s+(%{URI:referer}|-)"]
}
}
…

---

Тут и мне, написавшему этот жуткий regexp, мало что понятно с ходу, но когда будете настраивать logstash разберетесь что к чему - выбора не будет.
ElasticSearch:
Прелесть этой "не базы данных" в том, что все в ней хранится как-то. Поля, индексы, типы - все это появится в момент, когда вы решите заняться оптимизацией или добиться каких-то расширенных возможностей. Что происходит внутри связки ELK нам не важно. На вход мы подаем поток текста, на выходе получаем "кузявые" таблички и графики.
Kibana:
Статей по настройке интерфейса Kibana великое множество. Мне показалось, что эффективнее всего ставить себе какую-то задачу и искать механизм реализации задачи в ограничениях данного нам средства.
В результате для анализа журналов прокси сервера получился такой интерфейс

Панельки пришлось сделать поменьше, чтобы они все помещались на монитор одновременно. Поэтому по всем параметрам показывает TOP5. Чаще всего этого достаточно. Больше чем на 1-2 "нарушителей" в день нет времени.
Схему можно скачать здесь.

Основные способы применения решения рассмотрим в следующий раз.

Проект на развитие

Продолжит нашу рубрику понятий, разрывающих шаблоны понимания - "проект на развитие".
Если кто-то когда-то читал PMBOC, он, наверняка, знает определение проекта. Ключевой момент здесь - появление чего-то уникального, доселе не виданного.
Посмотрим теперь определение развития - в целом, речь об усовершенствовании. Т.е., вроде как, все понятно "проект на развитие" означает "создание чего-то нового, направленного на усовершенствование". Но из такого расклада следует, что должны быть, например, "проекты на деградацию" (проекты, не приводящие ни к чему противоречат определению проекта).
С точки зрения второго закона термодинамики и здравого смысла - энтропия величина неубывающая, т.е. чтобы что-то деградировало, можно просто ничего не делать и проекты для этого не нужны....

Короче, давайте не будем использовать термин "проект на развитие" как мы не используем словосочетания "масленное масло" или "мокрая вода". Само слово "проект" означает, что в результате будет усовершенствование, а следовательно - развитие. Ну, а если надо что-то ухудшить, можно просто ничего не делать, - время за нас в этом вопросе отработает эффективнее.
 

Свобода СМИ vs. Цензура

Я и сам не раз писал о важности свободы доступа к информации. Однако, Истина, как и красота, - это лезвие бритвы. Очень важно это понимать, чувствовать и не сломать, не нарушить тот баланс противоположностей. Поэтому сегодня я расскажу о том, как важна Цензура, - мера ограничения "свободы слова". Что такое "правильно", а что такое "неправильно", по-моему мы уже разбирали, поэтому не будем останавливаться на этом, ну, а если остановиться надо, - остановимся в другом посте, дайте знать.

Очевидно, что мир ровно таков, каким мы его видим, т.е. таков, как мы интерпретируем поступающую к нам информацию о нем. Наша интерпретация зависит от множества факторов и немаловажным среди них является наша изначальная подготовка в предметной области. Понятно, что если брать в целом аудиторию СМИ, то мы получаем весьма неоднородную массу абсолютно различных людей с разными способностями интерпретации информации. Как следствие, не все понимают (интерпретируют) информацию одинаково, а если брать во внимание, что Истина - немногообразана, получаем, что не все воспринимают информацию корректно. Некорректное понимание может вызвать некорректные эмоции и, безусловно, некорректные действия (поэтому СМИ - своеобразное оружие, но сейчас не об этом). Именно по этой причине у нас есть возрастной ценз на информацию: мы не показываем фильмы для взрослых и сцены насилия детям и совсем не потому, что там неправда, а именно потому что они не готовы воспринять (интерпретировать) эту информацию корректно. Развитие этого - любая информация имеет свою аудиторию, т.е. группу людей, способных ее воспринять корректно.

Если брать во внимание широкую аудиторию СМИ, то именно по этой причине не надо перегибать палку "свободы слова", не надо выливать на неподготовленную аудиторию информацию, которая может быть некорректно интерпретирована. Это и есть цензура и цель ее не "сделать из нас дураков" или "зомбировать" или еще что-то подобное, а обеспечить безопасность, стабильность Общества (кстати - основная задача любого Государства). Многие вещи сложны и неочевидны, есть множество степеней познания действительности, поэтому не надо под флагом свободы слова рассказывать "правду", также как не надо несовершеннолетним показывать порно, несмотря на то, что это действительно правда.

Простейший способ отключения McAfee VirusScan

Иногда есть потребность поработать с различного рода инструментами, а антивирус мешает.
Первая мысль - пойти в Сервисы и отключить сервис "McAfee McShield" - если верить комментарию к сервису, это как раз то, что отвечает за сканирование при доступе (On-Access Scanner). Однако, возможность выключить через интерфейс недоступна и режим запуска тоже поменять не получается.
Что ж, ищем McShield.exe среди процессов в Таскменеджере - он там находится, убиваем - убивается. Радуемся, работаем, но в какой-то момент McShield.exe снова поднимается и все портит. Разбираться кто его поднимает - лень, но надо все-таки как-то сделать, чтобы не поднялся.
Решение до безобразия просто - переименовать файлик McShield.exe так, чтобы пытающийся поднять его не нашел. 
Итак, файлик "C:\Program Files (x86)\McAfee\VirusScan Enterprise\x64\McShield.exe" (путь можно посмотреть в свойствах сервиса "McAfee McShield") переименовываем в то, что нравится, - я добавил единичку в конце. Больше McAfee меня не беспокоил.

Важно: Когда закончили свои занимательные упражнения - обязательно переименуйте файлик обратно, - крайне не рекомендую отключать антивирус навсегда!

Измена или глупость?

Не перестаю удивляться странностям государственных подходов к ИБ. То мы всей страной покупаем и внедряем Apple с iOS, а после появления Сноудена, переходим на Samsung с Android... хотя ежу понятно, беря во внимание что Samsung - южнокорейская фирма, а Android - производства Google, вероятность существования там закладок ни чуть не меньше, чем в iOS. Полагаю, была команда что-то сделать - что-то сделали (стандартный министерский подход: ориентация не на результат (как видно, - он тот же: закладки американской фирмы Apple заменили на закладки американской фирмы Google), а на процесс: по проблеме что-то сделали).

И вот новый перл: товарищи сделали отечественный планшет на отечественной ОС. В заметке есть фрагмент, который только сейчас открыл мне глаза. Основное выделено жирным:
"....Причем на фоне череды скандалов, которые сотрясают Европу (прослушивание телефона Меркель, как вариант), понятно, что закладки в подобной технике есть по умолчанию. Выбор поставщика, который имеет давние и тесные отношения с Министерством обороны США, выглядит, как минимум, странно, хотя тут самое время вспомнить о вредителях и осознанных шагах, направленных на подрыв обороноспособности страны. Хотя это может быть и просто обыкновенное отсутствие профессионализма в своей области, что еще страшнее."
В данном случае страшнее как раз не отсутствие профессионализма (или откровенная глупость), а напротив - умышленное вредительство.
Когда я только начинал взаимодействовать с гос* я не раз удивлялся тому насколько непрофессиональны используемые подходы, насколько неэффективные решения принимаются. Я удивлялся тому, почему из множества различных вариантов решения проблемы, в госкомпании выбирают наихудший сценарий, и как все эти люди, которые эти решения принимают, смогли так сконцентрироваться: все вокруг государства и ключевых государственных предприятий. Да и не могут быть люди настолько непрофессиональны... И только теперь до меня дошло: действительно, люди не могут быть настолько непрофессиональны, напротив, они профессионалы, но у них другая цель - вредить Стране. Это заслацы-вредители, которых внедрили во все сферы наших высоких технологий, поставили у руля подразделений ИБ крупнейших госкомпаний, внедрили в Регуляторов. Тогда все сходится: глупые, неэффективные решения имеют цель разрушить ИТ и ИБ Страны (по крайней мере не развиваться в ногу со временем) и маскируются под непрофессионализм, что создает почву для бесконечного троллинга в Сети (ситуация чем-то напоминает многочисленные высказывания Дженифер Саки об Украине, России, Белоруссии и мире вообще: как бы не комичны были эти заявления, США продолжают творить что хотят. Иногда я думаю, что США специально провели конкурс по всей Америке, чтобы найти госпожу Саки и выставить ее на всеобщее обозрение, и тем самым продемонстрировать всему миру, что им абсолютно фиолетово что о них думают в мире и ничто их не остановит (как не остановит американский флот отсутствие морских границ у Белоруссии). Теперь все сходится: решения, которые порою идут в разрез с общей логикой (тут даже не до профессионализма) также легко объясняются злым умыслом.
Остается ждать и надеяться, что когда-нибудь на место этих вредителей, маскирующихся под непрофессионалов придут профессионалы-патриоты, и все будет по-другому, лучше, и нам не придется краснеть за супер-пупер защищенный планшет, с которого даже не потрудились оттереть надпись "Motorola".

Перлюстрация почты. Заметка 2.

Итак, вся почта, отправляемая сотрудниками, складывается в каталог /var/mail/mailarchive, о чем мы написали в файле /etc/exim4/systemfilter.txt.

Почта раскладывается по каталогам, имена которых равны электронному адресу. 

Чтобы прочесть накопленное можно переименовать собранные файлы в файлы с расширением eml и скормить их ОС Windows.

Но мне больше нравится следующий способ:

Нужные файлы я копирую в специально выделенную папочку, при этом переименовывая их в файлы с цифровым названием:

let j=1; for i in `ls | grep -v make`; do mv $i $j; let j=$j+1; done; chmod a+r *

Затем либо на сервере либо удаленно запускаем почтовый клиент claws-mail который настраиваем таким образом, чтобы "специально выделенная папочка" являлась одним из каталогов, где хранится почта. У меня это сделано с сервера сбора почты на локальную машину через sshfs. Наслаждаемся интерфейсом.

А есть еще способ, который позволяет вам не прикасаться к собранным данным.

В /etc/crontab добавляем строку:

50 23   * * *   root    /mailmonitor_copy

Сам скрипт mailmonitor_copy наполняем следующими строчками:

#!/bin/bash
UserName="VICTIM_WITHOUT_DOMAIN"
Recipient="READER_WITHOUT_DOMAIN"

let j=1;

for i in `find  /var/mail/mailarchive/$UserName@DOMAIN/new -name *.`hostname`* -mtime -1`; do
    cp $i /tmp/$j.eml;
    PATH/mail -f $Recipient@DOMAIN -t $Recipient@DOMAIN -s "message $j of user $UserName" -a /tmp/$j.eml
    rm /tmp/$j.eml;
    let j=$j+1;
done

if [[ $j == 1 ]]; then
    /mail -f  $Recipient@DOMAIN -t $Recipient@DOMAIN -s "No mail from $UserName at `date +%F`"
fi

И под завязку скрипт, который отправляет почту (он в предыдущем скрипте отмечен как PATH/mail и взят откуда-то с просторов интернета и доработан много лет назад. Силен он тем, что позволяет отправлять почту с приложениями.

#!/usr/bin/perl

use Net::SMTP;
use Getopt::Std;

$boundary="Message-Boundary-20030214";

getopt('ftsba', \%args);

if (!($args{f} and $args{t} and $args{s} )) {
    usage();
    exit;
}

if ($args{f}) {
    $from = $args{f};
}
if ($args{t}) {
    $to = $args{t};
}
if ($args{s}) {
    $subject = $args{s};
}
if ($args{b}) {
    $plain_text_message = $args{b};
}
if ($args{a}) {
    $attachment = $args{a};
    @_array = split("/", $attachment);
    $attachment_name = $_array[scalar(@_array)-1];
}

# Constructors
$smtp = Net::SMTP->new('localhost');

$smtp->mail($from);
$smtp->to($to);

push(@message, "Date: ".`date --rfc-822`);
push(@message, "To: $to\n");
push(@message, "From: $from\n");
push(@message, "Subject: $subject\n");
push(@message, "MIME-Version: 1.0\n");

#push(@message, "Content-Type: text/plain;");
#push(@message, "        charset=\"koi8-r\"");
#push(@message, "Content-Transfer-Encoding: 8bit");

push(@message, "Content-type: Multipart/mixed;\n");
push(@message, "\tboundary=\"$boundary\"\n");
push(@message, "\n");
push(@message, "This is a multi-part message in MIME format.\n");
push(@message, "\n");
push(@message, "--$boundary\n");

##  Print out any text message sent with the email
if ($plain_text_message){
    push(@message,"Content-type: text/plain; charset=koi8-r\n");
    push(@message,"Content-transfer-encoding: 7bit\n");
    push(@message,"\n");
    push(@message,$plain_text_message);
    push(@message, "\n");
}

if ($attachment) {
    push(@message,"--$boundary\n");
    ##  Print the header for that attachment.
    push(@message, "Content-type: application/octet-stream;\n name=\"$attachment_name\"\n");
    push(@message, "Content-Disposition: attachment;\n filename=\"$attachment_name\"\n");
    push(@message,"Content-transfer-encoding: BASE64\n");
    push(@message,"\n");

    ##  Send out the contents!!
    ## Store the new line character
    $_nl=$/;
    undef $/;
    open(FL,$attachment) || die $!;
    binmode (FL);
    $some_text=; ## Read the entire file contents into the variable

    close(FL);
    $/=$_nl; ## Restore the new line character.

    $some_text=encode_base64($some_text);
    push(@message,$some_text);
}

push(@message,"\n");
push(@message,"--$boundary--\n");

##     Indicte Start of the DATA header & send the message
$smtp->data(@message);


##     Close the connection
$smtp->quit;



sub encode_base64 ($;$){
 my $res = "";
 my $eol = $_[1];
 $eol = "\n" unless defined $eol;
 pos($_[0]) = 0;                          # ensure start at the beginning
 while ($_[0] =~ /(.{1,45})/gs) {
   $res .= substr(pack('u', $1), 1);
   chop($res);
 }
 $res =~ tr|` -_|AA-Za-z0-9+/|;               # `# help emacs
 # fix padding at the end
 my $padding = (3 - length($_[0]) % 3) % 3;
 $res =~ s/.{$padding}$/'=' x $padding/e if $padding;
 # break encoded string into lines of no more than 76 characters each
 if (length $eol) {
   $res =~ s/(.{1,76})/$1$eol/g;
 }
 $res;
}

sub usage () {
    print "Usage: mail [-f from] [-t to] [-s subject] <-b body=""> <-a attachment_file="">\n";
}