Простая и эффективная система подсчета трафика в ОС FreeBSD
06.11.2004 | khomya

Очень часто в качестве Интернет-шлюза администраторы устанавливают компьютер с ОС FreeBSD. Одной из замечательных особенностей этой системы является простая возможность практически автоматического учета и оперативного контроля всего трафика. Делается это с помощью специализированного пакетного фильтра bpf (Berkley Packet Filter). Этот механизм работает независимо от работы файрволла (ipfw) и способен «запоминать» все пакеты, идущие через интерфейсы. Ниже описано как эффективно воспользоваться возможностями bpf для учета трафика.

1. Средство оперативного контроля трафика
2. Средство сбора и учета трафика
2.1 Сбор статистики
2.2 Построение отчетов
3. Выводы
4. Ссылки

 


1. Средство оперативного контроля трафика.

 

Итак, предположим, что сервер на основе FreeBSD успешно установлен и настроен. Для оперативного контроля трафика служит очень удобная утилита trafshow. Рекомендуется установить ее из дерева портов:

cd /usr/ports/net/trafshow  

make 

make install

Далее можно сразу же переходить к просмотру текущего трафика на интерфейсах. Допустим, на нашем шлюзе два интерфейса: внутренний (ed0), к которому присоеденена локальная сеть и внешний (xl1), через который осуществляется выход в Интернет. Для того, чтобы увидеть трафик на внутреннем интерфейсе, нужно выполнить команду:

trafshow -i ed0

Эта команда покажет весь трафик, проходящий через интерфейс ed0. Команда будет
работать быстрее, если отключить резолвинг IP-адресов в имена (ключ -n).
При этом весь трафик будет выдан в виде удобной таблицы, в которой видны адреса
источников и приемников, скорости соединений, количество переданных и принятых
байт и т.п. (рис 1). Соотвественно, чтобы увидеть трафик на внешнем интерфейсе,
нужно ввести команду trafshow -i xl1.

Мониторинг TCP/IP соединений с помощью trafshowРис 1. Мониторинг TCP/IP соединений с помощью trafshow.

Если нужно увидеть не весь, а только нужный администратору трафик, то можно
ограничить облаcть просмотра программы trafshow. Например, если нас
интересует трафик из интернет в сеть 10.128.0.0/16, то нужно набрать
команду вида:

trafshow -i ed0 -n dst net 10.128.0.0 mask 255.255.0.0

Полный синтаксис описания правил для trafshow можно узнать по документации команды tcpdump (man tcpdump), т.к. команда trafshow интерпритиреют вывод именно этой программы). Вообще, команда trafshow имеет множество дополнительных параметров и ключей для более тонкой настройки работы. Все параметры работы можно узнать по команде man trafshow.

Например, команда:

trafshow -i ed0 -n dst net 10.128.0.0 mask 255.255.0.0
and not 10.128.7.11 and not net 10.128.6.00 mask 255.255.255.0 and not
port 80 and not port 5190 and not port 53 and not port 443

Показывает трафик в сеть 10.128.0.0/16 но без хоста 10.128.7.11, без сети 10.128.6.0/24 и не показывает в отчете порты 80,5190,53,443.

Примечание.

Часто для вывода локальной сети в Интернет через FreeBSD администраторы используют систему NAT. Тогда команда trafshow на внешнем интерфейсе не будет «видеть» внутренних адресов (потому что они уже «собраны» системой NAT во внешний интерфейс). Для того, чтобы увидеть трафик корпоративной сети, нужно «просматривать» внутренний интерфейс.

2. Средство сбора и учета трафика

Для сбора трафика и построения отчетов, применяется пакет trafd. Рекомендуется ставить его через дерево портов.

cd /usr/ports/net/trafd  

make 

make install

2.1 Сбор статистики
Демон trafd собирает трафик на определенном интерфейсе. Для начала сбора трафика на интерфейсе ed0, необходимо:

  • создать файл, где trafd будет хранить статистику:
    touch ‘/var/trafd/trafd.ed0′
  • запустить сбор статистики на интерфейсе:
    /usr/local/bin/trafd -i ed0

    (рекомендуем сразу прописать эту строчку в /etc/rc.local)

  • проверить работу демона:
    ps ax | grep trafd
  • при необходимости собирать статистику на других интерфейсах, повторить действия, аналогичные описанным.

Демон trafd коллекционирует статистику в оперативной памяти. Для того, чтобы статистика не «потерялась» и счетчики не переполнились, необходимо периодически «скидывать» наполненную информацию из оперативной памяти на диск (в файл, который был создан). Эту процедуру выполняет специальная программа: trafsave. Периодичность выполнения этой команды выбирает сам системный администратор.

Для UNIX систем выполнение периодических команд применяется демон crontab. Например, для того, чтобы команда trafsave выполнялась каждые 4 часа, необходимо выполнить команду crontab -e и ввысти строчку .

0 0,4,8,12,16,20 * * 1-7 /usr/local/bin/trafsave

Help: Для тех, кто не знаком с vi: нажать i, ввести строчку приведенную
выше, нажать ESCAPE, ‘:‘, ‘wq’.

Help: Кроме того, рекомендуется каждый месяц «обнулять» файл
сбора статистики, т.к. количество записей в одном файле ограничено 1000, после
чего traflog перестает отображать отчеты по номеру записи. Это можно
сделать с помощью короткой программки на языке sh:

#!/bin/shPATH=/bin:/usr/bin:/sbin:/usr/sbin:/usr/local/bin LOG_FILE=/var/log/traffic.log  

if [ $# = 0 ]; then

# Get List of Listening IFaces

. /etc/rc.conf

else

IFF_LISTEN=$*

fi

for iface in $IFF_LISTEN; do

rotate /var/trafd/trafd.$iface `date -v-1m +%b`

echo «Rotate Logs For $iface» > $LOG_FILE

done

Нужно разместить эту программку в файле /usr/local/bin/trafrotate. Для ее работы необходимо установить утилиту rotate:

cd /usr/ports/sysutils/rotate  

make 

make install

Для того, чтобы эта программа запускалась каждый месяц, нужно записать еще одну строчку в crontab:

20 2 1 * * /usr/local/bin/trafrotate

Теперь можно быть уверенным, что ни один байт мимо не пройдет!

2.2 Построение отчетов

Система trafd способна строить удобные отчеты на основе собранных данных. Отчеты строятся с помощью программы traflog. Для того, чтобы посмотреть результаты последней сохраненной записи демона trafd, нужно набрать команду:

traflog -n -i ed0

(флаг -n указывает – не резолвить ip-адреса)

Результатами работы программы будет отчет, начало которого показано на рис 2.

Отчет по сохраненной статистике ip-соединений
Рис 2. Отчет по сохраненной статистике ip-соединений.

Программа traflog «умеет» строить отчеты на основе заданных правил. Например, для того, чтобы увидеть отчет по трафику сети 10.128.0.0/16, необходимо набрать команду:

traflog -i ed0 -n from all to 10.128.0.0 mask 255.255.0.0

Авторы trafd приводят такие примеры фильтров:

Pattern examplesfrom turbo.nsk.su to ns.nsk.su port domain to all port ftp port ftp-datafrom TURBONET to all  

from 192.188.187.127 mask 255.255.255.224 port all

from all to 144.206.0.0 proto tcp

from turbo.nsk.su to ns.nsk.su port domain

to all port ftp port ftp-data

from TURBONET to all

from 192.188.187.127 mask 255.255.255.224 port all

from all to 144.206.0.0 proto tcp

Кроме применения фильтров, traflog позволяет формировать отчеты, суммируя информацию из записей trafd. Для того, чтобы увидесть список записей (а это нужно для того, чтобы потом построить отчет на основе диапазона правил), нужно вызвать trafd с ключом -l. Например, вызов traflog -i ed0 -l выдаст результат:

Список сохраненных записей
Рис 3. Список сохраненных записей.

Теперь, для того чтобы построить отчет за определенный период, нужно указать первую и последнюю запись для отчета (параметры -b <первая запись> -e <последняя запись>). Например, для того чтобы получить отчет за 2 декабря 2002 годя для сети 10.128.0.0/16, нужно ввести команду:

traflog -n -i ed0 -b7 -e12 -s from all to 10.128.0.0 mask 255.255.0.0

(параметр -s указывает – посчитать суммарный трафик, т.е. traflog автоматически
суммирует трафик по одинаковым адресам и портам).

Получение отчета за определенный период
Рис 4. Получение отчета за определенный период.

Кроме того, команде traflog можно указать файл вместо интерфейса. Например,
для построения сентябрьского отчета по всему файлу, сохраненному за месяц программой trafrotate,
нужно вызвать traflog:

traflog -i /var/log/var/trafd.ed0.Sep -n

Еще в пакете программ trafd, есть 2 команды, которые используются не очень часто: trafstat (показывает статистику, хранящуюся в оперативной памяти), команда trafdump (сохраняет данные из памяти во временном файле) и еще набор программ, с которыми можно познакомиться из документации к trafd.

3. Выводы

Итак, как видно, система trafd позволяет эффективно учитывать трафик и строить разнообразные отчеты. На основе результатов отчетов программы traflog с помощью достаточно простых скриптов отчеты можно отправлять по почте, переводить их в нужный формат, строить графики и т.п.

Основное преимущество trafd – законченность решения и простота использования. Решение готово к работе практически сразу: весь трафик сохраняется автоматически, имеется готовая система построения гибких отчетов. Строго говоря, администратору не нужно думать, как хранить информацию о трафике, как ее обрабатывать, как потом строить отчеты. Несомненно в этом смысле trafd очень удобная и продвинутая система.

Однако, применяя эту систему в сети с каналами большой пропускной способности и интенсивным трафиком, были замечены проблемы и ошибки в работе системы. Основной недостаток: переполняются счетчики в отчетах. При этом, traflog выдает отрицательный результат и теряется все мощность пакета (приходиться разбивать отчет по сделанным записям и суммировать трафик самостоятельно). Также trafd требует достаточно много памяти, занимет много процессорного времени и достаточно долго строит отчеты по трафику. Кроме того, на очень интенсивном трафике теряются пакеты. Надеюсь, что готовящаяся к выпуску версия 4.0 не будет обладать приведенными недостатками.

Поэтому рекомендуем trafd для администраторов небольших сетей (до 50
рабочих мест) с не очень интенсивным трафиком (менее 2 Гб в день). Система
очень хорошо показала себя как универсальное решение для учета трафика в мелких
и средних сетях. Автор статьи успешно применяет эту систему на серверах вывода
сетей в Интернет. В настоящее время реализовано более 10 таких проектов.

С гордостью можно сказать, что система trafd была сделана в России,
в Новосибирске. Но опять же, к сожалению, развивается она вяло и медленно.
В этой статье рассматривалась версия 3.0.1, а сейчас к выпуску готовится
4.0. Время покажет, как новая версия приспособлена к большим объемам информации.

4. Ссылки

  • Документация по trafd (файл /usr/local/share/doc/trafd/README)
  • Сайт по trafd 4: http://bpft4.sourceforge.net/
  • man trafshow

Автор: Дмитрий Новиков (dmn@nnz.ru)

Оформление и редактирование: Tavik

Просмотров новости: 3 211  <, >


-->