The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Построение системы учета трафика с хранением результатов в БД (statistic freebsd ipfw traffic )


<< Предыдущая ИНДЕКС Поиск в статьях src Установить закладку Перейти на закладку Следующая >>
Ключевые слова: statistic, freebsd, ipfw, traffic,  (найти похожие документы)
From: Дмитрий Лутай <dimoon_lda@ukr.net.> Newsgroups: http://dimoon.kiev.ua Date: Mon, 20 Sep 2004 18:21:07 +0000 (UTC) Subject: Построение системы учета трафика с хранением результатов в БД Оригинал: http://dimoon.kiev.ua/modules.php?name=News&file=article&sid=15&mode=thread&order=0&thold=0 Построение системы учета трафика с хранением результатов в базе данных После установки и настройки файервола, естественной задачей является подсчет трафика, проходящего через него. Задача Поствалена задача осуществить подсчёт траффика проходящего через FIREWALL на базе FreeBSD, не применяя коммерческих средств учета трафика. Необходимые инструменты Для ведения статистики по трафику понадобятся следующие инструменты: - SQL-сервер. Для хранения собранной информации. В принципе подойдет любой. В нашем примере это FireBird. - Рабочая станция, на которой работает PHP, команда sh, и программа которая умеет запускать процессы по расписанию. Для этих целей идеально подходит любой UNIX-сервер. В качестве файервола используется сервер под управлением FreeBSD 4.6 . Решение Поставим конкретную задачу: дана локальная сеть 192.168.5.0/24, подключенная к Интернет через файервол на базе FreeBSD 4.6. Необходимо представить отчет по траффику в Интернет каждой рабочей станции локальной сети. Firewall - это система, управляющая прохождением пакетов данных через систему на основе заданных администратором правил и информации, содержащейся в заголовках пакетов. Обычное использование firewall - запрещение прохождения нежелательных пакетов, или закрытие части сервисов локальной сети от внешнего мира. В системе FreeBSD firewall - это мощный инструмент управления сетью, позволяющий, например, подсчитывать трафик по любым разумным правилам, основывающимся на данных заголовков пакетов протоколов стека TCP/IP, обрабатывать пакеты внешними программами, прятать за одним компьютером целую сеть и т.п. Правило с помощью которого можно подсчитать все пакеты для данного IP-адреса выглядит так: count all from any to ip_адрес Что-бы добавить это правило в скрипт правил файервола нужно написать так: ipfw add номер_правила count all from any to ip_адрес Это для одного IP, а если их у нас 255? Тогда запустим эту процедуру через цикл: ipfw='/sbin/ipfw -q' i=470 ip=1 while [ $i -le 725 ] do ${ipfw} add $i count all from any to 192.168.5.$ip ip=`echo "$ip+1" | bc` i=`echo "$i+1" | bc` done В этом скрипте i - номер правила(начальный, например 470); ip - начальный ip-адрес; В результате получим правило типа ipfw add номер_правила count all from any to ip_адрес, для каждого ip-адреса нашей сети. Файервол будет делать свою работу и считать нам все байты для каждого ip. Посмотреть состояние каждого счётчика можно командой ipfw show номер_правила. А очистить счётчик можно командой ipfw zero номер_правила. На этих простых командах и построена работа системы. Хранить информацию по каждому ip будем в БД под управлением FireBird. База имеет только одну таблицу. Структура таблицы: /* Table: LOGCOUNTER */ CREATE TABLE LOGCOUNTER ( LOGCOUNTERID INTEGER NOT NULL, TIMELOG DATE, IPADRESS VARCHAR (15), RULENUM INTEGER, COUNTPAKETS INTEGER, COUNTBYTES INTEGER ); В систему входят следующие скрипты: save_db.php - Скрипт для получения статистики с файервола и помещения в базу данных. config.php - конфигурационный файл. create_tar - скрипт для архивирования логов. Рассмотрим работу этих скриптов более подробно: config.php $dbname = "/path/to/database"; $dbuser = "login"; $dbpass = "passwd"; $ipfw='/sbin/ipfw '; $i_per=470; $ip_per=1; $i_kon=724; $file_log='/usr/local/ipfw_counter/logs/firewall_count.txt'; $path_logs='/usr/local/ipfw_counter/logs'; $my_date='$(date +%Y-%m-%d-%H-%M-%S)'; ?> где, $dbname - название БД, с полным путём к ней; $dbuser - логин для подключения к БД; $dbpass - пароль для подключения к БД; $i_per - номер первого правила; $ip_per - номер первого ip; $i_kon - номер последнего правила; $file_log - путь к временному файлу лога; $path_logs - путь к каталогу, где будут храниться логи; save_db.php include('config.php'); //Запись значения счётчиков в временный файл $i=$i_per; $st=""; while ($i<=$i_kon) { $st=$st.' '.$i; $i++; } exec($ipfw.' show '.$st.' > '.$file_log); //очистка счётчиков $i=$i_per; while ($i<=$i_kon) { exec($ipfw.' zero '.$i); $i++; } //Подключение к БД $conn=ibase_connect($dbname,$dbuser,$dbpass); //Чтение и обработка фременного файла логов if (file_exists($file_log)<>0) { $ftext=file($file_log); for ($i=0;$i<=(count($ftext)-1);++$i){ $strTmp = trim($ftext[$i]); $len = strcspn($strTmp, " "); $RuleNum = substr($strTmp,0,$len); $strTmp = trim(substr_replace($strTmp, " ", 0, $len)); $len = strcspn($strTmp, " "); $CountPakets = substr($strTmp,0,$len); $strTmp = trim(substr_replace($strTmp, " ", 0, $len)); $len = strcspn($strTmp, " "); $CountBytes = substr($strTmp,0,$len); $strTmp = trim(substr_replace($strTmp, " ", 0, $len)); $arrTmp = explode(" ", $strTmp); $IPAdress = $arrTmp[5]; $TimeLog = date; //Вставка значений счётчиков в БД $sqlExpr="INSERT INTO LOGCOUNTER (IPADRESS,RULENUM,COUNTPAKETS,COUNTBYTES,TIMELOG)"; $sqlExpr.="VALUES ('$IPAdress','$RuleNum','$CountPakets','$CountBytes', 'NOW')"; $SRSet=ibase_query($conn,$sqlExpr); } } /* Перемещение файла лога в папку для логов, и переименование его в */ /* файл типа $my_date.firewall_count.txt, где переменная $my_date */ /* принимает значение текущей даты в формате YYYY-MM-DD-HH-MM-SS */ exec('/bin/mv '.$path_logs.'/firewall_count.txt '.$path_logs.'/'.$my_date.'.firewall_count.txt') ?> Запускать этот скрипт будем с помощью механизма периодического запуска процессов "cron". Итак, чтобы снимать статистику каждый час в файле /etc/crontab следует прописать такую строчку: 0 */1 * * * root /usr/local/bin/php /usr/local/ipfw_counter/save_db.php В результате в базу будет вставлятся информация о состоянии каждого счётчика и ещё эта иформация будет пересохранятся в логах. Получение данных из базы и подсчёт траффика. Программы выборки трафика могут быть самыми различными. По сути, нужно правильно сформировать запрос в базу и обработать полученные данные. Запрос к базе следующего вида select SUM(SIZEBYTES) SIZEBYTES, Upper(IPADRESS) from LOGFREEBSD Where ((DATELOG>='25.10.2004 00:00:00') And(DATELOG<'29.10.2004 00:00:00')) group by IPADRESS order by IPADRESS в результате выдаст нам статистику по ip-адресам за период с 25.10.2004 по 28.10.2004 в таком виде: SIZE BYTES UPPER 12 382 859 192.168.5.112 147 576 192.168.5.116 3 572 654 192.168.5.122 3 604 192.168.5.126 1 482 758 192.168.5.155 887 067 192.168.5.248 296 070 192.168.5.249 1 610 589 192.168.5.47 1 654 237 192.168.5.49 85 750 192.168.5.57 8 548 203 192.168.5.71 64 445 192.168.5.74 176 206 192.168.5.75 1 802 192.168.5.77 create_tar #!/bin/sh PATH_LOGS="/usr/local/ipfw_counter/logs/" MY_DATE=$(date +%Y-%m-%d) cd ${PATH_LOGS} tar --create ${MY_DATE}*.* --file=log.backup/${MY_DATE}.tar rm ${MY_DATE}*.txt Этот скрипт архивирует логи которые скапливаются в каталоге для логов. Его можно запускать с помощью "cron" в конце каждого дня. 59 23 * * * root /usr/local/ipfw_counter/create_tar Вот по сути и всё. Система очень проста в установке, нужно просто скачать архив скриптов [20]здесь и разархивировать его в каталог /usr/local или любой другой но для этого придется поменять пути для хранения лог-файлов. Дмитрий Лутай. Октябрь 2004, Украина. <dimoon_lda@ukr.net.> <http://dimoon.kiev.ua>;

<< Предыдущая ИНДЕКС Поиск в статьях src Установить закладку Перейти на закладку Следующая >>

 Добавить комментарий
Имя:
E-Mail:
Заголовок:
Текст:




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру