да, только не просто повторений конечно, а того, что выдал фильтр grep-a

а точнее: сколько раз с какого айпи запрашивали топик 588 или топик 513

а ещё вот это подскажите как это работает?

cat block1.txt block2.txt block3.txt | awk '{print $2}' | awk -F \. '{print $1 "." $2 ".0.0/16" }' | sort | uniq -c | sort -gr | head -n 300 > ./block_net.txt

почему именно 300 строка (head -n 300)

iDrum, не трехсотую, а первых 300

FreeBSD сакс, особенно с ipfw

в линуксе под это дело есть ipset

iDrum написал(а):

в iptables больше 1500 правил на запихнёшь

Диман, тебе не кажется, что надо пересматривать в таком случае методику настройки файера, когда их становиться 1500?

я вот аналогично мучался с почтовиком
приходит 20-50 писем (соединений) в секунду, ну ессно 99.99% спам
постфикс уходит в аут, невозможно приконнектиться к серверу, все потоки заняты обработкой спама
увеличил лимит соединений со дефолтных 100 до 300
не помогает, забивается за 5-10 сек в полку

уменьшил таймауты (с дефолтных кажется 60 сек поставил 5 сек)
не помогает
хард-еррор-лимит поставил 1 шт (т.е. если ошибка в синтаксисе smtp-команд - сразу соединение рвется) Еще был такой прикол, спамбот пишет несколько "rcpt to", и в итогде для каждого запускается smtpd, так вот если ерр-лимит=1 то на первый же ошибке выкинут.
Запретил команду REST
не помогает все еще
Естественно стоит проверка helo, hostname машин, с которых соединения идут.

Начал мутить с файрволом, чтобы вообще убрать нагрузку с постфикса, ибо как его тюнить еще - не знаю.

1. модуль -m recent Не позволяю больше 2 соединений в минуту с одного айпи. Нормальная почта обычно так часто не приходит, ну на крайняк придет ретрейном.
мало, двинулся дальше

2. анализатор логов, смотрит если письма были реджекнуты, то айпишник отправителя на час заносится в SET iphash, раз в час хэш чистится
в час в хэш сет запрыгивает 1.5-2 тысячи айпи адресов

3. было замечено, что в сети какая-то эпидемия вирусов похоже, в общем бот-сеть шлет письма с одинаковыми ehlo
прикрутил модуль -m string , который ресетит ТСР-сесии в которых это ehlo встречается

итого сейчас количество процессов smtp плавает от 20 до 150, то есть запас немного есть. Но блин чем тюнить еще я как-то теряюсь в догадках.

Пацаны, а сколько вы зарабатываете? Больше 30 каждый?

TomSafe написал(а):

Пацаны, а сколько вы зарабатываете? Больше 30 каждый?

настоящий админ работает за еду и за возможность поковыряться с разными железками и софтом

И не знал, что так в этим делом все печально(((

Укроп написал(а):

Max написал(а):

приходит 20-50 писем (соединений) в секунду, ну ессно 99.99% спам
постфикс уходит в аут, невозможно приконнектиться к серверу, все потоки заняты обработкой спама
увеличил лимит соединений со дефолтных 100 до 300
не помогает, забивается за 5-10 сек в полку

postgrey или sqlgrey в помощь, вообще грейлистинг это здорово.
ну и какойнить amavis в добавок

Это не я бляяя...

otaku написал(а):

ненавижу всех кто их использует, когда надо важное письмо получить сидишь как идиот и ждешь погоды с моря

и конечно же имеются все необходимые SPF записи для домена? на самом деле ты несешь пургу, т.к. чаще всего делают задержку всего в 15 секунд... правильно настроенный почтовик делает первый повтор через 1-5 минут... хоть какая важная почта придет без особых задержек... мало того тебе никто не мешает добавить часть адресов в белый список, который не будет попадать в проверки грей-листинга... а то, что грейлистинг режет более 90% спама - это факт... а то может и еще больше...

Укроп написал(а):

postgrey или sqlgrey в помощь, вообще грейлистинг это здорово.

да с отсевом спама как бы без проблем справляется конструкция, суть не в этом.
Спама идет настолько много (до полсотни-сотни соединений в секунду), что получается что-то типа DDoS-атаки, то есть сервак просто не успевает открывать соединения, плодит процессы, и упирается в потолок. Если еще грэйлистинг туда повесить, то вообще в аут уйдет.
99% спама вообще проверка на опенрэлей, то есть даже грэйлистинг не нужен на этом уровне, соединение сбрасывается уже при mail from/rcpt to. А то даже еще на ehlo.
через проверку ehlo+ пары mail from/rcpt to проходит совсем небольшой процент писем, и там уже пляски с грэйлистингом уместны. Но я обхожусь yandex spamoborona 1024. У меня вроде пока не приходит более 1024 валидных письма в сутки, так что проблем не возникает.

  написал(а):

iDrum, я бы подумал в сторону nginx_geo_ip. большая часть ботнетов в азии, ну и если сайт в доменной зоне ру, с контентом на русском - поставить на месяц-другой, настроив исключения для ботов гугла.

Зато все кто пользуется не русским почтовиком соснет что ли? я бы вам предложил отрубить себе голову ^_^

  написал(а):

большая часть ботнетов в азии, ну и если сайт в доменной зоне ру, с контентом на русском - поставить на месяц-другой, настроив исключения для ботов гугла.

сейчас многие бизнес-мэны не тратят свое бабло непонятно-на-что и вкладывают свое время в гугл... т.е. используют его сервисы... и Ваше предложение ничего не стоит...