Где обрывается путь строки лога, если CrowdSec не банит
CrowdSec (обнаружение атак по журналам, open source под лицензией MIT) разбирает каждую строку лога по конвейеру: сперва формат, потом смысл сообщения, потом обогащение, и только в конце сценарии, которые считают события и выносят решение по адресу. Команда cscli explain печатает этот маршрут для одной строки целиком: через какие парсеры она прошла, какие поля создала, в какие сценарии попала.
Из маршрута видно то, чего не видно из cscli decisions list: где обрывается путь строки, если подбор пароля идёт, а решения по адресу нет. Разбирать это удобнее на отдельном экземпляре, который целиком лежит в одной папке и в систему ничего не ставит — в тарболе релиза для такого есть готовый скрипт. Из требований только Linux и права обычного пользователя.
Стенд из тарбола релиза
В архиве релиза рядом с бинарниками лежит test_env.sh — скрипт разработчиков для своих тестов. Он создаёт дерево каталогов в указанной папке, копирует туда crowdsec и cscli, генерирует dev.yaml, где все пути ведут внутрь этой же папки, регистрирует машину в локальном API и ставит коллекцию crowdsecurity/linux.
mkdir -p ~/cs-stand && cd ~/cs-stand
curl -sLO https://github.com/crowdsecurity/crowdsec/releases/download/v1.8.2/crowdsec-release.tgz
tar xzf crowdsec-release.tgz
cd crowdsec-v1.8.2
./test_env.sh -d ./tests
Версия 1.8.2 вышла 26 октября 2026 года, актуальный номер — на странице релизов. Скрипту нужен envsubst из пакета gettext-base, им он подставляет пути в конфиг. Последняя строка вывода — Environment is ready in .... Строкой выше cscli советует sudo systemctl reload crowdsec: подсказка рассчитана на обычную установку, службы в системе не появилось.
Места стенд занимает много: бинарники собраны статически, и test_env.sh копирует их в tests ещё раз. Ниже размер распакованной папки, без архива.
du -sh .
751M .
Боевому CrowdSec на той же машине стенд не помешает: порт локального API у них разный.
grep -n listen_uri tests/dev.yaml config/config.yaml
tests/dev.yaml:37: listen_uri: 127.0.0.1:8081
config/config.yaml:47: listen_uri: 127.0.0.1:8080
8081 у стенда, 8080 у обычной установки. config/config.yaml из тарбола при установке пакетом попадает в /etc/crowdsec — порт работающей установки проверяется там. База, конфиги и коллекции у стенда свои.
Без источника логов движок не стартует
Дальше всё происходит из папки tests. Движок, он же рабочий процесс crowdsec, на этом этапе не поднимается.
cd tests
./crowdsec -c dev.yaml
level=info msg="loading acquisition file : /home/user/cs-stand/crowdsec-v1.8.2/tests/config/acquis.yaml"
level=fatal msg="crowdsec init: while loading acquisition config: no datasource enabled"
acquis.yaml из тарбола состоит из одних комментариев, а без источника данных движок не запускается вовсе.
grep -c '^[^#]' config/acquis.yaml
0
Файл отвечает на два вопроса: какие файлы читать и каким набором парсеров их разбирать. На сервере его заполняет пакет или cscli setup, для стенда хватит учебного лога.
cat > config/acquis.yaml <<EOF
filenames:
- $PWD/auth.log
labels:
type: syslog
EOF
touch auth.log
labels.type выбирает ветку парсеров и встретится ещё раз аргументом cscli explain. Движок остаётся работать в этом окне до конца разбора, остальные команды идут во втором.
./crowdsec -c dev.yaml
level=info msg="CrowdSec Local API listening on 127.0.0.1:8081"
level=info msg="Loaded 9 scenarios"
level=info msg="Starting tail (offset: 0, whence: 2)" file=/home/user/cs-stand/crowdsec-v1.8.2/tests/auth.log module=acquisition.file type=file
whence: 2 в последней строке означает, что чтение началось с конца файла. Строки, дописанные в лог до запуска движка, в разбор не попадут, поэтому порядок здесь важен: сперва движок, потом лог. Останавливается движок по Ctrl+C в том же окне.
Куда идёт одна строка лога
auth.log пока пуст, но живого потока explain не требует: команда прогоняет переданную строку по тем же парсерам и сценариям через свой временный файл. Движок при этом должен работать: explain обращается к локальному API стенда. Флаг --crowdsec говорит, каким бинарником прогонять строку — в обычной установке он в $PATH, на стенде рядом. Команды идут во втором окне, служебные строки level=info в выводах опущены:
./cscli -c dev.yaml explain --crowdsec ./crowdsec --type syslog \
--log 'Oct 30 09:12:05 stand sshd[2400]: Failed password for root from 203.0.113.77 port 51000 ssh2'
line: Oct 30 09:12:05 stand sshd[2400]: Failed password for root from 203.0.113.77 port 51000 ssh2
├ s00-raw
| └ 🟢 crowdsecurity/syslog-logs (+12 ~9)
├ s01-parse
| └ 🟢 crowdsecurity/sshd-logs (+9 ~1)
├ s02-enrich
| ├ 🟢 crowdsecurity/dateparse-enrich (+2 ~2)
| ├ 🟢 crowdsecurity/geoip-enrich (+9)
| └ 🟢 crowdsecurity/public-dns-allowlist (unchanged)
├-------- parser success 🟢
├ Scenarios
├ 🟢 crowdsecurity/ssh-bf
├ 🟢 crowdsecurity/ssh-bf_user-enum
├ 🟢 crowdsecurity/ssh-slow-bf
├ 🟢 crowdsecurity/ssh-slow-bf_user-enum
├ 🟢 crowdsecurity/ssh-time-based-bf
└ 🟢 crowdsecurity/ssh-time-based-bf_user-enum
--type syslog играет здесь роль того самого labels.type из acquis.yaml: это заявление о формате, по которому выбирается ветка парсеров.
Маршрут читается сверху вниз. s00-raw — разбор формата syslog: syslog-logs вытащил отметку времени, имя хоста, имя программы и pid. s01-parse — разбор сообщения внутри: sshd-logs достал адрес, логин и способ входа. s02-enrich — обогащение: дата в машинный вид, страна и номер AS по базе GeoIP, проверка по списку публичных DNS-серверов. Ниже parser success и шесть сценариев: из девяти загруженных строке подошли шесть. Числа в скобках: +12 — сколько полей события парсер создал, ~9 — сколько изменил.
Сценарий ловит строку по одному полю
Флаг --verbose печатает, какие именно поля появились. Порядок строк внутри парсера от прогона к прогону меняется.
./cscli -c dev.yaml explain --crowdsec ./crowdsec --type syslog --verbose \
--log 'Oct 30 09:12:05 stand sshd[2400]: Failed password for root from 203.0.113.77 port 51000 ssh2'
├ s01-parse
| └ 🟢 crowdsecurity/sshd-logs (+9 ~1)
| └ update evt.Stage : s01-parse -> s02-enrich
| └ create evt.Parsed.sshd_auth_type : password
| └ create evt.Parsed.sshd_client_ip : 203.0.113.77
| └ create evt.Parsed.sshd_invalid_user : root
| └ create evt.Parsed.sshd_port : 51000
| └ create evt.Parsed.sshd_protocol : ssh2
| └ create evt.Meta.log_type : ssh_failed-auth
| └ create evt.Meta.service : ssh
| └ create evt.Meta.source_ip : 203.0.113.77
| └ create evt.Meta.target_user : root
Среди созданных полей есть evt.Meta.log_type со значением ssh_failed-auth. Им парсер помечает, что именно произошло, и ровно по этому полю сценарий отбирает события.
grep -nE 'type:|name:|filter:|capacity:|leakspeed:|groupby:|distinct:' config/scenarios/ssh-bf.yaml
2:type: leaky
3:name: crowdsecurity/ssh-bf
5:filter: "evt.Meta.log_type == 'ssh_failed-auth'"
6:leakspeed: "10s"
9:capacity: 5
10:groupby: evt.Meta.source_ip
24:type: leaky
25:name: crowdsecurity/ssh-bf_user-enum
27:filter: evt.Meta.log_type == 'ssh_failed-auth'
28:groupby: evt.Meta.source_ip
29:distinct: evt.Meta.target_user
30:leakspeed: 10s
31:capacity: 5
В одном файле два сценария, и фильтр у обоих — то самое поле. Парсер его не поставил — сценарий строки не увидит, и число попыток ничего не изменит: сцеплены они именно здесь. Группировка тоже идёт по полю из разбора, evt.Meta.source_ip, у второго сценария добавлено distinct: evt.Meta.target_user.
type: leaky — устройство счётчика, протекающее ведро. События наливаются в него, по одному вытекают каждые leakspeed (десять секунд), и когда внутри оказывается больше capacity (пяти), ведро переполняется и движок заводит алерт. Второй сценарий наливает в своё ведро не попытки, а разные логины с одного адреса.
Собираем шесть строк подбора
Строки про неудачный вход в /var/log/auth.log пишет sshd, когда кто-то перебирает пароли (по каким настройкам он работает, можно спросить у него самого). Ждать настоящего подбора незачем, а перебор со своего адреса закончится настоящим баном, поэтому строки того же формата пишутся вручную. auth.log в папке стенда учебный: содержимое придумано, формат взят у sshd. Генератор сохраняется как gen.py в папке tests, рядом с логом.
# gen.py - учебный лог: шесть попыток подбора пароля с одного адреса
import time
ts = time.strftime("%b %d %H:%M:%S")
ip = "203.0.113.77"
with open("auth.log", "a") as f:
for i, user in enumerate(["root", "admin", "postgres", "git", "test", "ubuntu"]):
f.write(f"{ts} stand sshd[{2400 + i}]: Failed password for {user} from {ip} port {51000 + i} ssh2\n")
Шесть строк, одна отметка времени, шесть разных логинов — шестая и переполняет ведро. Адрес 203.0.113.77 из диапазона 203.0.113.0/24, который RFC 5737 отводит под документацию: живому хосту он не принадлежит.
Первое решение по адресу
python3 gen.py
sleep 2
./cscli -c dev.yaml alerts list
./cscli -c dev.yaml decisions list
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+
| ID | value | reason | country | as | decisions | created_at | kind |
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+
| 2 | Ip:203.0.113.77 | crowdsecurity/ssh-bf_user-enum | | | ban:1 | 2026-10-30T09:12:27+03:00 | crowdsec |
| 1 | Ip:203.0.113.77 | crowdsecurity/ssh-bf | | | ban:1 | 2026-10-30T09:12:27+03:00 | crowdsec |
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+
+----+----------+-----------------+--------------------------------+--------+---------+----+--------+------------+----------+
| ID | Source | Scope:Value | Reason | Action | Country | AS | Events | expiration | Alert ID |
+----+----------+-----------------+--------------------------------+--------+---------+----+--------+------------+----------+
| 2 | crowdsec | Ip:203.0.113.77 | crowdsecurity/ssh-bf_user-enum | ban | | | 6 | 3h59m47s | 2 |
+----+----------+-----------------+--------------------------------+--------+---------+----+--------+------------+----------+
1 duplicated entries skipped
Два алерта, одно решение. Переполнились оба сценария: шесть попыток для ssh-bf и шесть разных логинов для ssh-bf_user-enum. Бан по одному адресу не дублируется, поэтому decisions list дописывает 1 duplicated entries skipped и показывает одно решение из двух. Какое именно, не закреплено.
За каким сценарием окажется первый номер, не закреплено: в этом прогоне ID 1 достался ssh-bf, в другом — ssh-bf_user-enum. Номер для команд ниже берётся из колонки reason своего вывода.
expiration 3h59m47s — это четыре часа минус секунды, прошедшие с момента решения. Сам срок задан вне сценария.
grep -A6 'name: default_ip_remediation' config/profiles.yaml | grep -vE '^\s*#'
name: default_ip_remediation
filters:
- Alert.Remediation == true && Alert.GetScope() == "Ip"
decisions:
- type: ban
duration: 4h
Профиль ловит любой алерт со scope Ip и требованием блокировки и выдаёт бан на четыре часа. Правится срок здесь же, в сценариях его нет.
За что вынесено решение, показывает alerts inspect с номером алерта. Ниже блок Context из его вывода:
./cscli -c dev.yaml alerts inspect 1
- Context :
+-------------+----------+
| Key | Value |
+-------------+----------+
| target_user | root |
| target_user | admin |
| target_user | postgres |
| target_user | git |
| target_user | test |
| target_user | ubuntu |
+-------------+----------+
В блоке Context шесть логинов, которые перебирали: root, admin, postgres, git, test, ubuntu. По такому списку видно, перебирали наугад или шли по существующим учёткам. Колонки country и as выше пустые из-за документационного адреса: в базе GeoIP этого диапазона нет.
Три исхода одной строки
Бан по адресу — верхняя ветка маршрута. Два других исхода explain показывает тем же выводом, третий лежит за его пределами.
Строка не разобрана
Строка nginx-формата, поданная как syslog. Так выглядит ошибка в labels.type:
./cscli -c dev.yaml explain --crowdsec ./crowdsec --type syslog \
--log '203.0.113.99 - - [30/Oct/2026:09:12:05 +0300] "GET /wp-login.php HTTP/1.1" 401 193 "-" "curl/8.5.0"'
line: 203.0.113.99 - - [30/Oct/2026:09:12:05 +0300] "GET /wp-login.php HTTP/1.1" 401 193 "-" "curl/8.5.0"
├ s00-raw
| ├ 🔴 crowdsecurity/syslog-logs
| └ 🔴 crowdsecurity/non-syslog
└-------- parser failure 🔴
Красные значки на обоих парсерах стадии s00-raw и parser failure вместо parser success. crowdsecurity/non-syslog — второй парсер той же стадии, для строк без syslog-шапки. Формат не признал ни один из двух, и до разбора сообщения строка не дошла.
Адрес попал в белый список
Та же строка подбора, но с адреса 8.8.8.8:
./cscli -c dev.yaml explain --crowdsec ./crowdsec --type syslog \
--log 'Oct 30 09:12:05 stand sshd[2400]: Failed password for root from 8.8.8.8 port 51000 ssh2'
line: Oct 30 09:12:05 stand sshd[2400]: Failed password for root from 8.8.8.8 port 51000 ssh2
├ s00-raw
| └ 🟢 crowdsecurity/syslog-logs (+12 ~9)
├ s01-parse
| └ 🟢 crowdsecurity/sshd-logs (+9 ~1)
├ s02-enrich
| ├ 🟢 crowdsecurity/dateparse-enrich (+2 ~2)
| ├ 🟢 crowdsecurity/geoip-enrich (+13)
| └ 🟢 crowdsecurity/public-dns-allowlist (~2 [whitelisted])
└-------- parser success, ignored by whitelist (public DNS server) 🟢
Конвейер пройден целиком, а блока со сценариями нет: public-dns-allowlist снял строку, и движок дописал причину. Откуда он взялся в стенде, видно по списку коллекций и постпроверок:
./cscli -c dev.yaml collections list -o raw
./cscli -c dev.yaml postoverflows list -o raw
name,status,version,description
crowdsecurity/linux,enabled,0.4,core linux support : syslog+geoip+ssh
crowdsecurity/sshd,enabled,0.9,sshd support : parser and brute-force detection
crowdsecurity/whitelist-good-actors,enabled,0.4,Good actors whitelists
name,status,version,description
crowdsecurity/cdn-whitelist,enabled,0.5,Whitelist CDN providers
crowdsecurity/google-special-crawlers-whitelist,enabled,0.1,"Whitelist events from Google special crawlers (e.g. Google-InspectionTool, GoogleOther)"
crowdsecurity/rdns,enabled,0.4,Lookup the DNS associated to the source IP only for overflows
crowdsecurity/seo-bots-whitelist,enabled,0.5,Whitelist good search engine crawlers
Коллекций три, и whitelist-good-actors пришла вместе с crowdsecurity/linux, которую поставил test_env.sh. Ниже — postoverflows, проверки для переполнений: три белых списка (CDN, поисковые роботы, специальные краулеры Google) и rdns, который по описанию делает обратный просмотр DNS only for overflows — отсюда и название стадии. Бан на адрес CDN отрезал бы от сервера собственных посетителей, а не атакующего. Цена — адрес из этих списков решения не получит, сколько бы попыток с него ни пришло.
У 8.8.8.8 geoip-enrich дал +13 против +9: для реального адреса база отдаёт больше полей.
Решение есть, блокировать некому
Третий исход лежит за пределами конвейера, explain до него не доходит.
./cscli -c dev.yaml bouncers list
------------------------------------------------------------------
Name IP Address Valid Last API pull Type Version Auth Type
------------------------------------------------------------------
------------------------------------------------------------------
Пусто. CrowdSec разбирает логи и выносит решения, но сам ничего не блокирует: решение лежит в базе, пока его не заберёт баунсер. Баунсер — отдельная программа, которая забирает решения из локального API и применяет их: firewall-баунсер кладёт адрес в nftables или iptables, баунсер для nginx отдаёт таким адресам страницу с отказом. Без баунсера подбор продолжится, хотя бан в базе есть. У fail2ban такого разделения нет: он сам читает лог и сам правит фаервол.
Читаем таблицу acquisition
Все три исхода попадают в один вывод, и на обычной установке он тот же. Чтобы в таблице оказались все, в лог дописываются ещё семь строк: шесть попыток с адреса из белого списка и одна чужого формата.
# gen2.py - ещё семь строк: шесть с адреса из белого списка и одна чужого формата
import time
ts = time.strftime("%b %d %H:%M:%S")
with open("auth.log", "a") as f:
for i, user in enumerate(["root", "admin", "oracle", "git", "test", "ubuntu"]):
f.write(f"{ts} stand sshd[{2500 + i}]: Failed password for {user} from 8.8.8.8 port {52000 + i} ssh2\n")
f.write('203.0.113.99 - - [30/Oct/2026:09:12:05 +0300] "GET /wp-login.php HTTP/1.1" 401 193 "-" "curl/8.5.0"\n')
python3 gen2.py
sleep 2
./cscli -c dev.yaml alerts list
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+
| ID | value | reason | country | as | decisions | created_at | kind |
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+
| 2 | Ip:203.0.113.77 | crowdsecurity/ssh-bf_user-enum | | | ban:1 | 2026-10-30T09:12:27+03:00 | crowdsec |
| 1 | Ip:203.0.113.77 | crowdsecurity/ssh-bf | | | ban:1 | 2026-10-30T09:12:27+03:00 | crowdsec |
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+
Алерты прежние, оба по 203.0.113.77: с 8.8.8.8 попыток пришло столько же, а ни один сценарий не сработал. Таблица метрик показывает, что стало с каждой из тринадцати строк.
./cscli -c dev.yaml metrics show acquisition
+---------------------------------------------------------------------------------------------------------------------------------------------------+
| Acquisition Metrics |
+---------------------------------------------------------+------------+--------------+----------------+------------------------+-------------------+
| Source | Lines read | Lines parsed | Lines unparsed | Lines poured to bucket | Lines whitelisted |
+---------------------------------------------------------+------------+--------------+----------------+------------------------+-------------------+
| file:/home/user/cs-stand/crowdsec-v1.8.2/tests/auth.log | 13 | 12 | 1 | 36 | 6 |
+---------------------------------------------------------+------------+--------------+----------------+------------------------+-------------------+
Lines read 13 — источник читается. Lines parsed 12 — двенадцать строк разобраны до полей. Lines unparsed 1 — строка nginx-формата не подошла ни одному парсеру. Lines whitelisted 6 — шесть сняты белым списком. До сценариев добрались шесть оставшихся, и Lines poured to bucket 36 — это они же, умноженные на шесть подошедших сценариев из вывода explain.
Отсюда порядок разбора на боевом сервере, когда подбор идёт, а решений нет.
| Что в таблице | Где обрыв | Что проверять |
|---|---|---|
Lines read ноль | источник не читается | путь в acquis.yaml, права на файл |
Lines unparsed равно Lines read | формат не признан | labels.type, поставлена ли коллекция под этот формат |
Lines whitelisted растёт | адрес снят белым списком | cscli explain на строке с этим адресом |
Lines poured to bucket растёт, алертов нет | ведро не переполнилось | capacity и leakspeed сценария |
| решения есть, блокировки нет | решение никто не забирает | cscli bouncers list |
Снимаем бан и сносим стенд
Решение снимается по адресу — так же снимается и бан с собственного адреса:
./cscli -c dev.yaml decisions delete --ip 203.0.113.77
level=info msg="2 decision(s) deleted"
Удалились оба решения, и от ssh-bf, и от ssh-bf_user-enum. decisions list после этого отвечает No active decisions.
Стенд сносится целиком: движок останавливается по Ctrl+C в своём окне, папка удаляется.
rm -rf ~/cs-stand
Ни службы, ни конфигов в /etc, ни базы в системе не остаётся — всё лежало внутри папки.
Короткие разборы и практика, которые до статьи не дорастают, лежат в канале @azbukait_ru.