К содержимому

← Блог

30.10.2026 · обновлено 04.11.2026 · сделай сам · 4 просмотра

Где обрывается путь строки лога, если CrowdSec не банит

CrowdSec (обнаружение атак по журналам, open source под лицензией MIT) разбирает каждую строку лога по конвейеру: сперва формат, потом смысл сообщения, потом обогащение, и только в конце сценарии, которые считают события и выносят решение по адресу. Команда cscli explain печатает этот маршрут для одной строки целиком: через какие парсеры она прошла, какие поля создала, в какие сценарии попала.

Из маршрута видно то, чего не видно из cscli decisions list: где обрывается путь строки, если подбор пароля идёт, а решения по адресу нет. Разбирать это удобнее на отдельном экземпляре, который целиком лежит в одной папке и в систему ничего не ставит — в тарболе релиза для такого есть готовый скрипт. Из требований только Linux и права обычного пользователя.

Стенд из тарбола релиза

В архиве релиза рядом с бинарниками лежит test_env.sh — скрипт разработчиков для своих тестов. Он создаёт дерево каталогов в указанной папке, копирует туда crowdsec и cscli, генерирует dev.yaml, где все пути ведут внутрь этой же папки, регистрирует машину в локальном API и ставит коллекцию crowdsecurity/linux.

mkdir -p ~/cs-stand && cd ~/cs-stand
curl -sLO https://github.com/crowdsecurity/crowdsec/releases/download/v1.8.2/crowdsec-release.tgz
tar xzf crowdsec-release.tgz
cd crowdsec-v1.8.2
./test_env.sh -d ./tests

Версия 1.8.2 вышла 26 октября 2026 года, актуальный номер — на странице релизов. Скрипту нужен envsubst из пакета gettext-base, им он подставляет пути в конфиг. Последняя строка вывода — Environment is ready in .... Строкой выше cscli советует sudo systemctl reload crowdsec: подсказка рассчитана на обычную установку, службы в системе не появилось.

Места стенд занимает много: бинарники собраны статически, и test_env.sh копирует их в tests ещё раз. Ниже размер распакованной папки, без архива.

du -sh .
751M	.

Боевому CrowdSec на той же машине стенд не помешает: порт локального API у них разный.

grep -n listen_uri tests/dev.yaml config/config.yaml
tests/dev.yaml:37:    listen_uri: 127.0.0.1:8081
config/config.yaml:47:    listen_uri: 127.0.0.1:8080

8081 у стенда, 8080 у обычной установки. config/config.yaml из тарбола при установке пакетом попадает в /etc/crowdsec — порт работающей установки проверяется там. База, конфиги и коллекции у стенда свои.

Без источника логов движок не стартует

Дальше всё происходит из папки tests. Движок, он же рабочий процесс crowdsec, на этом этапе не поднимается.

cd tests
./crowdsec -c dev.yaml
level=info msg="loading acquisition file : /home/user/cs-stand/crowdsec-v1.8.2/tests/config/acquis.yaml"
level=fatal msg="crowdsec init: while loading acquisition config: no datasource enabled"

acquis.yaml из тарбола состоит из одних комментариев, а без источника данных движок не запускается вовсе.

grep -c '^[^#]' config/acquis.yaml
0

Файл отвечает на два вопроса: какие файлы читать и каким набором парсеров их разбирать. На сервере его заполняет пакет или cscli setup, для стенда хватит учебного лога.

cat > config/acquis.yaml <<EOF
filenames:
  - $PWD/auth.log
labels:
  type: syslog
EOF
touch auth.log

labels.type выбирает ветку парсеров и встретится ещё раз аргументом cscli explain. Движок остаётся работать в этом окне до конца разбора, остальные команды идут во втором.

./crowdsec -c dev.yaml
level=info msg="CrowdSec Local API listening on 127.0.0.1:8081"
level=info msg="Loaded 9 scenarios"
level=info msg="Starting tail (offset: 0, whence: 2)" file=/home/user/cs-stand/crowdsec-v1.8.2/tests/auth.log module=acquisition.file type=file

whence: 2 в последней строке означает, что чтение началось с конца файла. Строки, дописанные в лог до запуска движка, в разбор не попадут, поэтому порядок здесь важен: сперва движок, потом лог. Останавливается движок по Ctrl+C в том же окне.

Куда идёт одна строка лога

auth.log пока пуст, но живого потока explain не требует: команда прогоняет переданную строку по тем же парсерам и сценариям через свой временный файл. Движок при этом должен работать: explain обращается к локальному API стенда. Флаг --crowdsec говорит, каким бинарником прогонять строку — в обычной установке он в $PATH, на стенде рядом. Команды идут во втором окне, служебные строки level=info в выводах опущены:

./cscli -c dev.yaml explain --crowdsec ./crowdsec --type syslog \
  --log 'Oct 30 09:12:05 stand sshd[2400]: Failed password for root from 203.0.113.77 port 51000 ssh2'
line: Oct 30 09:12:05 stand sshd[2400]: Failed password for root from 203.0.113.77 port 51000 ssh2
	├ s00-raw
	|	└ 🟢 crowdsecurity/syslog-logs (+12 ~9)
	├ s01-parse
	|	└ 🟢 crowdsecurity/sshd-logs (+9 ~1)
	├ s02-enrich
	|	├ 🟢 crowdsecurity/dateparse-enrich (+2 ~2)
	|	├ 🟢 crowdsecurity/geoip-enrich (+9)
	|	└ 🟢 crowdsecurity/public-dns-allowlist (unchanged)
	├-------- parser success 🟢
	├ Scenarios
		├ 🟢 crowdsecurity/ssh-bf
		├ 🟢 crowdsecurity/ssh-bf_user-enum
		├ 🟢 crowdsecurity/ssh-slow-bf
		├ 🟢 crowdsecurity/ssh-slow-bf_user-enum
		├ 🟢 crowdsecurity/ssh-time-based-bf
		└ 🟢 crowdsecurity/ssh-time-based-bf_user-enum

--type syslog играет здесь роль того самого labels.type из acquis.yaml: это заявление о формате, по которому выбирается ветка парсеров.

Маршрут читается сверху вниз. s00-raw — разбор формата syslog: syslog-logs вытащил отметку времени, имя хоста, имя программы и pid. s01-parse — разбор сообщения внутри: sshd-logs достал адрес, логин и способ входа. s02-enrich — обогащение: дата в машинный вид, страна и номер AS по базе GeoIP, проверка по списку публичных DNS-серверов. Ниже parser success и шесть сценариев: из девяти загруженных строке подошли шесть. Числа в скобках: +12 — сколько полей события парсер создал, ~9 — сколько изменил.

Сценарий ловит строку по одному полю

Флаг --verbose печатает, какие именно поля появились. Порядок строк внутри парсера от прогона к прогону меняется.

./cscli -c dev.yaml explain --crowdsec ./crowdsec --type syslog --verbose \
  --log 'Oct 30 09:12:05 stand sshd[2400]: Failed password for root from 203.0.113.77 port 51000 ssh2'
	├ s01-parse
	|	└ 🟢 crowdsecurity/sshd-logs (+9 ~1)
	|		└ update evt.Stage : s01-parse -> s02-enrich
	|		└ create evt.Parsed.sshd_auth_type : password
	|		└ create evt.Parsed.sshd_client_ip : 203.0.113.77
	|		└ create evt.Parsed.sshd_invalid_user : root
	|		└ create evt.Parsed.sshd_port : 51000
	|		└ create evt.Parsed.sshd_protocol : ssh2
	|		└ create evt.Meta.log_type : ssh_failed-auth
	|		└ create evt.Meta.service : ssh
	|		└ create evt.Meta.source_ip : 203.0.113.77
	|		└ create evt.Meta.target_user : root

Среди созданных полей есть evt.Meta.log_type со значением ssh_failed-auth. Им парсер помечает, что именно произошло, и ровно по этому полю сценарий отбирает события.

grep -nE 'type:|name:|filter:|capacity:|leakspeed:|groupby:|distinct:' config/scenarios/ssh-bf.yaml
2:type: leaky
3:name: crowdsecurity/ssh-bf
5:filter: "evt.Meta.log_type == 'ssh_failed-auth'"
6:leakspeed: "10s"
9:capacity: 5
10:groupby: evt.Meta.source_ip
24:type: leaky
25:name: crowdsecurity/ssh-bf_user-enum
27:filter: evt.Meta.log_type == 'ssh_failed-auth'
28:groupby: evt.Meta.source_ip
29:distinct: evt.Meta.target_user
30:leakspeed: 10s
31:capacity: 5

В одном файле два сценария, и фильтр у обоих — то самое поле. Парсер его не поставил — сценарий строки не увидит, и число попыток ничего не изменит: сцеплены они именно здесь. Группировка тоже идёт по полю из разбора, evt.Meta.source_ip, у второго сценария добавлено distinct: evt.Meta.target_user.

type: leaky — устройство счётчика, протекающее ведро. События наливаются в него, по одному вытекают каждые leakspeed (десять секунд), и когда внутри оказывается больше capacity (пяти), ведро переполняется и движок заводит алерт. Второй сценарий наливает в своё ведро не попытки, а разные логины с одного адреса.

Собираем шесть строк подбора

Строки про неудачный вход в /var/log/auth.log пишет sshd, когда кто-то перебирает пароли (по каким настройкам он работает, можно спросить у него самого). Ждать настоящего подбора незачем, а перебор со своего адреса закончится настоящим баном, поэтому строки того же формата пишутся вручную. auth.log в папке стенда учебный: содержимое придумано, формат взят у sshd. Генератор сохраняется как gen.py в папке tests, рядом с логом.

# gen.py - учебный лог: шесть попыток подбора пароля с одного адреса
import time

ts = time.strftime("%b %d %H:%M:%S")
ip = "203.0.113.77"

with open("auth.log", "a") as f:
    for i, user in enumerate(["root", "admin", "postgres", "git", "test", "ubuntu"]):
        f.write(f"{ts} stand sshd[{2400 + i}]: Failed password for {user} from {ip} port {51000 + i} ssh2\n")

Шесть строк, одна отметка времени, шесть разных логинов — шестая и переполняет ведро. Адрес 203.0.113.77 из диапазона 203.0.113.0/24, который RFC 5737 отводит под документацию: живому хосту он не принадлежит.

Первое решение по адресу

python3 gen.py
sleep 2
./cscli -c dev.yaml alerts list
./cscli -c dev.yaml decisions list
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+
| ID |      value      |             reason             | country | as | decisions |         created_at        |   kind   |
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+
| 2  | Ip:203.0.113.77 | crowdsecurity/ssh-bf_user-enum |         |    | ban:1     | 2026-10-30T09:12:27+03:00 | crowdsec |
| 1  | Ip:203.0.113.77 | crowdsecurity/ssh-bf           |         |    | ban:1     | 2026-10-30T09:12:27+03:00 | crowdsec |
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+

+----+----------+-----------------+--------------------------------+--------+---------+----+--------+------------+----------+
| ID |  Source  |   Scope:Value   |             Reason             | Action | Country | AS | Events | expiration | Alert ID |
+----+----------+-----------------+--------------------------------+--------+---------+----+--------+------------+----------+
| 2  | crowdsec | Ip:203.0.113.77 | crowdsecurity/ssh-bf_user-enum | ban    |         |    | 6      | 3h59m47s   | 2        |
+----+----------+-----------------+--------------------------------+--------+---------+----+--------+------------+----------+
1 duplicated entries skipped

Два алерта, одно решение. Переполнились оба сценария: шесть попыток для ssh-bf и шесть разных логинов для ssh-bf_user-enum. Бан по одному адресу не дублируется, поэтому decisions list дописывает 1 duplicated entries skipped и показывает одно решение из двух. Какое именно, не закреплено.

За каким сценарием окажется первый номер, не закреплено: в этом прогоне ID 1 достался ssh-bf, в другом — ssh-bf_user-enum. Номер для команд ниже берётся из колонки reason своего вывода.

expiration 3h59m47s — это четыре часа минус секунды, прошедшие с момента решения. Сам срок задан вне сценария.

grep -A6 'name: default_ip_remediation' config/profiles.yaml | grep -vE '^\s*#'
name: default_ip_remediation
filters:
 - Alert.Remediation == true && Alert.GetScope() == "Ip"
decisions:
 - type: ban
   duration: 4h

Профиль ловит любой алерт со scope Ip и требованием блокировки и выдаёт бан на четыре часа. Правится срок здесь же, в сценариях его нет.

За что вынесено решение, показывает alerts inspect с номером алерта. Ниже блок Context из его вывода:

./cscli -c dev.yaml alerts inspect 1
 - Context  :
+-------------+----------+
|     Key     |   Value  |
+-------------+----------+
| target_user | root     |
| target_user | admin    |
| target_user | postgres |
| target_user | git      |
| target_user | test     |
| target_user | ubuntu   |
+-------------+----------+

В блоке Context шесть логинов, которые перебирали: root, admin, postgres, git, test, ubuntu. По такому списку видно, перебирали наугад или шли по существующим учёткам. Колонки country и as выше пустые из-за документационного адреса: в базе GeoIP этого диапазона нет.

Три исхода одной строки

Бан по адресу — верхняя ветка маршрута. Два других исхода explain показывает тем же выводом, третий лежит за его пределами.

Строка не разобрана

Строка nginx-формата, поданная как syslog. Так выглядит ошибка в labels.type:

./cscli -c dev.yaml explain --crowdsec ./crowdsec --type syslog \
  --log '203.0.113.99 - - [30/Oct/2026:09:12:05 +0300] "GET /wp-login.php HTTP/1.1" 401 193 "-" "curl/8.5.0"'
line: 203.0.113.99 - - [30/Oct/2026:09:12:05 +0300] "GET /wp-login.php HTTP/1.1" 401 193 "-" "curl/8.5.0"
	├ s00-raw
	|	├ 🔴 crowdsecurity/syslog-logs
	|	└ 🔴 crowdsecurity/non-syslog
	└-------- parser failure 🔴

Красные значки на обоих парсерах стадии s00-raw и parser failure вместо parser success. crowdsecurity/non-syslog — второй парсер той же стадии, для строк без syslog-шапки. Формат не признал ни один из двух, и до разбора сообщения строка не дошла.

Адрес попал в белый список

Та же строка подбора, но с адреса 8.8.8.8:

./cscli -c dev.yaml explain --crowdsec ./crowdsec --type syslog \
  --log 'Oct 30 09:12:05 stand sshd[2400]: Failed password for root from 8.8.8.8 port 51000 ssh2'
line: Oct 30 09:12:05 stand sshd[2400]: Failed password for root from 8.8.8.8 port 51000 ssh2
	├ s00-raw
	|	└ 🟢 crowdsecurity/syslog-logs (+12 ~9)
	├ s01-parse
	|	└ 🟢 crowdsecurity/sshd-logs (+9 ~1)
	├ s02-enrich
	|	├ 🟢 crowdsecurity/dateparse-enrich (+2 ~2)
	|	├ 🟢 crowdsecurity/geoip-enrich (+13)
	|	└ 🟢 crowdsecurity/public-dns-allowlist (~2 [whitelisted])
	└-------- parser success, ignored by whitelist (public DNS server) 🟢

Конвейер пройден целиком, а блока со сценариями нет: public-dns-allowlist снял строку, и движок дописал причину. Откуда он взялся в стенде, видно по списку коллекций и постпроверок:

./cscli -c dev.yaml collections list -o raw
./cscli -c dev.yaml postoverflows list -o raw
name,status,version,description
crowdsecurity/linux,enabled,0.4,core linux support : syslog+geoip+ssh
crowdsecurity/sshd,enabled,0.9,sshd support : parser and brute-force detection
crowdsecurity/whitelist-good-actors,enabled,0.4,Good actors whitelists

name,status,version,description
crowdsecurity/cdn-whitelist,enabled,0.5,Whitelist CDN providers
crowdsecurity/google-special-crawlers-whitelist,enabled,0.1,"Whitelist events from Google special crawlers (e.g. Google-InspectionTool, GoogleOther)"
crowdsecurity/rdns,enabled,0.4,Lookup the DNS associated to the source IP only for overflows
crowdsecurity/seo-bots-whitelist,enabled,0.5,Whitelist good search engine crawlers

Коллекций три, и whitelist-good-actors пришла вместе с crowdsecurity/linux, которую поставил test_env.sh. Ниже — postoverflows, проверки для переполнений: три белых списка (CDN, поисковые роботы, специальные краулеры Google) и rdns, который по описанию делает обратный просмотр DNS only for overflows — отсюда и название стадии. Бан на адрес CDN отрезал бы от сервера собственных посетителей, а не атакующего. Цена — адрес из этих списков решения не получит, сколько бы попыток с него ни пришло.

У 8.8.8.8 geoip-enrich дал +13 против +9: для реального адреса база отдаёт больше полей.

Решение есть, блокировать некому

Третий исход лежит за пределами конвейера, explain до него не доходит.

./cscli -c dev.yaml bouncers list
------------------------------------------------------------------
 Name  IP Address  Valid  Last API pull  Type  Version  Auth Type 
------------------------------------------------------------------
------------------------------------------------------------------

Пусто. CrowdSec разбирает логи и выносит решения, но сам ничего не блокирует: решение лежит в базе, пока его не заберёт баунсер. Баунсер — отдельная программа, которая забирает решения из локального API и применяет их: firewall-баунсер кладёт адрес в nftables или iptables, баунсер для nginx отдаёт таким адресам страницу с отказом. Без баунсера подбор продолжится, хотя бан в базе есть. У fail2ban такого разделения нет: он сам читает лог и сам правит фаервол.

Читаем таблицу acquisition

Все три исхода попадают в один вывод, и на обычной установке он тот же. Чтобы в таблице оказались все, в лог дописываются ещё семь строк: шесть попыток с адреса из белого списка и одна чужого формата.

# gen2.py - ещё семь строк: шесть с адреса из белого списка и одна чужого формата
import time

ts = time.strftime("%b %d %H:%M:%S")

with open("auth.log", "a") as f:
    for i, user in enumerate(["root", "admin", "oracle", "git", "test", "ubuntu"]):
        f.write(f"{ts} stand sshd[{2500 + i}]: Failed password for {user} from 8.8.8.8 port {52000 + i} ssh2\n")
    f.write('203.0.113.99 - - [30/Oct/2026:09:12:05 +0300] "GET /wp-login.php HTTP/1.1" 401 193 "-" "curl/8.5.0"\n')
python3 gen2.py
sleep 2
./cscli -c dev.yaml alerts list
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+
| ID |      value      |             reason             | country | as | decisions |         created_at        |   kind   |
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+
| 2  | Ip:203.0.113.77 | crowdsecurity/ssh-bf_user-enum |         |    | ban:1     | 2026-10-30T09:12:27+03:00 | crowdsec |
| 1  | Ip:203.0.113.77 | crowdsecurity/ssh-bf           |         |    | ban:1     | 2026-10-30T09:12:27+03:00 | crowdsec |
+----+-----------------+--------------------------------+---------+----+-----------+---------------------------+----------+

Алерты прежние, оба по 203.0.113.77: с 8.8.8.8 попыток пришло столько же, а ни один сценарий не сработал. Таблица метрик показывает, что стало с каждой из тринадцати строк.

./cscli -c dev.yaml metrics show acquisition
+---------------------------------------------------------------------------------------------------------------------------------------------------+
| Acquisition Metrics                                                                                                                               |
+---------------------------------------------------------+------------+--------------+----------------+------------------------+-------------------+
| Source                                                  | Lines read | Lines parsed | Lines unparsed | Lines poured to bucket | Lines whitelisted |
+---------------------------------------------------------+------------+--------------+----------------+------------------------+-------------------+
| file:/home/user/cs-stand/crowdsec-v1.8.2/tests/auth.log | 13         | 12           | 1              | 36                     | 6                 |
+---------------------------------------------------------+------------+--------------+----------------+------------------------+-------------------+

Lines read 13 — источник читается. Lines parsed 12 — двенадцать строк разобраны до полей. Lines unparsed 1 — строка nginx-формата не подошла ни одному парсеру. Lines whitelisted 6 — шесть сняты белым списком. До сценариев добрались шесть оставшихся, и Lines poured to bucket 36 — это они же, умноженные на шесть подошедших сценариев из вывода explain.

Отсюда порядок разбора на боевом сервере, когда подбор идёт, а решений нет.

Что в таблицеГде обрывЧто проверять
Lines read нольисточник не читаетсяпуть в acquis.yaml, права на файл
Lines unparsed равно Lines readформат не признанlabels.type, поставлена ли коллекция под этот формат
Lines whitelisted растётадрес снят белым спискомcscli explain на строке с этим адресом
Lines poured to bucket растёт, алертов нетведро не переполнилосьcapacity и leakspeed сценария
решения есть, блокировки нетрешение никто не забираетcscli bouncers list

Снимаем бан и сносим стенд

Решение снимается по адресу — так же снимается и бан с собственного адреса:

./cscli -c dev.yaml decisions delete --ip 203.0.113.77
level=info msg="2 decision(s) deleted"

Удалились оба решения, и от ssh-bf, и от ssh-bf_user-enum. decisions list после этого отвечает No active decisions.

Стенд сносится целиком: движок останавливается по Ctrl+C в своём окне, папка удаляется.

rm -rf ~/cs-stand

Ни службы, ни конфигов в /etc, ни базы в системе не остаётся — всё лежало внутри папки.

Короткие разборы и практика, которые до статьи не дорастают, лежат в канале @azbukait_ru.