Merge branch 'bol-van:master' into tpws-luci

docs/changes.txt

@@ -317,3 +317,15 @@ nfqws: multi-strategy
 v63:
 
 tpws: multi-strategy
+
+v64:
+
+blockcheck: warn if dpi bypass software is already running
+blockcheck: TPWS_EXTRA, NFQWS_EXTRA
+init.d: multiple custom scripts
+
+v65:
+
+init.d: dynamic number allocation for dnum,tpws_port,qnum
+init.d: FW_EXTRA_PRE, FW_EXTRA_POST
+init.d: zapret_custom_firewall_nft_flush

docs/nftables.txt

@@ -19,8 +19,8 @@ For dpi desync attack :
 nft delete table inet ztest
 nft create table inet ztest
 nft add chain inet ztest post "{type filter hook postrouting priority mangle;}"
-nft add rule inet ztest post tcp dport "{80,443}" ct original packets 1-12 queue num 200 bypass
-nft add rule inet ztest post udp dport 443 ct original packets 1-4 queue num 200 bypass
+nft add rule inet ztest post meta mark and 0x40000000 == 0 tcp dport "{80,443}" ct original packets 1-12 queue num 200 bypass
+nft add rule inet ztest post meta mark and 0x40000000 == 0 udp dport 443 ct original packets 1-4 queue num 200 bypass
 
 # auto hostlist with avoiding wrong ACK numbers in RST,ACK packets sent by russian DPI
 sysctl net.netfilter.nf_conntrack_tcp_be_liberal=1 

docs/readme.eng.md

@@ -97,7 +97,8 @@ Then we can reduce CPU load, refusing to process unnecessary packets.
 `iptables -t mangle -I POSTROUTING -o <external_interface> -p tcp --dport 80 -m connbytes --connbytes-dir=original --connbytes-mode=packets --connbytes 1:6 -m mark ! --mark 0x40000000/0x40000000 -m set --match-set zapret dst -j NFQUEUE --queue-num 200 --queue-bypass`
 
 Mark filter does not allow nfqws-generated packets to enter the queue again.
-Its necessary to use this filter when also using `connbytes 1:6`. Without it packet ordering can be changed breaking the whole idea.
+Its necessary to use this filter when also using `connbytes`. Without it packet ordering can be changed breaking the whole idea.
+Also if there's huge packet send from nfqws it may deadlock without mark filter.
 
 Some attacks require redirection of incoming packets :
 

docs/readme.txt

@@ -1,4 +1,4 @@
-zapret v.63
+zapret v.64
 
 English
 -------
@@ -464,8 +464,8 @@ mark нужен, чтобы сгенерированный поддельный
 чтобы не допустить изменения порядка следования пакетов. Процессинг очереди - процесс отложенный.
 Если ядро имеет пакеты на отсылку вне очереди - оно их отправляет незамедлительно.
 Изменение правильного порядка следования пакетов при десинхронизации ломает всю идею.
-При отсутствии ограничения на connbytes, атака будет работать и без фильтра по mark.
-Но лучше его все же оставить для увеличения скорости.
+Так же были замечены дедлоки при достаточно большой отсылке пакетов из nfqws и отсутствии mark фильтра.
+Процесс может зависнуть. Поэтому наличие фильтра по mark в ip/nf tables можно считать обязательным.
 
 Почему --connbytes 1:6 :
 1 - для работы методов десинхронизации 0-й фазы и wssize
@@ -981,10 +981,13 @@ Cкрипты с названием get_antifilter_* оперируют спис
 9) ipset/get_antifilter_allyouneed.sh. получает лист https://antifilter.download/list/allyouneed.lst.
 Суммарный список префиксов, созданный из ipsum.lst и subnet.lst.
 
-Все варианты рассмотренных скриптов автоматически создают и заполняют ipset.
-Варианты 2-9 дополнительно вызывают вариант 1.
+10) ipset/get_refilter_ipsum.sh.
+Список берется отсюда : https://github.com/1andrevich/Re-filter-lists
 
-10) ipset/get_config.sh. этот скрипт вызывает то, что прописано в переменной GETLIST из файла config
+Все варианты рассмотренных скриптов автоматически создают и заполняют ipset.
+Варианты 2-10 дополнительно вызывают вариант 1.
+
+11) ipset/get_config.sh. этот скрипт вызывает то, что прописано в переменной GETLIST из файла config
 Если переменная не определена, то ресолвятся лишь листы для ipset nozapret/nozapret6.
 
 Листы РКН все время изменяются. Возникают новые тенденции. Требования к RAM могут меняться.
@@ -1111,7 +1114,11 @@ ipset/zapret-hosts-users-exclude.txt.gz или ipset/zapret-hosts-users-exclude.
 
 Поддомены учитываются автоматически. Например, строчка "ru" вносит в список "*.ru". Строчка "*.ru" в списке не сработает.
 
-Список доменов РКН может быть получен скриптами ipset/get_reestr_hostlist.sh или ipset/get_antizapret_domains.sh
+Список доменов РКН может быть получен скриптами
+ipset/get_reestr_hostlist.sh
+ipset/get_antizapret_domains.sh
+ipset/get_reestr_resolvable_domains.sh
+ipset/get_refilter_domains.sh
 - кладется в ipset/zapret-hosts.txt.gz.
 
 Чтобы обновить списки, перезапускать nfqws или tpws не нужно. Обновляете файлы, затем даете сигнал HUP.
@@ -1572,35 +1579,76 @@ nfset-ы принадлежат только одной таблице, след
 Вариант custom
 --------------
 
-custom код вынесен в отдельный shell include
+custom код вынесен в отдельные shell includes.
+Поддерживается старый вариант в
 /opt/zapret/init.d/sysv/custom
-или
 /opt/zapret/init.d/openwrt/custom
+/opt/zapret/init.d/macos/custom
+Он считается устаревшим. Актуальный вариант - помещать отдельные скрипты там же, но в директорию "custom.d".
+Она будет просканирована стандартным образом, т.е. в алфавитном порядке, и каждый скрипт будет применен.
+Рядом имеется "custom.d.examples". Это готовые скрипты, которые можно копировать в "custom.d".
+Особо стоит отметить "10-inherit-*". Они наследуют стандартные режимы nfqws/tpws/tpws-socks.
+Полезно, чтобы не писать код заново. Достаточно лишь скопировать соответствующий файл.
+Можно наследовать и более сложным образом.
+"10-inherit-tpws4http-nfqws4https" наследует для http tpws, а для https и quic - nfqws.
 
-Нужно свой код вписать в функции :
+Для linux пишется код в функции
 zapret_custom_daemons
 zapret_custom_firewall
 zapret_custom_firewall_nft
+zapret_custom_firewall_nft_flush
 
-В файле custom пишите ваш код, пользуясь хелперами из "functions" или "zapret".
-Смотрите как там сделано добавление iptables или запуск демонов.
+Для macos
+zapret_custom_daemons
+zapret_custom_firewall_v4
+zapret_custom_firewall_v6
+
+zapret_custom_daemons поднимает демоны nfqws/tpws в нужном вам количестве и с нужными вам параметрами.
+Для систем традиционного linux (sysv) и MacOS в первом параметре передается код операции : 1 = запуск, 0 = останов.
+Для openwrt логика останова отсутствует за ненадобностью.
+Схема запуска демонов в openwrt отличается - используется procd.
+
+zapret_custom_firewall поднимает и убирает правила iptables.
+В первом параметре передается код операции : 1 = запуск, 0 = останов.
+
+zapret_custom_firewall_nft поднимает правила nftables.
+Логика останова отсутствует за ненадобностью. Стандартные цепочки zapret удаляются автоматически.
+Однако, sets и правила из ваших собственных цепочек не удаляются.
+Их нужно подчистить в zapret_custom_firewall_nft_flush.
+Если set-ов и собственных цепочек у вас нет, функцию можно не определять или оставить пустой.
+
+Если вам не нужны iptables или nftables - можете не писать соответствующую функцию.
+
+В linux можно использовать локальные переменные FW_EXTRA_PRE и FW_EXTRA_POST.
+FW_EXTRA_PRE добавляет код к правилам ip/nf tables до кода, генерируемого функциями-хелперами.
+FW_EXTRA_POST добавляет код после.
+
+В linux функции-хелперы добавляют правило в начало цепочек, то есть перед уже имеющимися.
+Поэтому специализации должны идти после более общих вариантов.
+Поэтому наследования идут с префиксом 10, а остальные custom скрипты с префиксом 50.
+Допустим, у вас есть особые правила для IP подсети youtube. Порты те же самые.
+Включен и общий обход. Чтобы youtube пошел приоритетом, скрипт должен применяться после
+общего обхода.
+Для macos правило обратное. Там правила добавляются в конец. Поэтому inherit скрипты
+имеют префикс 90.
+
+В macos firewall-функции ничего сами никуда не заносят. Их задача - лишь выдать текст в stdout,
+содержащий правила для pf-якоря. Остальное сделает обертка.
+
+Особо обратите внимание на номер демона в функциях "run_daemon" и "do_daemon", номера портов tpws
+и очередей nfqueue.
+Они должны быть уникальными во всех скриптах. При накладке будет ошибка.
+Поэтому используйте функции динамического получения этих значений из пула.
+
+custom скрипты могут использовать переменные из config. Можно помещать в config свои переменные
+и задействовать их в скриптах.
+Можно использовать функции-хелперы. Они являются частью общего пространства функций shell.
+Полезные функции можно взять из примеров скриптов. Так же смотрите "common/*.sh".
 Используя хелпер функции, вы избавитесь от необходимости учитывать все возможные случаи
 типа наличия/отсутствия ipv6, является ли система роутером, имена интерфейсов, ...
 Хелперы это учитывают, вам нужно сосредоточиться лишь на фильтрах {ip,nf}tables и
 параметрах демонов.
 
-Код для openwrt и sysv немного отличается. В sysv нужно обрабатывать и запуск, и остановку демонов.
-Запуск это или остановка передается в параметре $1 (0 или 1).
-В openwrt за остановку отвечает procd.
-
-Для фаервола кастом пишется отдельно для iptables и nftables. Все очень похоже, но отличается
-написание фильтров и названия процедур хелперов. Если вам не нужны iptables или nftables -
-можете не писать соответствующую функцию.
-
-Готовый custom скрипт custom-tpws4http-nfqws4https позволяет применить дурение
-tpws к http и nfqws к https. При этом поддерживаются установки из config.
-Его можно использовать как стартовую точку для написания своих скриптов.
-
 
 Простая установка
 -----------------