blockcheck: warn MTU overflow with md5sig

nfqws: add support for systemd readiness notifications

Makefile

@@ -15,6 +15,19 @@ all:	clean
 		done \
 	done
 
+systemd: clean
+	@mkdir -p "$(TGT)"; \
+	for dir in $(DIRS); do \
+		find "$$dir" -type f  \( -name "*.c" -o -name "*.h" -o -name "*akefile" \) -exec chmod -x {} \; ; \
+		$(MAKE) -C "$$dir" systemd || exit; \
+		for exe in "$$dir/"*; do \
+			if [ -f "$$exe" ] && [ -x "$$exe" ]; then \
+				mv -f "$$exe" "${TGT}" ; \
+				ln -fs "../${TGT}/$$(basename "$$exe")" "$$exe" ; \
+			fi \
+		done \
+	done
+
 android: clean
 	@mkdir -p "$(TGT)"; \
 	for dir in $(DIRS); do \

blockcheck.sh

@@ -1145,7 +1145,10 @@ test_has_fake()
 warn_fool()
 {
 	case "$1" in
-		md5sig) echo 'WARNING ! although md5sig fooling worked it will not work on all sites. it typically works only on linux servers.' ;;
+		md5sig) echo 'WARNING ! although md5sig fooling worked it will not work on all sites. it typically works only on linux servers.'
+			[ "$2" = "fakedsplit" -o "$2" = "fakeddisorder" ] && \
+				echo "WARNING ! fakedsplit/fakeddisorder with md5sig fooling and low split position causes MTU overflow with multi-segment TLS (kyber)"
+			;;
 		datanoack) echo 'WARNING ! although datanoack fooling worked it may break NAT and may only work with external IP. Additionally it may require nftables to work correctly.' ;;
 	esac
 }
@@ -1272,7 +1275,7 @@ pktws_check_domain_http_bypass_()
 			[ "$IPV" = 6 ] && f="$f hopbyhop hopbyhop2"
 			for fooling in $f; do
 				pktws_curl_test_update_vary $1 $2 $3 $desync --dpi-desync-fooling=$fooling $e && {
-					warn_fool $fooling
+					warn_fool $fooling $desync
 					[ "$SCANLEVEL" = quick ] && return
 					need_wssize=0
 				}

docs/changes.txt

@@ -453,8 +453,16 @@ nfqws,tpws: hostlist/ipset track not only file mod time but also file size
 nfqws,tpws,ipset: return lists reload on HUP
 nfqws,blockcheck: --dpi-desync-fake-tls-mod
 
-v70.3
+v70.1
 
 nfqws: --dpi-desync-fake-tls-mod=dupsid
 nfqws,tpws: test accessibility of list files after privs drop
 nfqws,tpws: --version
+
+v70.4
+
+nfqws,tpws: ^ prefix in hostlist to disable subdomain matches
+nfqws,tpws: optional systemd notify support. compile using 'make systemd'
+nfqws,tpws: systemd instance templates for nfqws and tpws
+nfqws,tpws: separate droproot from dropcaps
+tpws: detect WSL 1 and warn about non-working options

docs/readme.en.md

@@ -1,4 +1,4 @@
-# zapret v70.1
+# zapret v70.4
 
 # SCAMMER WARNING
 
@@ -185,9 +185,9 @@ nfqws takes the following parameters:
  --dpi-desync-udplen-pattern=<filename>|0xHEX   ; udp tail fill pattern
  --dpi-desync-start=[n|d|s]N                    ; apply dpi desync only to packet numbers (n, default), data packet numbers (d), relative sequence (s) greater or equal than N
  --dpi-desync-cutoff=[n|d|s]N                   ; apply dpi desync only to packet numbers (n, default), data packet numbers (d), relative sequence (s) less than N
- --hostlist=<filename>                          ; apply dpi desync only to the listed hosts (one host per line, subdomains auto apply, gzip supported, multiple hostlists allowed)
+ --hostlist=<filename>                          ; apply dpi desync only to the listed hosts (one host per line, subdomains auto apply if not prefixed with `^`, gzip supported, multiple hostlists allowed)
  --hostlist-domains=<domain_list>               ; comma separated fixed domain list
- --hostlist-exclude=<filename>                  ; do not apply dpi desync to the listed hosts (one host per line, subdomains auto apply, gzip supported, multiple hostlists allowed)
+ --hostlist-exclude=<filename>                  ; do not apply dpi desync to the listed hosts (one host per line, subdomains auto apply if not prefixed with `^`, gzip supported, multiple hostlists allowed)
  --hostlist-exclude-domains=<domain_list>       ; comma separated fixed domain list
  --hostlist-auto=<filename>                     ; detect DPI blocks and build hostlist automatically
  --hostlist-auto-fail-threshold=<int>           ; how many failed attempts cause hostname to be added to auto hostlist (default : 3)
@@ -219,7 +219,9 @@ There're attacks based on TCP sequence numbers. Methods can be combined in many
 
 Fakes are separate generated by nfqws packets carrying false information for DPI. They must either not reach the server or be rejected by it. Otherwise TCP connection or data stream would be broken. There're multiple ways to solve this task.
 
-* **md5sig** does not work on all servers
+* **md5sig** does not work on all servers. It typically works only on Linux servers. MD5 tcp option requires additional space in TCP header
+  and can cause MTU overflow during fakedsplit/fakeddisorder on low positions when multisegment query (TLS kyber) is transmitted.
+  `nfqws` cannot redistribute data between original TCP segments. The error displayed is 'message too long'.
 * **badsum** doesn't work if your device is behind NAT which does not pass invalid packets.
   The most common Linux NAT router configuration does not pass them. Most home routers are Linux based.
   The default sysctl configuration `net.netfilter.nf_conntrack_checksum=1` causes contrack to verify tcp and udp checksums
@@ -703,9 +705,9 @@ tpws is transparent proxy.
  --ipset-exclude=<filename>              ; ipset exclude filter (one ip/CIDR per line, ipv4 and ipv6 accepted, gzip supported, multiple ipsets allowed)
  --ipset-exclude-ip=<ip_list>            ; comma separated fixed subnet list
 
- --hostlist=<filename>                   ; only act on hosts in the list (one host per line, subdomains auto apply, gzip supported, multiple hostlists allowed)
+ --hostlist=<filename>                   ; only act on hosts in the list (one host per line, subdomains auto apply if not prefixed with '^', gzip supported, multiple hostlists allowed)
  --hostlist-domains=<domain_list>        ; comma separated fixed domain list
- --hostlist-exclude=<filename>           ; do not act on hosts in the list (one host per line, subdomains auto apply, gzip supported, multiple hostlists allowed)
+ --hostlist-exclude=<filename>           ; do not act on hosts in the list (one host per line, subdomains auto apply if not prefixed with '^', gzip supported, multiple hostlists allowed)
  --hostlist-exclude-domains=<domain_list> ; comma separated fixed domain list
  --hostlist-auto=<filename>              ; detect DPI blocks and build hostlist automatically
  --hostlist-auto-fail-threshold=<int>    ; how many failed attempts cause hostname to be added to auto hostlist (default : 3)
@@ -984,6 +986,7 @@ If all include lists are empty it works like no include lists exist at all.
 If you need "all except" mode you dont have to delete zapret-hosts-users.txt. Just make it empty.
 
 Subdomains auto apply. For example, "ru" in the list affects "*.ru" .
+`^` prefix symbol disables subdomain match.
 
 **tpws** and **nfqws** automatically reload lists if their modification time or file size is changed.
 HUP signal forcibly reloads all lists.

docs/readme.md

@@ -1,4 +1,4 @@
-# zapret v70.1
+# zapret v70.4
 
 # ВНИМАНИЕ, остерегайтесь мошенников
 
@@ -57,6 +57,7 @@ zapret является свободным и open source.
   - [Прикручивание к системе управления фаерволом или своей системе запуска](#прикручивание-к-системе-управления-фаерволом-или-своей-системе-запуска)
   - [Вариант custom](#вариант-custom)
   - [Простая установка](#простая-установка)
+  - [Установка под systemd](#установка-под-systemd)
   - [Простая установка на openwrt](#простая-установка-на-openwrt)
   - [Установка на openwrt в режиме острой нехватки места на диске](#установка-на-openwrt-в-режиме-острой-нехватки-места-на-диске)
   - [Android](#android)
@@ -205,7 +206,7 @@ dvtws, собираемый из тех же исходников (см. [док
 --dpi-desync-udplen-pattern=<filename>|0xHEX       ; чем добивать udp пакет в режиме udplen. по умолчанию - нули
 --dpi-desync-start=[n|d|s]N                        ; применять dpi desync только в исходящих пакетах (n), пакетах данных (d), относительных sequence (s) по номеру больше или равно N
 --dpi-desync-cutoff=[n|d|s]N                       ; применять dpi desync только в исходящих пакетах (n), пакетах данных (d), относительных sequence (s) по номеру меньше N
---hostlist=<filename>                              ; действовать только над доменами, входящими в список из filename. поддомены автоматически учитываются.
+--hostlist=<filename>                              ; действовать только над доменами, входящими в список из filename. поддомены автоматически учитываются, если хост не начинается с '^'.
                                                    ; в файле должен быть хост на каждой строке.
                                                    ; список читается при старте и хранится в памяти в виде иерархической структуры для быстрого поиска.
                                                    ; при изменении времени модификации файла он перечитывается автоматически по необходимости
@@ -260,6 +261,10 @@ dvtws, собираемый из тех же исходников (см. [док
 Есть ряд методов для решения этой задачи.
 
 * `md5sig` добавляет TCP опцию **MD5 signature**. Работает не на всех серверах. Пакеты с md5 обычно отбрасывают только linux.
+  Требуется значительное увеличение длины tcp пакета, чтобы вместить tcp option. При обработке многосегментных запросов (TLS Kyber)
+  первый пакет идет полный под MTU. При fakedsplit/fakeddisorder на небольших позициях отдельные tcp сегменты достаточно велики, чтобы внедрение
+  md5 tcp option вызвало переполнение MTU и ошибку отправки "message too long". `nfqws` не умеет перераспределять данные между tcp сегментами,
+  поэтому надо или отказываться от kyber, или увеличивать сплит-позицию, или отказываться от fakedsplit/fakeddisorder.
 * `badsum` портит контрольную сумму TCP. Не сработает, если ваше устройство за NAT, который не пропускает пакеты с инвалидной суммой. Наиболее
   распространенная настройка NAT роутера в Linux их не пропускает. На Linux построено большинство домашних роутеров.
   Непропускание обеспечивается так : настройка ядра sysctl по умолчанию
@@ -280,7 +285,7 @@ dvtws, собираемый из тех же исходников (см. [док
   Такие пакеты будут наверняка отброшены принимающим узлом, но так же и DPI, если он ориентируется на sequence
   numbers. По умолчанию смещение seq выбирается -10000. Практика показала, что некоторые DPI не пропускают seq вне
   определенного окна. Однако, такое небольшое смещение может вызвать проблемы при существенной потоковой передаче и
-  потере пакетов. Если вы используете `--dpi-desync-any-protocol`, может понадобится установить badseq increment
+  потере пакетов. Если вы используете `--dpi-desync-any-protocol`, может понадобиться установить badseq increment
   0x80000000. Это обеспечит надежную гарантию, что поддельный пакет не вклинится в tcp window на сервере. Так же было
   замечено, что badseq ломает логику некоторых DPI при анализе http, вызывая зависание соединения. Причем на тех же DPI
   TLS с badseq работает нормально.
@@ -295,7 +300,7 @@ dvtws, собираемый из тех же исходников (см. [док
 * `hopbyhop` относится только к ipv6. Добавляется ipv6 extenstion header `hop-by-hop options`. В варианте `hopbyhop2`
   добавляются 2 хедера, что является нарушением стандарта и гарантированно отбрасывается стеком протоколов во всех ОС.
   Один хедер hop-by-hop принимается всеми ОС, однако на некоторых каналах/провайдерах такие пакеты могут фильтроваться и
-  не доходить. Расчет идет на то, что DPI проанализирует пакет с hop-by-hop, но он либо не дойдет до адресата всилу
+  не доходить. Расчет идет на то, что DPI проанализирует пакет с hop-by-hop, но он либо не дойдет до адресата в силу
   фильтров провайдера, либо будет отброшен сервером, потому что хедера два.
 * `datanoack` высылает фейки со снятым tcp флагом ACK. Сервера такое не принимают, а DPI может принять. Эта техника
   может ломать NAT и не всегда работает с iptables, если используется masquerade, даже с локальной системы (почти всегда
@@ -346,6 +351,9 @@ dvtws, собираемый из тех же исходников (см. [док
 Размеры фейков соответствуют длинам отсылаемых частей.
 Цель этих режимов - максимально усложнить выявление оригинальных данных среди фейков.
 
+Использование `fakedsplit` или `fakeddisorder` на TLS kyber с md5sig fooling может привести к ошибкам "message too long", если позиция сплита мала,
+поскольку будет превышение MTU из-за md5 tcp option.
+
 Для определения позиций нарезки используются маркеры.
 
 * **Абсолютный положительный маркер** - числовое смещение внутри пакета или группы пакетов от начала.
@@ -530,8 +538,8 @@ window size итоговый размер окна стал максимальн
 ### РЕАССЕМБЛИНГ
 
 nfqws поддерживает реассемблинг некоторых видов запросов.
-На текущий момент это TLS и QUIC ClientHello. Они бывает длинными, если в chrome включить пост-квантовую
-криптографию tls-kyber, и занимают как правило 2 или 3 пакета. kyber включен по умолчанию, начиная с chromium 124.
+На текущий момент это TLS и QUIC ClientHello. Они бывают длинными, если в chrome включить пост-квантовую
+криптографию tls-kyber, и занимают, как правило, 2 или 3 пакета. kyber включен по умолчанию, начиная с chromium 124.
 chrome рандомизирует фингерпринт TLS. SNI может оказаться как в начале, так и в конце, то есть
 попасть в любой пакет. stateful DPI обычно реассемблирует запрос целиком, и только потом
 принимает решение о блокировке.
@@ -620,7 +628,7 @@ options ip6table_raw raw_before_defrag=1
 
 При использовании iptables и NAT, похоже, что нет способа прицепить обработчик очереди после NAT.
 Пакет попадает в nfqws с source адресом внутренней сети, затем фрагментируется и уже не обрабатывается NAT.
-Так и уходит во внешюю сеть с src ip 192.168.x.x. Следовательно, метод не срабатывает.
+Так и уходит во внешнюю сеть с src ip 192.168.x.x. Следовательно, метод не срабатывает.
 Видимо единственный рабочий метод - отказаться от iptables и использовать nftables.
 Хук должен быть с приоритетом 101 или выше.
 
@@ -644,7 +652,7 @@ L7 протокол становится известен обычно посл
 Если имя хоста удовлетворяет листам, выбирается этот профиль. Иначе идет переход к следующему.
 Может так случиться, что до получения имени хоста или узнавания L7 протокола соединение идет по одному профилю,
 а при выяснении этих параметров профиль меняется на лету. Это может произойти даже дважды - при выяснении L7
-и имени хоста. Чаще всего это выяснение совмещается в одно действие, поскольку по одному пакету как правило узнается и L7, и хост.
+и имени хоста. Чаще всего это выяснение совмещается в одно действие, поскольку по одному пакету, как правило, узнается и L7, и хост.
 Поэтому если у вас есть параметры дурения нулевой фазы, тщательно продумывайте что может произойти при переключении стратегии.
 Смотрите debug log, чтобы лучше понять что делает nfqws.
 Нумерация профилей идет с 1 до N. Последним в цепочке создается пустой профиль с номером 0.
@@ -658,7 +666,7 @@ L7 протокол становится известен обычно посл
 
 > [!IMPORTANT]
 > user-mode реализация ipset создавалась не как удобная замена *nix версии, реализованной в ядре.
-> Вариант в ядре работает гораздо эффективнее. Это создавалось для систем без подержки ipset в ядре.
+> Вариант в ядре работает гораздо эффективнее. Это создавалось для систем без подд3ержки ipset в ядре.
 > Конкретно - Windows и ядра Linux, собранные без nftables и ipset модулей ядра. Например, в android нет ipset.
 
 ### IPTABLES ДЛЯ NFQWS
@@ -678,7 +686,7 @@ iptables -t mangle -I POSTROUTING -o <внешний_интерфейс> -p tcp
 ```
 
 mark нужен, чтобы сгенерированный поддельный пакет не попал опять к нам на обработку. nfqws выставляет fwmark при его отсылке.
-хотя nfqws способен самостоятельно различать помеченные пакеты, фильтр в iptables по mark нужен при использовании connbytes,
+Хотя nfqws способен самостоятельно различать помеченные пакеты, фильтр в iptables по mark нужен при использовании connbytes,
 чтобы не допустить изменения порядка следования пакетов. Процессинг очереди - процесс отложенный.
 Если ядро имеет пакеты на отсылку вне очереди - оно их отправляет незамедлительно.
 Изменение правильного порядка следования пакетов при десинхронизации ломает всю идею.
@@ -691,7 +699,7 @@ mark нужен, чтобы сгенерированный поддельный
 * 3 - стандартная ситуация приема одного пакета запроса
 * 4-6 - на случай ретрансмиссии или запроса длиной в несколько пакетов (TLSClientHello с kyber, например)
 
-Для режима autottl необходимо перенаправление входящего `SYN,ACK` пакета или первого пакета соединения (что обычно есть тоже самое).
+Для режима autottl необходимо перенаправление входящего `SYN,ACK` пакета или первого пакета соединения (что обычно есть то же самое).
 Для режима autohostlist необходимы входящие RST и http redirect.
 Можно построить фильтр на tcp flags для выделения `SYN,ACK` и модуле u32 для поиска характерных паттернов http redirect,
 но проще использовать connbytes для выделения нескольких начальных входящих пакетов.
@@ -855,7 +863,7 @@ tpws - это transparent proxy.
 --mss=<int>                                       ; установить MSS для клиента. может заставить сервер разбивать ответы, но существенно снижает скорость
 --tamper-start=[n]<pos>                           ; начинать дурение только с указанной байтовой позиции или номера блока исходяшего потока (считается позиция начала принятого блока)
 --tamper-cutoff=[n]<pos>                          ; закончить дурение на указанной байтовой позиции или номере блока исходящего потока (считается позиция начала принятого блока)
---hostlist=<filename>                             ; действовать только над доменами, входящими в список из filename. поддомены автоматически учитываются.
+--hostlist=<filename>                             ; действовать только над доменами, входящими в список из filename. поддомены автоматически учитываются, если хост не начинается с '^'.
                                                   ; в файле должен быть хост на каждой строке.
                                                   ; список читается при старте и хранится в памяти в виде иерархической структуры для быстрого поиска.
                                                   ; при изменении времени модификации файла он перечитывается автоматически по необходимости
@@ -892,7 +900,7 @@ tpws, как и nfqws, поддерживает множественную се
 Однако, если в момент send уже имеется неотосланный буфер, то ОС присоединит данные к нему,
 никакой отсылки отдельным пакетом не будет. Но в этом случае и так нет никакой гарантии,
 что какой-то блок сообщения пойдет в начале пакета, на что собственно и заточены DPI.
-Разбиение будет производится согласно MSS, который зависит от MTU исходящего интерфейса.
+Разбиение будет производиться согласно MSS, который зависит от MTU исходящего интерфейса.
 Таким образом DPI, смотрящие в начало поля данных TCP пакета, будут поломаны в любом случае.
 Протокол http относится к запрос-ответным протоколам. Новое сообщение посылается только тогда,
 когда сервер получил запрос и полностью вернул ответ. Значит запрос фактически был не только отослан,
@@ -1080,7 +1088,7 @@ route_localnet :
 динамически вписывать в команду. В любом случае требуются дополнительные усилия. Использование route_localnet тоже имеет
 потенциальные проблемы с безопасностью. Вы делаете доступным все, что висит на `127.0.0.0/8` для локальной подсети <
 внутренний_интерфейс>. Службы обычно привязываются к `127.0.0.1`, поэтому можно средствами iptables запретить входящие
-на `127.0.0.1` не с интерфейса lo, либо повесить tpws на любой другой IP из из `127.0.0.0/8`, например на `127.0.0.127`,
+на `127.0.0.1` не с интерфейса lo, либо повесить tpws на любой другой IP из `127.0.0.0/8`, например на `127.0.0.127`,
 и разрешить входящие не с lo только на этот IP.
 
 ```
@@ -1322,10 +1330,11 @@ LISTS_RELOAD=-  отключает перезагрузку листов.
 При режимах фильтрации `MODE_FILTER=hostlist` или `MODE_FILTER=autohostlist` система запуска передает **nfqws** или **tpws** все листы, файлы которых присутствуют.
 Передача происходит через замену маркеров `<HOSTLIST>` и `<HOSTLIST_NOAUTO>` на реальные параметры `--hostlist`, `--hostlist-exclude`, `--hostlist-auto`.
 Если вдруг листы include присутствуют, но все они пустые, то работа аналогична отсутствию include листа.
-Файл есть, но не смотря на это дурится все, кроме exclude.
+Файл есть, но несмотря на это дурится все, кроме exclude.
 Если вам нужен именно такой режим - не обязательно удалять `zapret-hosts-users.txt`. Достаточно сделать его пустым.
 
 Поддомены учитываются автоматически. Например, строчка "ru" вносит в список "*.ru". Строчка "*.ru" в списке не сработает.
+Можно использовать символ `^` в начале хоста, чтобы отказаться от автоматического учета поддоменов.
 
 Список доменов РКН может быть получен скриптами
 ```
@@ -1359,7 +1368,7 @@ tpws и nfqws решают нужно ли применять дурение в
 Крайне рекомендовано использовать ограничитель `connbytes`, чтобы **nfqws** не обрабатывал гигабайты.
 По этой же причине не рекомендуется использование режима на BSD системах. Там нет фильтра `connbytes`.
 
-На linux системах при использовании nfqws и фильтра connbytes может понадобится :
+На linux системах при использовании nfqws и фильтра connbytes может понадобиться :
 `sysctl net.netfilter.nf_conntrack_tcp_be_liberal=1`
 Было замечено, что некоторые DPI в России возвращают RST с неверным ACK. Это принимается tcp/ip стеком
 linux, но через раз приобретает статус INVALID в conntrack. Поэтому правила с `connbytes` срабатывают
@@ -1374,7 +1383,7 @@ linux, но через раз приобретает статус INVALID в con
    свое клиенту. Применяется нечасто, поскольку броузеры на такое ругаются.
 
 **nfqws** и **tpws** могут сечь варианты 1-3, 4 они не распознают.
-Всилу специфики работы с отдельными пакетами или с TCP каналом tpws и nfqws распознают эти ситуации
+В силу специфики работы с отдельными пакетами или с TCP каналом tpws и nfqws распознают эти ситуации
 по-разному.
 Что считается ситуацией, похожей на блокировку :
 1) **nfqws** Несколько ретрансмиссий первого запроса в TCP сеансе, в котором имеется host.
@@ -1400,7 +1409,7 @@ linux, но через раз приобретает статус INVALID в con
 Если сайт не ведет себя как заблокированный, значит обход применен не будет.
 В противном случае терять все равно нечего.
 Однако, могут быть временные сбои сервера, приводящие к ситуации, аналогичной блокировке.
-Могут происходит ложные срабатывания. Если такое произошло, стратегия может начать ломать
+Могут происходить ложные срабатывания. Если такое произошло, стратегия может начать ломать
 незаблокированный сайт. Эту ситуацию, увы, придется вам контролировать вручную.
 Заносите такие домены в `ipset/zapret-hosts-user-exclude.txt`, чтобы избежать повторения.
 Чтобы впоследствии разобраться почему домен был занесен в лист, можно включить `autohostlist debug log`.
@@ -1747,7 +1756,7 @@ DISABLE_IPV6=1
 ```
 
 Количество потоков для многопоточного DNS ресолвера mdig (1..100).
-Чем их больше, тем быстрее, но не обидется ли на долбежку ваш DNS сервер?\
+Чем их больше, тем быстрее, но не обидится ли на долбежку ваш DNS сервер?\
 `MDIG_THREADS=30`
 
 Место для хранения временных файлов. При скачивании огромных реестров в `/tmp` места может не хватить.
@@ -1901,7 +1910,7 @@ nfset-ы принадлежат только одной таблице, след
 
 custom скрипты - это маленькие shell программы, управляющие нестандартными режимами применения zapret
 или частными случаями, которые не могут быть интегрированы в основную часть без загромождения и замусоривания кода.
-Для применеия custom следует помещать файлы в следующие директории в зависимости от вашей системы:
+Для применения custom следует помещать файлы в следующие директории в зависимости от вашей системы:
 ```
 /opt/zapret/init.d/sysv/custom.d
 /opt/zapret/init.d/openwrt/custom.d
@@ -1991,7 +2000,7 @@ zapret_custom_firewall_nft поднимает правила nftables.
 Под OpenWrt все уже сразу готово для использования системы в качестве роутера.
 Имена интерфейсов WAN и LAN известны из настроек системы.
 Под другими системами роутер вы настраиваете самостоятельно. Инсталлятор в это не вмешивается.
-инсталлятор в зависимости от выбранного режима может спросить LAN и WAN интерфейсы.
+Инсталлятор в зависимости от выбранного режима может спросить LAN и WAN интерфейсы.
 Нужно понимать, что заворот проходящего трафика на **tpws** в прозрачном режиме происходит до выполнения маршрутизации,
 следовательно возможна фильтрация по LAN и невозможна по WAN.
 Решение о завороте на **tpws** локального исходящего трафика принимается после выполнения маршрутизации,
@@ -2001,6 +2010,15 @@ zapret_custom_firewall_nft поднимает правила nftables.
 
 Деинсталляция выполняется через `uninstall_easy.sh`. После выполнения деинсталляции можно удалить каталог `/opt/zapret`.
 
+## Установка под systemd
+
+Если вам нравится systemd и хочется максимально под него заточиться, можно отказаться от скриптов запуска zapret
+и поднимать инстансы `tpws` и `nfqws` как отдельные юниты systemd. При этом вам придется вручную написать правила iptables/nftables
+и каким-то образом их поднимать. Например, написать дополнительный systemd unit для этого.
+Так же требуется собрать бинарники особым образом через `make systemd`.
+
+В комплекте zapret есть шаблоны `init.d/systemd/{nfqws@.service,tpws@.service}`.
+Краткий перечень команд для их использования приведен в комментариях в этих файлах.
 
 ## Простая установка на openwrt
 
@@ -2172,7 +2190,7 @@ Wifi сеть - обычно `wlan0`.
 
 tpws работает обычным образом.
 
-`nfqueue` поломан,  можно собрать фиксящий модуль https://github.com/im-0/unfuck-nfqueue-on-e3372h,
+`nfqueue` поломан, можно собрать фиксящий модуль https://github.com/im-0/unfuck-nfqueue-on-e3372h,
 используя исходники с huawei open source. Исходники содержат тулчейн и полусобирающееся,
 неактуальное ядро. Конфиг можно взять с рабочего модема из `/proc/config.gz`.
 С помощью этих исходников умельцы могут собрать модуль `unfuck_nfqueue.ko`.
@@ -2225,10 +2243,10 @@ curl: (7) Failed to connect to www.ru port 80: Host is unreachable
 
 ## Другие прошивки
 
-Для статических бинариков не имеет значения на чем они запущены: PC, android, приставка, роутер, любой другой девайс.
+Для статических бинарников не имеет значения на чем они запущены: PC, android, приставка, роутер, любой другой девайс.
 Подойдет любая прошивка, дистрибутив linux. Статические бинарники запустятся на всем.
 Им нужно только ядро с необходимыми опциями сборки или модулями.
-Но кроме бинариков в проекте используются еще и скрипты, в которых задействуются некоторые
+Но кроме бинарников в проекте используются еще и скрипты, в которых задействуются некоторые
 стандартные программы.
 
 Основные причины почему нельзя просто так взять и установить эту систему на что угодно:
@@ -2266,14 +2284,14 @@ entware содержит репозиторий user-mode компонент, к
 _Подробное описание настроек для других прошивок выходит за рамки данного проекта._
 
 OpenWrt является одной из немногих относительно полноценных linux систем для embedded devices.
-Она характеризуется следующими вещами, которые и послужили основой выбора именно этой прошивк:
+Она характеризуется следующими вещами, которые и послужили основой выбора именно этой прошивки:
 * полный root доступ к девайсу через shell. на заводских прошивках чаще всего отсутствует, на многих альтернативных есть
 * корень r/w. это практически уникальная особенность OpenWrt. заводские и большинство альтернативных прошивок
   построены на базе squashfs root (r/o), а конфигурация хранится в специально отформатированной области
   встроенной памяти, называемой nvram.  не имеющие r/w корня системы сильно кастрированы. они не имеют
   возможности доустановки ПО из репозитория без специальных вывертов и заточены в основном
   на чуть более продвинутого, чем обычно, пользователя и управление имеющимся функционалом через веб интерфейс,
-  но функционал фиксированно ограничен. альтернативные прошивки как правило могут монтировать r/w раздел
+  но функционал фиксированно ограничен. альтернативные прошивки, как правило, могут монтировать r/w раздел
   в какую-то область файловой системы, заводские обычно могут монтировать лишь флэшки, подключенные к USB,
   и не факт, что есть поддержка unix файловых системы. может быть поддержка только fat и ntfs.
 * возможность выноса корневой файловой системы на внешний носитель (extroot) или создания на нем оверлея (overlay)

init.d/systemd/nfqws@.service

@@ -0,0 +1,65 @@
+# Example systemd service unit for nfqws. Adjust for your installation.
+
+# WARNING ! This unit requires to compile nfqws using `make systemd`
+# WARNING ! This makefile target enabled special systemd notify support.
+
+# PREPARE
+# install build depends
+# make -C /opt/zapret systemd
+# cp nfqws@service /lib/systemd/system
+# systemctl daemon-reload
+
+# MANAGE INSTANCE
+# prepare /etc/zapret/nfqws1.conf with nfqws parameters
+# systemctl start nfqws@nfqws1
+# systemctl status nfqws@nfqws1
+# systemctl restart nfqws@nfqws1
+# systemctl enable nfqws@nfqws1
+# systemctl disable nfqws@nfqws1
+# systemctl stop nfqws@nfqws1
+
+# DELETE
+# rm /lib/systemd/system/nfqws@.service
+# systemctl daemon-reload
+
+
+[Unit]
+After=network.target
+
+[Service]
+Type=notify
+Restart=on-failure
+
+ExecSearchPath=/opt/zapret/binaries/my
+ExecStart=nfqws @${CONFIG_DIR}/${INSTANCE}.conf
+Environment=CONFIG_DIR=/etc/zapret
+Environment=INSTANCE=%i
+
+RestrictAddressFamilies=AF_NETLINK AF_UNIX AF_INET6 AF_INET
+
+LockPersonality=true
+MemoryDenyWriteExecute=true
+PrivateDevices=true
+PrivateMounts=true
+PrivateTmp=true
+ProcSubset=pid
+ProtectClock=true
+ProtectControlGroups=true
+ProtectHome=true
+ProtectHostname=true
+ProtectKernelLogs=true
+ProtectKernelModules=true
+ProtectKernelTunables=true
+ProtectProc=invisible
+ProtectSystem=full
+RemoveIPC=true
+RestrictNamespaces=true
+RestrictRealtime=true
+RestrictSUIDSGID=true
+SystemCallArchitectures=native
+SystemCallFilter=@system-service
+SystemCallFilter=~@resources
+UMask=0077
+
+[Install]
+WantedBy=multi-user.target

init.d/systemd/tpws@.service

@@ -0,0 +1,63 @@
+# Example systemd service unit for tpws. Adjust for your installation.
+
+# WARNING ! This unit requires to compile tpws using `make systemd`
+# WARNING ! This makefile target enabled special systemd notify support.
+
+# PREPARE
+# install build depends
+# make -C /opt/zapret systemd
+# cp tpws@service /lib/systemd/system
+# systemctl daemon-reload
+
+# MANAGE INSTANCE
+# prepare /etc/zapret/tpws1.conf with tpws parameters
+# systemctl start tpws@tpws1
+# systemctl status tpws@tpws1
+# systemctl restart tpws@tpws1
+# systemctl enable tpws@tpws1
+# systemctl disable tpws@tpws1
+# systemctl stop tpws@tpws1
+
+# DELETE
+# rm /lib/systemd/system/tpws@.service
+# systemctl daemon-reload
+
+
+[Unit]
+After=network.target
+
+[Service]
+Type=notify
+Restart=on-failure
+
+ExecSearchPath=/opt/zapret/binaries/my
+ExecStart=tpws @${CONFIG_DIR}/${INSTANCE}.conf
+Environment=CONFIG_DIR=/etc/zapret
+Environment=INSTANCE=%i
+
+RestrictAddressFamilies=AF_NETLINK AF_UNIX AF_INET6 AF_INET
+
+LockPersonality=true
+MemoryDenyWriteExecute=true
+PrivateDevices=true
+PrivateMounts=true
+PrivateTmp=true
+ProcSubset=pid
+ProtectClock=true
+ProtectControlGroups=true
+ProtectHome=true
+ProtectHostname=true
+ProtectKernelLogs=true
+ProtectKernelModules=true
+ProtectProc=invisible
+ProtectSystem=full
+RemoveIPC=true
+RestrictNamespaces=true
+RestrictRealtime=true
+RestrictSUIDSGID=true
+SystemCallArchitectures=native
+SystemCallFilter=@system-service
+UMask=0077
+
+[Install]
+WantedBy=multi-user.target

install_easy.sh

@@ -69,7 +69,14 @@ check_bins()
 		echo found architecture "\"$arch\""
 	elif [ -f "$EXEDIR/Makefile" ] && exists make; then
 		echo trying to compile
-		[ "$SYSTEM" = "macos" ] && make_target=mac
+		case $SYSTEM in
+			macos)
+				make_target=mac
+				;;
+			systemd)
+				make_target=systemd
+				;;
+		esac
 		CFLAGS="-march=native ${CFLAGS}" make -C "$EXEDIR" $make_target || {
 			echo could not compile
 			make -C "$EXEDIR" clean

ip2net/Makefile

@@ -11,6 +11,8 @@ all: ip2net
 ip2net: $(SRC_FILES)
 	$(CC) -s $(CFLAGS) -o ip2net $(SRC_FILES) $(LIBS) $(LDFLAGS)
 
+systemd: ip2net
+
 android: ip2net
 
 bsd: $(SRC_FILES)

mdig/Makefile

@@ -12,6 +12,8 @@ all: mdig
 mdig: $(SRC_FILES)
 	$(CC) -s $(CFLAGS) -o mdig $(SRC_FILES) $(LIBS) $(LDFLAGS)
 
+systemd: mdig
+
 android: $(SRC_FILES)
 	$(CC) -s $(CFLAGS) -o mdig $(SRC_FILES) $(LIBS_ANDROID) $(LDFLAGS)
 

nfq/Makefile

@@ -1,8 +1,10 @@
 CC ?= gcc
 CFLAGS += -std=gnu99 -Os -flto=auto
+CFLAGS_SYSTEMD = -DUSE_SYSTEMD
 CFLAGS_BSD = -Wno-address-of-packed-member
 CFLAGS_CYGWIN = -Wno-address-of-packed-member -static
 LIBS_LINUX = -lnetfilter_queue -lnfnetlink -lz
+LIBS_SYSTEMD = -lsystemd
 LIBS_BSD = -lz
 LIBS_CYGWIN = -lz -Lwindows/windivert -Iwindows -lwlanapi -lole32 -loleaut32
 LIBS_CYGWIN32 = -lwindivert32
@@ -16,6 +18,9 @@ all: nfqws
 nfqws: $(SRC_FILES)
 	$(CC) -s $(CFLAGS) -o nfqws $(SRC_FILES) $(LIBS_LINUX) $(LDFLAGS)
 
+systemd: $(SRC_FILES)
+	$(CC) -s $(CFLAGS) $(CFLAGS_SYSTEMD) -o nfqws $(SRC_FILES) $(LIBS_LINUX) $(LIBS_SYSTEMD) $(LDFLAGS)
+
 android: nfqws
 
 bsd: $(SRC_FILES)

nfq/darkmagic.c

@@ -1747,7 +1747,9 @@ nofix:
 	bytes = sendto(sock, data, len, 0, (struct sockaddr*)&dst2, salen);
 	if (bytes==-1)
 	{
-		DLOG_PERROR("rawsend: sendto");
+		char s[40];
+		snprintf(s,sizeof(s),"rawsend: sendto (%zu)",len);
+		DLOG_PERROR(s);
 		return false;
 	}
 	return true;

nfq/desync.c

@@ -347,7 +347,7 @@ static void auto_hostlist_failed(struct desync_profile *dp, const char *hostname
 		{
 			DLOG("auto hostlist (profile %d) : adding %s to %s\n", dp->n, hostname, dp->hostlist_auto->filename);
 			HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : client %s : proto %s : adding to %s", hostname, dp->n, client_ip_port, l7proto_str(l7proto), dp->hostlist_auto->filename);
-			if (!StrPoolAddStr(&dp->hostlist_auto->hostlist, hostname))
+			if (!HostlistPoolAddStr(&dp->hostlist_auto->hostlist, hostname, 0))
 			{
 				DLOG_ERR("StrPoolAddStr out of memory\n");
 				return;

nfq/helpers.c

@@ -391,6 +391,12 @@ void fill_random_az09(uint8_t *p,size_t sz)
 	}
 }
 
+void set_console_io_buffering(void)
+{
+	setvbuf(stdout, NULL, _IOLBF, 0);
+	setvbuf(stderr, NULL, _IOLBF, 0);
+}
+
 bool set_env_exedir(const char *argv0)
 {
 	char *s,*d;

nfq/helpers.h

@@ -92,6 +92,7 @@ void fill_random_bytes(uint8_t *p,size_t sz);
 void fill_random_az(uint8_t *p,size_t sz);
 void fill_random_az09(uint8_t *p,size_t sz);
 
+void set_console_io_buffering(void);
 bool set_env_exedir(const char *argv0);
 
 

nfq/hostlist.c

@@ -4,7 +4,7 @@
 #include "helpers.h"
 
 // inplace tolower() and add to pool
-static bool addpool(strpool **hostlist, char **s, const char *end, int *ct)
+static bool addpool(hostlist_pool **hostlist, char **s, const char *end, int *ct)
 {
 	char *p=*s;
 
@@ -17,10 +17,16 @@ static bool addpool(strpool **hostlist, char **s, const char *end, int *ct)
 	else
 	{
 		// advance until eol lowering all chars
-		for (; p<end && *p && *p!='\r' && *p != '\n'; p++) *p=tolower(*p);
-		if (!StrPoolAddStrLen(hostlist, *s, p-*s))
+		uint32_t flags = 0;
+		if (*p=='^')
 		{
-			StrPoolDestroy(hostlist);
+			p = ++(*s);
+			flags |= HOSTLIST_POOL_FLAG_STRICT_MATCH;
+		}
+		for (; p<end && *p && *p!='\r' && *p != '\n'; p++) *p=tolower(*p);
+		if (!HostlistPoolAddStrLen(hostlist, *s, p-*s, flags))
+		{
+			HostlistPoolDestroy(hostlist);
 			*hostlist = NULL;
 			return false;
 		}
@@ -32,12 +38,12 @@ static bool addpool(strpool **hostlist, char **s, const char *end, int *ct)
 	return true;
 }
 
-bool AppendHostlistItem(strpool **hostlist, char *s)
+bool AppendHostlistItem(hostlist_pool **hostlist, char *s)
 {
 	return addpool(hostlist,&s,s+strlen(s),NULL);
 }
 
-bool AppendHostList(strpool **hostlist, const char *filename)
+bool AppendHostList(hostlist_pool **hostlist, const char *filename)
 {
 	char *p, *e, s[256], *zbuf;
 	size_t zsize;
@@ -114,10 +120,10 @@ static bool LoadHostList(struct hostlist_file *hfile)
 			return true;
 		}
 		if (FILE_MOD_COMPARE(&hfile->mod_sig,&fsig)) return true; // up to date
-		StrPoolDestroy(&hfile->hostlist);
+		HostlistPoolDestroy(&hfile->hostlist);
 		if (!AppendHostList(&hfile->hostlist, hfile->filename))
 		{
-			StrPoolDestroy(&hfile->hostlist);
+			HostlistPoolDestroy(&hfile->hostlist);
 			return false;
 		}
 		hfile->mod_sig=fsig;
@@ -138,10 +144,10 @@ static bool LoadHostLists(struct hostlist_files_head *list)
 	return bres;
 }
 
-bool NonEmptyHostlist(strpool **hostlist)
+bool NonEmptyHostlist(hostlist_pool **hostlist)
 {
 	// add impossible hostname if the list is empty
-	return *hostlist ? true : StrPoolAddStrLen(hostlist, "@&()", 4);
+	return *hostlist ? true : HostlistPoolAddStrLen(hostlist, "@&()", 4, 0);
 }
 
 static void MakeAutolistsNonEmpty()
@@ -164,19 +170,34 @@ bool LoadAllHostLists()
 
 
 
-static bool SearchHostList(strpool *hostlist, const char *host)
+static bool SearchHostList(hostlist_pool *hostlist, const char *host)
 {
 	if (hostlist)
 	{
 		const char *p = host;
-		bool bInHostList;
+		const struct hostlist_pool *hp;
+		bool bHostFull=true;
 		while (p)
 		{
-			bInHostList = StrPoolCheckStr(hostlist, p);
-			DLOG("hostlist check for %s : %s\n", p, bInHostList ? "positive" : "negative");
-			if (bInHostList) return true;
+			DLOG("hostlist check for %s : ", p);
+			hp = HostlistPoolGetStr(hostlist, p);
+			if (hp)
+			{
+				if ((hp->flags & HOSTLIST_POOL_FLAG_STRICT_MATCH) && !bHostFull)
+				{
+					DLOG("negative : strict_mismatch : %s != %s\n", p, host);
+				}
+				else
+				{
+					DLOG("positive\n");
+					return true;
+				}
+			}
+			else
+				DLOG("negative\n");
 			p = strchr(p, '.');
 			if (p) p++;
+			bHostFull = false;
 		}
 	}
 	return false;

nfq/hostlist.h

@@ -4,10 +4,10 @@
 #include "pools.h"
 #include "params.h"
 
-bool AppendHostlistItem(strpool **hostlist, char *s);
-bool AppendHostList(strpool **hostlist, const char *filename);
+bool AppendHostlistItem(hostlist_pool **hostlist, char *s);
+bool AppendHostList(hostlist_pool **hostlist, const char *filename);
 bool LoadAllHostLists();
-bool NonEmptyHostlist(strpool **hostlist);
+bool NonEmptyHostlist(hostlist_pool **hostlist);
 // return : true = apply fooling, false = do not apply
 bool HostlistCheck(const struct desync_profile *dp,const char *host, bool *excluded, bool bSkipReloadCheck);
 struct hostlist_file *RegisterHostlist(struct desync_profile *dp, bool bExclude, const char *filename);

nfq/nfqws.c

@@ -35,6 +35,10 @@
 #include "win.h"
 #endif
 
+#ifdef USE_SYSTEMD
+#include <systemd/sd-daemon.h>
+#endif
+
 #ifdef __linux__
 #include <libnetfilter_queue/libnetfilter_queue.h>
 #define NF_DROP 0
@@ -271,6 +275,15 @@ exiterr:
 	return false;
 }
 
+static void notify_ready(void)
+{
+#ifdef USE_SYSTEMD
+	int r = sd_notify(0, "READY=1");
+	if (r < 0)
+		DLOG_ERR("sd_notify: %s\n", strerror(-r));
+#endif
+}
+
 static int nfq_main(void)
 {
 	uint8_t buf[16384] __attribute__((aligned));
@@ -280,7 +293,7 @@ static int nfq_main(void)
 	ssize_t rd;
 
 	sec_harden();
-	if (params.droproot && !droproot(params.uid, params.gid))
+	if (params.droproot && !droproot(params.uid, params.gid) || !dropcaps())
 		return 1;
 	print_id();
 	if (params.droproot && !test_list_files())
@@ -291,6 +304,8 @@ static int nfq_main(void)
 	if (!nfq_init(&h,&qh))
 		return 1;
 
+	notify_ready();
+
 	fd = nfq_fd(h);
 	do
 	{
@@ -484,7 +499,6 @@ static int win_main(const char *windivert_filter)
 		if (!logical_net_filter_match())
 		{
 			DLOG_CONDUP("logical network is not present. waiting it to appear.\n");
-			fflush(stdout);
 			do
 			{
 				if (bQuit)
@@ -497,7 +511,6 @@ static int win_main(const char *windivert_filter)
 			}
 			while (!logical_net_filter_match());
 			DLOG_CONDUP("logical network now present\n");
-			fflush(stdout);
 		}
 
 		if (!windivert_init(windivert_filter))
@@ -508,10 +521,6 @@ static int win_main(const char *windivert_filter)
 
 		DLOG_CONDUP("windivert initialized. capture is started.\n");
 
-		// cygwin auto flush fails when piping
-		fflush(stdout);
-		fflush(stderr);
-
 		for (id=0;;id++)
 		{
 			len = sizeof(packet);
@@ -574,10 +583,6 @@ static int win_main(const char *windivert_filter)
 				default:
 					DLOG("packet: id=%u drop\n", id);
 			}
-	
-			// cygwin auto flush fails when piping
-			fflush(stdout);
-			fflush(stderr);
 		}
 	}
 	win_dark_deinit();
@@ -901,7 +906,7 @@ static bool parse_split_pos_list(char *opt, struct proto_pos *splits, int splits
 	return true;
 }
 
-static bool parse_domain_list(char *opt, strpool **pp)
+static bool parse_domain_list(char *opt, hostlist_pool **pp)
 {
 	char *e,*p,c;
 
@@ -1409,6 +1414,7 @@ void check_dp(const struct desync_profile *dp)
 
 int main(int argc, char **argv)
 {
+	set_console_io_buffering();
 	set_env_exedir(argv[0]);
 
 #ifdef __CYGWIN__

nfq/pools.c

@@ -31,6 +31,9 @@
 		free(elem); \
 		return false; \
 	}
+#define ADD_HOSTLIST_POOL(etype, ppool, keystr, keystr_len, flg) \
+	ADD_STR_POOL(etype,ppool,keystr,keystr_len); \
+	elem->flags = flg;
 
 
 #undef uthash_nonfatal_oom
@@ -42,27 +45,31 @@ static void ut_oom_recover(void *elem)
 }
 
 // for not zero terminated strings
-bool StrPoolAddStrLen(strpool **pp, const char *s, size_t slen)
+bool HostlistPoolAddStrLen(hostlist_pool **pp, const char *s, size_t slen, uint32_t flags)
 {
-	ADD_STR_POOL(strpool, pp, s, slen)
+	ADD_HOSTLIST_POOL(hostlist_pool, pp, s, slen, flags)
 	return true;
 }
 // for zero terminated strings
-bool StrPoolAddStr(strpool **pp, const char *s)
+bool HostlistPoolAddStr(hostlist_pool **pp, const char *s, uint32_t flags)
 {
-	return StrPoolAddStrLen(pp, s, strlen(s));
+	return HostlistPoolAddStrLen(pp, s, strlen(s), flags);
 }
 
-bool StrPoolCheckStr(strpool *p, const char *s)
+hostlist_pool *HostlistPoolGetStr(hostlist_pool *p, const char *s)
 {
-	strpool *elem;
+	hostlist_pool *elem;
 	HASH_FIND_STR(p, s, elem);
-	return elem != NULL;
+	return elem;
+}
+bool HostlistPoolCheckStr(hostlist_pool *p, const char *s)
+{
+	return !!HostlistPoolGetStr(p,s);
 }
 
-void StrPoolDestroy(strpool **pp)
+void HostlistPoolDestroy(hostlist_pool **pp)
 {
-	DESTROY_STR_POOL(strpool, pp)
+	DESTROY_STR_POOL(hostlist_pool, pp)
 }
 
 
@@ -178,7 +185,7 @@ struct hostlist_file *hostlist_files_add(struct hostlist_files_head *head, const
 static void hostlist_files_entry_destroy(struct hostlist_file *entry)
 {
 	free(entry->filename);
-	StrPoolDestroy(&entry->hostlist);
+	HostlistPoolDestroy(&entry->hostlist);
 	free(entry);
 }
 void hostlist_files_destroy(struct hostlist_files_head *head)

nfq/pools.h

@@ -12,15 +12,18 @@
 #define HASH_FUNCTION HASH_BER
 #include "uthash.h"
 
-typedef struct strpool {
-    char *str;		/* key */
-    UT_hash_handle hh;	/* makes this structure hashable */
-} strpool;
+#define HOSTLIST_POOL_FLAG_STRICT_MATCH		1
 
-void StrPoolDestroy(strpool **pp);
-bool StrPoolAddStr(strpool **pp,const char *s);
-bool StrPoolAddStrLen(strpool **pp,const char *s,size_t slen);
-bool StrPoolCheckStr(strpool *p,const char *s);
+typedef struct hostlist_pool {
+	char *str;		/* key */
+	uint32_t flags;		/* custom data */
+	UT_hash_handle hh;	/* makes this structure hashable */
+} hostlist_pool;
+
+void HostlistPoolDestroy(hostlist_pool **pp);
+bool HostlistPoolAddStr(hostlist_pool **pp, const char *s, uint32_t flags);
+bool HostlistPoolAddStrLen(hostlist_pool **pp, const char *s, size_t slen, uint32_t flags);
+hostlist_pool *HostlistPoolGetStr(hostlist_pool *p, const char *s);
 
 struct str_list {
 	char *str;
@@ -29,10 +32,10 @@ struct str_list {
 LIST_HEAD(str_list_head, str_list);
 
 typedef struct hostfail_pool {
-    char *str;		/* key */
-    int counter;	/* value */
-    time_t expire;	/* when to expire record (unixtime) */
-    UT_hash_handle hh;	/* makes this structure hashable */
+	char *str;		/* key */
+	int counter;	/* value */
+	time_t expire;	/* when to expire record (unixtime) */
+	UT_hash_handle hh;	/* makes this structure hashable */
 } hostfail_pool;
 
 void HostFailPoolDestroy(hostfail_pool **pp);
@@ -51,7 +54,7 @@ void strlist_destroy(struct str_list_head *head);
 struct hostlist_file {
 	char *filename;
 	file_mod_sig mod_sig;
-	strpool *hostlist;
+	hostlist_pool *hostlist;
 	LIST_ENTRY(hostlist_file) next;
 };
 LIST_HEAD(hostlist_files_head, hostlist_file);

nfq/sec.c

@@ -287,7 +287,7 @@ bool can_drop_root(void)
 {
 #ifdef __linux__
 	// has some caps
-	return checkpcap((1<<CAP_SETUID)|(1<<CAP_SETGID)|(1<<CAP_SETPCAP));
+	return checkpcap((1<<CAP_SETUID)|(1<<CAP_SETGID));
 #else
 	// effective root
 	return !geteuid();
@@ -319,11 +319,7 @@ bool droproot(uid_t uid, gid_t gid)
 		DLOG_PERROR("setuid");
 		return false;
 	}
-#ifdef __linux__
-	return dropcaps();
-#else
 	return true;
-#endif
 }
 
 void print_id(void)

tpws/Makefile

@@ -1,7 +1,9 @@
 CC ?= gcc
 CFLAGS += -std=gnu99 -Os -flto=auto
+CFLAGS_SYSTEMD = -DUSE_SYSTEMD
 CFLAGS_BSD = -Wno-address-of-packed-member
 LIBS = -lz -lpthread
+LIBS_SYSTEMD = -lz -lsystemd
 LIBS_ANDROID = -lz
 SRC_FILES = *.c
 SRC_FILES_ANDROID = $(SRC_FILES) andr/*.c
@@ -11,6 +13,9 @@ all: tpws
 tpws: $(SRC_FILES)
 	$(CC) -s $(CFLAGS) -o tpws $(SRC_FILES) $(LIBS) $(LDFLAGS)
 
+systemd: $(SRC_FILES)
+	$(CC) -s $(CFLAGS) $(CFLAGS_SYSTEMD) -o tpws $(SRC_FILES) $(LIBS_SYSTEMD) $(LDFLAGS)
+
 android: $(SRC_FILES)
 	$(CC) -s $(CFLAGS) -o tpws $(SRC_FILES_ANDROID) $(LIBS_ANDROID) $(LDFLAGS)
 

tpws/helpers.c

@@ -78,6 +78,13 @@ char *strncasestr(const char *s, const char *find, size_t slen)
 	return (char *)s;
 }
 
+bool str_ends_with(const char *s, const char *suffix)
+{
+    size_t slen = strlen(s);
+    size_t suffix_len = strlen(suffix);
+    return suffix_len <= slen && !strcmp(s + slen - suffix_len, suffix);
+}
+
 bool load_file(const char *filename, void *buffer, size_t *buffer_size)
 {
 	FILE *F;
@@ -383,6 +390,11 @@ bool pf_is_empty(const port_filter *pf)
 	return !pf->neg && !pf->from && !pf->to;
 }
 
+void set_console_io_buffering(void)
+{
+	setvbuf(stdout, NULL, _IOLBF, 0);
+	setvbuf(stderr, NULL, _IOLBF, 0);
+}
 
 bool set_env_exedir(const char *argv0)
 {
@@ -560,4 +572,20 @@ bool socket_wait_notsent(int sfd, unsigned int delay_ms, unsigned int *wasted_ms
 	}
 	return false;
 }
+
+int is_wsl(void)
+{
+  struct utsname buf;
+  if (uname(&buf) != 0)
+    return -1;
+
+  if (strcmp(buf.sysname, "Linux") != 0)
+    return 0;
+  if (str_ends_with(buf.release, "microsoft-standard-WSL2"))
+    return 2;
+  if (str_ends_with(buf.release, "-Microsoft"))
+    return 1;
+
+  return 0;
+}
 #endif

tpws/helpers.h

@@ -7,6 +7,7 @@
 #include <netdb.h>
 #include <stdio.h>
 #include <time.h>
+#include <sys/utsname.h>
 
 // this saves memory. sockaddr_storage is larger than required. it can be 128 bytes. sockaddr_in6 is 28 bytes.
 typedef union
@@ -22,6 +23,8 @@ void rtrim(char *s);
 void replace_char(char *s, char from, char to);
 char *strncasestr(const char *s,const char *find, size_t slen);
 
+bool str_ends_with(const char *s, const char *suffix);
+
 bool load_file(const char *filename,void *buffer,size_t *buffer_size);
 bool append_to_list_file(const char *filename, const char *s);
 
@@ -82,6 +85,7 @@ bool pf_in_range(uint16_t port, const port_filter *pf);
 bool pf_parse(const char *s, port_filter *pf);
 bool pf_is_empty(const port_filter *pf);
 
+void set_console_io_buffering(void);
 bool set_env_exedir(const char *argv0);
 
 #ifndef IN_LOOPBACK
@@ -132,4 +136,6 @@ void msleep(unsigned int ms);
 bool socket_supports_notsent();
 bool socket_has_notsent(int sfd);
 bool socket_wait_notsent(int sfd, unsigned int delay_ms, unsigned int *wasted_ms);
+
+int is_wsl();
 #endif

tpws/hostlist.c

@@ -4,7 +4,7 @@
 #include "helpers.h"
 
 // inplace tolower() and add to pool
-static bool addpool(strpool **hostlist, char **s, const char *end, int *ct)
+static bool addpool(hostlist_pool **hostlist, char **s, const char *end, int *ct)
 {
 	char *p=*s;
 
@@ -17,10 +17,16 @@ static bool addpool(strpool **hostlist, char **s, const char *end, int *ct)
 	else
 	{
 		// advance until eol lowering all chars
-		for (; p<end && *p && *p!='\r' && *p != '\n'; p++) *p=tolower(*p);
-		if (!StrPoolAddStrLen(hostlist, *s, p-*s))
+		uint32_t flags = 0;
+		if (*p=='^')
 		{
-			StrPoolDestroy(hostlist);
+			p = ++(*s);
+			flags |= HOSTLIST_POOL_FLAG_STRICT_MATCH;
+		}
+		for (; p<end && *p && *p!='\r' && *p != '\n'; p++) *p=tolower(*p);
+		if (!HostlistPoolAddStrLen(hostlist, *s, p-*s, flags))
+		{
+			HostlistPoolDestroy(hostlist);
 			*hostlist = NULL;
 			return false;
 		}
@@ -32,12 +38,12 @@ static bool addpool(strpool **hostlist, char **s, const char *end, int *ct)
 	return true;
 }
 
-bool AppendHostlistItem(strpool **hostlist, char *s)
+bool AppendHostlistItem(hostlist_pool **hostlist, char *s)
 {
 	return addpool(hostlist,&s,s+strlen(s),NULL);
 }
 
-bool AppendHostList(strpool **hostlist, const char *filename)
+bool AppendHostList(hostlist_pool **hostlist, const char *filename)
 {
 	char *p, *e, s[256], *zbuf;
 	size_t zsize;
@@ -114,10 +120,10 @@ static bool LoadHostList(struct hostlist_file *hfile)
 			return true;
 		}
 		if (FILE_MOD_COMPARE(&hfile->mod_sig,&fsig)) return true; // up to date
-		StrPoolDestroy(&hfile->hostlist);
+		HostlistPoolDestroy(&hfile->hostlist);
 		if (!AppendHostList(&hfile->hostlist, hfile->filename))
 		{
-			StrPoolDestroy(&hfile->hostlist);
+			HostlistPoolDestroy(&hfile->hostlist);
 			return false;
 		}
 		hfile->mod_sig=fsig;
@@ -138,10 +144,10 @@ static bool LoadHostLists(struct hostlist_files_head *list)
 	return bres;
 }
 
-bool NonEmptyHostlist(strpool **hostlist)
+bool NonEmptyHostlist(hostlist_pool **hostlist)
 {
 	// add impossible hostname if the list is empty
-	return *hostlist ? true : StrPoolAddStrLen(hostlist, "@&()", 4);
+	return *hostlist ? true : HostlistPoolAddStrLen(hostlist, "@&()", 4, 0);
 }
 
 static void MakeAutolistsNonEmpty()
@@ -164,19 +170,34 @@ bool LoadAllHostLists()
 
 
 
-static bool SearchHostList(strpool *hostlist, const char *host)
+static bool SearchHostList(hostlist_pool *hostlist, const char *host)
 {
 	if (hostlist)
 	{
 		const char *p = host;
-		bool bInHostList;
+		const struct hostlist_pool *hp;
+		bool bHostFull=true;
 		while (p)
 		{
-			bInHostList = StrPoolCheckStr(hostlist, p);
-			VPRINT("hostlist check for %s : %s\n", p, bInHostList ? "positive" : "negative");
-			if (bInHostList) return true;
+			VPRINT("hostlist check for %s : ", p);
+			hp = HostlistPoolGetStr(hostlist, p);
+			if (hp)
+			{
+				if ((hp->flags & HOSTLIST_POOL_FLAG_STRICT_MATCH) && !bHostFull)
+				{
+					VPRINT("negative : strict_mismatch : %s != %s\n", p, host);
+				}
+				else
+				{
+					VPRINT("positive\n");
+					return true;
+				}
+			}
+			else
+				VPRINT("negative\n");
 			p = strchr(p, '.');
 			if (p) p++;
+			bHostFull = false;
 		}
 	}
 	return false;

tpws/hostlist.h

@@ -4,10 +4,10 @@
 #include "pools.h"
 #include "params.h"
 
-bool AppendHostlistItem(strpool **hostlist, char *s);
-bool AppendHostList(strpool **hostlist, const char *filename);
+bool AppendHostlistItem(hostlist_pool **hostlist, char *s);
+bool AppendHostList(hostlist_pool **hostlist, const char *filename);
 bool LoadAllHostLists();
-bool NonEmptyHostlist(strpool **hostlist);
+bool NonEmptyHostlist(hostlist_pool **hostlist);
 // return : true = apply fooling, false = do not apply
 bool HostlistCheck(const struct desync_profile *dp,const char *host, bool *excluded, bool bSkipReloadCheck);
 struct hostlist_file *RegisterHostlist(struct desync_profile *dp, bool bExclude, const char *filename);

tpws/pools.c

@@ -31,6 +31,9 @@
 		free(elem); \
 		return false; \
 	}
+#define ADD_HOSTLIST_POOL(etype, ppool, keystr, keystr_len, flg) \
+	ADD_STR_POOL(etype,ppool,keystr,keystr_len); \
+	elem->flags = flg;
 
 
 #undef uthash_nonfatal_oom
@@ -42,27 +45,31 @@ static void ut_oom_recover(void *elem)
 }
 
 // for not zero terminated strings
-bool StrPoolAddStrLen(strpool **pp, const char *s, size_t slen)
+bool HostlistPoolAddStrLen(hostlist_pool **pp, const char *s, size_t slen, uint32_t flags)
 {
-	ADD_STR_POOL(strpool, pp, s, slen)
+	ADD_HOSTLIST_POOL(hostlist_pool, pp, s, slen, flags)
 	return true;
 }
 // for zero terminated strings
-bool StrPoolAddStr(strpool **pp, const char *s)
+bool HostlistPoolAddStr(hostlist_pool **pp, const char *s, uint32_t flags)
 {
-	return StrPoolAddStrLen(pp, s, strlen(s));
+	return HostlistPoolAddStrLen(pp, s, strlen(s), flags);
 }
 
-bool StrPoolCheckStr(strpool *p, const char *s)
+hostlist_pool *HostlistPoolGetStr(hostlist_pool *p, const char *s)
 {
-	strpool *elem;
+	hostlist_pool *elem;
 	HASH_FIND_STR(p, s, elem);
-	return elem != NULL;
+	return elem;
+}
+bool HostlistPoolCheckStr(hostlist_pool *p, const char *s)
+{
+	return !!HostlistPoolGetStr(p,s);
 }
 
-void StrPoolDestroy(strpool **pp)
+void HostlistPoolDestroy(hostlist_pool **pp)
 {
-	DESTROY_STR_POOL(strpool, pp)
+	DESTROY_STR_POOL(hostlist_pool, pp)
 }
 
 
@@ -178,7 +185,7 @@ struct hostlist_file *hostlist_files_add(struct hostlist_files_head *head, const
 static void hostlist_files_entry_destroy(struct hostlist_file *entry)
 {
 	free(entry->filename);
-	StrPoolDestroy(&entry->hostlist);
+	HostlistPoolDestroy(&entry->hostlist);
 	free(entry);
 }
 void hostlist_files_destroy(struct hostlist_files_head *head)

tpws/pools.h

@@ -12,15 +12,18 @@
 #define HASH_FUNCTION HASH_BER
 #include "uthash.h"
 
-typedef struct strpool {
-    char *str;		/* key */
-    UT_hash_handle hh;	/* makes this structure hashable */
-} strpool;
+#define HOSTLIST_POOL_FLAG_STRICT_MATCH		1
 
-void StrPoolDestroy(strpool **pp);
-bool StrPoolAddStr(strpool **pp,const char *s);
-bool StrPoolAddStrLen(strpool **pp,const char *s,size_t slen);
-bool StrPoolCheckStr(strpool *p,const char *s);
+typedef struct hostlist_pool {
+	char *str;		/* key */
+	uint32_t flags;		/* custom data */
+	UT_hash_handle hh;	/* makes this structure hashable */
+} hostlist_pool;
+
+void HostlistPoolDestroy(hostlist_pool **pp);
+bool HostlistPoolAddStr(hostlist_pool **pp, const char *s, uint32_t flags);
+bool HostlistPoolAddStrLen(hostlist_pool **pp, const char *s, size_t slen, uint32_t flags);
+hostlist_pool *HostlistPoolGetStr(hostlist_pool *p, const char *s);
 
 struct str_list {
 	char *str;
@@ -29,10 +32,10 @@ struct str_list {
 LIST_HEAD(str_list_head, str_list);
 
 typedef struct hostfail_pool {
-    char *str;		/* key */
-    int counter;	/* value */
-    time_t expire;	/* when to expire record (unixtime) */
-    UT_hash_handle hh;	/* makes this structure hashable */
+	char *str;		/* key */
+	int counter;	/* value */
+	time_t expire;	/* when to expire record (unixtime) */
+	UT_hash_handle hh;	/* makes this structure hashable */
 } hostfail_pool;
 
 void HostFailPoolDestroy(hostfail_pool **pp);
@@ -51,7 +54,7 @@ void strlist_destroy(struct str_list_head *head);
 struct hostlist_file {
 	char *filename;
 	file_mod_sig mod_sig;
-	strpool *hostlist;
+	hostlist_pool *hostlist;
 	LIST_ENTRY(hostlist_file) next;
 };
 LIST_HEAD(hostlist_files_head, hostlist_file);

tpws/sec.c

@@ -263,7 +263,7 @@ bool can_drop_root(void)
 {
 #ifdef __linux__
 	// has some caps
-	return checkpcap((1<<CAP_SETUID)|(1<<CAP_SETGID)|(1<<CAP_SETPCAP));
+	return checkpcap((1<<CAP_SETUID)|(1<<CAP_SETGID));
 #else
 	// effective root
 	return !geteuid();
@@ -295,11 +295,7 @@ bool droproot(uid_t uid, gid_t gid)
 		DLOG_PERROR("setuid");
 		return false;
 	}
-#ifdef __linux__
-	return dropcaps();
-#else
 	return true;
-#endif
 }
 
 void print_id(void)

tpws/tamper.c

@@ -433,7 +433,7 @@ static void auto_hostlist_failed(struct desync_profile *dp, const char *hostname
 		{
 			VPRINT("auto hostlist (profile %d) : adding %s to %s\n", dp->n, hostname, dp->hostlist_auto->filename);
 			HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : client %s : proto %s : adding to %s", hostname, dp->n, client_ip_port, l7proto_str(l7proto), dp->hostlist_auto->filename);
-			if (!StrPoolAddStr(&dp->hostlist_auto->hostlist, hostname))
+			if (!HostlistPoolAddStr(&dp->hostlist_auto->hostlist, hostname, 0))
 			{
 				DLOG_ERR("StrPoolAddStr out of memory\n");
 				return;

tpws/tpws.c

@@ -121,7 +121,6 @@ static bool test_list_files()
 	struct hostlist_file *hfile;
 	struct ipset_file *ifile;
 
-printf("1\n");
 	LIST_FOREACH(hfile, &params.hostlists, next)
 		if (hfile->filename && !file_open_test(hfile->filename, O_RDONLY))
 		{
@@ -136,7 +135,6 @@ printf("1\n");
 			DLOG_ERR("cannot access ipset file '%s'\n",ifile->filename);
 			return false;
 		}
-printf("2\n");
 	return true;
 }
 
@@ -535,7 +533,7 @@ static bool parse_pf_list(char *opt, struct port_filters_head *pfl)
 	return true;
 }
 
-static bool parse_domain_list(char *opt, strpool **pp)
+static bool parse_domain_list(char *opt, hostlist_pool **pp)
 {
 	char *e,*p,c;
 
@@ -1476,7 +1474,7 @@ void parse_params(int argc, char *argv[])
 		params.binds_last=0; // default bind to all
 	}
 	if (!params.resolver_threads) params.resolver_threads = 5 + params.maxconn/50;
-	
+
 	VPRINT("adding low-priority default empty desync profile\n");
 	// add default empty profile
 	if (!(dpl = dp_list_add(&params.desync_profiles)))
@@ -1492,6 +1490,10 @@ void parse_params(int argc, char *argv[])
 		fprintf(stderr, "could not chown %s. log file may not be writable after privilege drop\n", params.debug_logfile);
 	if (params.droproot && *params.hostlist_auto_debuglog && chown(params.hostlist_auto_debuglog, params.uid, -1))
 		DLOG_ERR("could not chown %s. auto hostlist debug log may not be writable after privilege drop\n", params.hostlist_auto_debuglog);
+
+#ifdef __linux__
+	bool bHasMSS=false, bHasOOB=false, bHasDisorder=false;
+#endif
 	LIST_FOREACH(dpl, &params.desync_profiles, next)
 	{
 		dp = &dpl->dp;
@@ -1502,7 +1504,22 @@ void parse_params(int argc, char *argv[])
 		}
 		if (params.droproot && dp->hostlist_auto && chown(dp->hostlist_auto->filename, params.uid, -1))
 			DLOG_ERR("could not chown %s. auto hostlist file may not be writable after privilege drop\n", dp->hostlist_auto->filename);
+#ifdef __linux__
+		if (dp->mss) bHasMSS=true;
+		if (dp->oob || dp->oob_http || dp->oob_tls) bHasOOB=true;
+		if (dp->disorder || dp->disorder_http || dp->disorder_tls) bHasDisorder=true;
+#endif
 	}
+#ifdef __linux__
+	if (is_wsl()==1)
+	{
+		if (!params.nosplice) DLOG_CONDUP("WARNING ! WSL1 may have problems with splice. Consider using `--nosplice`.\n");
+		if (bHasMSS) DLOG_CONDUP("WARNING ! WSL1 does not support MSS socket option. MSS will likely fail.\n");
+		if (bHasOOB) DLOG_CONDUP("WARNING ! WSL1 does not support OOB. OOB will likely fail.\n");
+		if (bHasDisorder) DLOG_CONDUP("WARNING ! Windows retransmits whole TCP segment. Disorder will not function properly.\n");
+		fflush(stdout);
+	}
+#endif
 
 	if (!LoadAllHostLists())
 	{
@@ -1696,6 +1713,7 @@ int main(int argc, char *argv[])
 	struct salisten_s list[MAX_BINDS];
 	char ip_port[48];
 
+	set_console_io_buffering();
 	set_env_exedir(argv[0]);
 	srand(time(NULL));
 	mask_from_preflen6_prepare();
@@ -1948,6 +1966,10 @@ int main(int argc, char *argv[])
 	sec_harden();
 	if (params.droproot && !droproot(params.uid,params.gid))
 		goto exiterr;
+#ifdef __linux__
+	if (!dropcaps())
+		goto exiterr;
+#endif
 	print_id();
 	if (params.droproot && !test_list_files())
 		goto exiterr;

tpws/tpws_conn.c

@@ -16,6 +16,10 @@
 #include <fcntl.h>
 #include <netdb.h>
 
+#ifdef USE_SYSTEMD
+#include <systemd/sd-daemon.h>
+#endif
+
 #include "tpws.h"
 #include "tpws_conn.h"
 #include "redirect.h"
@@ -25,6 +29,15 @@
 #include "hostlist.h"
 #include "linux_compat.h"
 
+static void notify_ready(void)
+{
+#ifdef USE_SYSTEMD
+	int r = sd_notify(0, "READY=1");
+	if (r < 0)
+		DLOG_ERR("sd_notify: %s\n", strerror(-r));
+#endif
+}
+
 // keep separate legs counter. counting every time thousands of legs can consume cpu
 static int legs_local, legs_remote;
 /*
@@ -1542,6 +1555,8 @@ int event_loop(const int *listen_fd, size_t listen_fd_ct)
 		VPRINT("initialized multi threaded resolver with %d threads\n",resolver_thread_count());
 	}
 
+	notify_ready();
+
 	for(;;)
 	{
 		ReloadCheck();
@@ -1755,8 +1770,6 @@ int event_loop(const int *listen_fd, size_t listen_fd_ct)
 			// at least one leg was removed. recount legs
 			print_legs();
 		}
-
-		fflush(stderr); fflush(stdout); // for console messages
 	}
 
 ex: