quick_start_windows.txt : numbering

This reverts commit 64b2f940a2.

.gitignore

@@ -1,4 +1,4 @@
-config
+/config
 ip2net/ip2net
 mdig/mdig
 nfq/nfqws

binaries/win64/zapret-winws/ipset-discord.txt

@@ -0,0 +1,721 @@
+5.200.14.249
+18.165.140.0/25
+23.227.38.74
+34.0.48.0/24
+34.0.49.64/26
+34.0.50.0/25
+34.0.51.0/24
+34.0.52.0/22
+34.0.56.0/23
+34.0.59.0/24
+34.0.60.0/24
+34.0.62.128/25
+34.0.63.228
+34.0.64.0/23
+34.0.66.130
+34.0.82.140
+34.0.129.128/25
+34.0.130.0/24
+34.0.131.130
+34.0.132.139
+34.0.133.75
+34.0.134.0/24
+34.0.135.251
+34.0.136.51
+34.0.137.0/24
+34.0.139.0/24
+34.0.140.0/23
+34.0.142.0/25
+34.0.144.0/23
+34.0.146.0/24
+34.0.148.25
+34.0.149.101
+34.0.151.0/25
+34.0.153.0/24
+34.0.155.0/24
+34.0.156.101
+34.0.157.0/25
+34.0.158.247
+34.0.159.188
+34.0.192.0/25
+34.0.193.0/24
+34.0.194.0/24
+34.0.195.172
+34.0.196.200/29
+34.0.197.81
+34.0.198.25
+34.0.199.0/24
+34.0.200.0/24
+34.0.201.81
+34.0.202.34
+34.0.203.0/24
+34.0.204.0/23
+34.0.206.0/25
+34.0.207.0/25
+34.0.208.195
+34.0.209.0/24
+34.0.210.20
+34.0.211.0/26
+34.0.212.0/24
+34.0.213.64/26
+34.0.215.128/25
+34.0.216.238
+34.0.217.0/24
+34.0.218.83
+34.0.220.103
+34.0.221.0/24
+34.0.222.193
+34.0.223.68
+34.0.227.0/24
+34.0.240.0/21
+34.0.248.0/23
+34.0.250.0/24
+34.0.251.0/25
+34.1.216.0/24
+34.1.221.166
+35.207.64.0/23
+35.207.67.116
+35.207.71.0/24
+35.207.72.32
+35.207.73.0/24
+35.207.74.0/24
+35.207.75.128/25
+35.207.76.128/26
+35.207.77.0/24
+35.207.78.129
+35.207.79.0/24
+35.207.80.76
+35.207.81.248/30
+35.207.82.0/23
+35.207.84.0/24
+35.207.85.160
+35.207.86.41
+35.207.87.184
+35.207.89.188
+35.207.91.146
+35.207.92.230
+35.207.95.0/24
+35.207.97.174
+35.207.99.134
+35.207.100.64/26
+35.207.101.130
+35.207.103.64/26
+35.207.104.0/24
+35.207.106.128/26
+35.207.107.19
+35.207.108.192/27
+35.207.109.185
+35.207.110.0/24
+35.207.111.174
+35.207.114.16
+35.207.115.163
+35.207.116.51
+35.207.117.0/24
+35.207.121.204
+35.207.122.0/25
+35.207.124.145
+35.207.125.116
+35.207.126.30
+35.207.129.0/24
+35.207.131.128/27
+35.207.132.247
+35.207.135.147
+35.207.136.69
+35.207.137.0/24
+35.207.139.0/24
+35.207.140.241
+35.207.141.119
+35.207.142.0/24
+35.207.143.96/27
+35.207.144.0/25
+35.207.145.0/24
+35.207.146.89
+35.207.147.0/24
+35.207.149.0/24
+35.207.150.0/24
+35.207.151.61
+35.207.153.117
+35.207.154.0/24
+35.207.155.128/25
+35.207.156.254
+35.207.157.7
+35.207.158.192
+35.207.160.160
+35.207.162.239
+35.207.163.0/24
+35.207.164.0/25
+35.207.165.147
+35.207.166.0/25
+35.207.167.0/24
+35.207.168.116
+35.207.170.0/23
+35.207.172.0/24
+35.207.174.55
+35.207.176.128/25
+35.207.178.0/24
+35.207.180.152
+35.207.181.76
+35.207.182.125
+35.207.184.101
+35.207.185.192
+35.207.186.128/25
+35.207.187.228
+35.207.188.0/24
+35.207.189.0/25
+35.207.190.194
+35.207.191.64/26
+35.207.193.165
+35.207.195.75
+35.207.196.0/24
+35.207.198.0/23
+35.207.201.186
+35.207.202.169
+35.207.205.211
+35.207.207.4
+35.207.209.0/25
+35.207.210.191
+35.207.211.253
+35.207.213.97
+35.207.214.0/24
+35.207.220.147
+35.207.221.58
+35.207.222.105
+35.207.224.151
+35.207.225.210
+35.207.227.0/24
+35.207.229.212
+35.207.232.26
+35.207.234.182
+35.207.238.0/24
+35.207.240.0/24
+35.207.245.0/24
+35.207.249.0/24
+35.207.250.212
+35.207.251.0/27
+35.212.4.134
+35.212.12.148
+35.212.88.11
+35.212.102.50
+35.212.111.0/26
+35.212.117.247
+35.212.120.122
+35.213.0.0/24
+35.213.2.8
+35.213.4.185
+35.213.6.118
+35.213.7.128/25
+35.213.8.168
+35.213.10.0/24
+35.213.11.21
+35.213.12.224/27
+35.213.13.19
+35.213.14.217
+35.213.16.67
+35.213.17.235
+35.213.23.166
+35.213.25.164
+35.213.26.62
+35.213.27.252
+35.213.32.0/24
+35.213.33.74
+35.213.34.204
+35.213.37.81
+35.213.38.186
+35.213.39.253
+35.213.42.0/24
+35.213.43.79
+35.213.45.0/24
+35.213.46.136
+35.213.49.17
+35.213.50.0/24
+35.213.51.213
+35.213.52.0/25
+35.213.53.0/24
+35.213.54.0/24
+35.213.56.0/25
+35.213.59.0/24
+35.213.61.58
+35.213.65.0/24
+35.213.67.0/24
+35.213.68.192/26
+35.213.70.151
+35.213.72.128/25
+35.213.73.245
+35.213.74.131
+35.213.78.0/24
+35.213.79.137
+35.213.80.0/25
+35.213.83.128/25
+35.213.84.245
+35.213.85.0/24
+35.213.88.145
+35.213.89.80/28
+35.213.90.0/24
+35.213.91.195
+35.213.92.0/24
+35.213.93.254
+35.213.94.78
+35.213.95.145
+35.213.96.87
+35.213.98.0/24
+35.213.99.126
+35.213.101.214
+35.213.102.0/24
+35.213.105.0/24
+35.213.106.128/25
+35.213.107.158
+35.213.109.0/24
+35.213.110.40
+35.213.111.0/25
+35.213.115.0/25
+35.213.120.0/24
+35.213.122.0/24
+35.213.124.89
+35.213.125.40
+35.213.126.185
+35.213.127.0/24
+35.213.128.0/22
+35.213.132.0/23
+35.213.134.140
+35.213.135.0/24
+35.213.136.0/23
+35.213.138.128/25
+35.213.139.0/24
+35.213.140.0/25
+35.213.141.164
+35.213.142.128/25
+35.213.143.0/24
+35.213.144.0/22
+35.213.148.0/23
+35.213.150.0/24
+35.213.152.0/23
+35.213.154.137
+35.213.155.134
+35.213.156.144
+35.213.157.0/24
+35.213.158.64/26
+35.213.160.90
+35.213.161.253
+35.213.162.0/25
+35.213.163.0/24
+35.213.164.0/23
+35.213.166.106
+35.213.167.160/27
+35.213.168.0/24
+35.213.169.179
+35.213.170.0/24
+35.213.171.201
+35.213.172.159
+35.213.173.0/24
+35.213.174.128/25
+35.213.175.128/26
+35.213.176.0/24
+35.213.177.0/25
+35.213.179.139
+35.213.180.0/24
+35.213.181.0/25
+35.213.182.0/23
+35.213.184.0/23
+35.213.186.70
+35.213.187.0/24
+35.213.188.128/25
+35.213.190.158
+35.213.191.0/24
+35.213.192.240/31
+35.213.193.74
+35.213.194.0/25
+35.213.195.178
+35.213.196.38
+35.213.197.68
+35.213.198.0/23
+35.213.200.0/23
+35.213.202.0/25
+35.213.203.195
+35.213.204.32/27
+35.213.205.170
+35.213.207.128/25
+35.213.208.85
+35.213.210.0/24
+35.213.211.176/29
+35.213.212.0/24
+35.213.213.225
+35.213.214.0/25
+35.213.215.255
+35.213.217.0/24
+35.213.218.248
+35.213.219.0/25
+35.213.220.211
+35.213.221.0/24
+35.213.222.215
+35.213.223.0/24
+35.213.225.0/24
+35.213.227.227
+35.213.229.17
+35.213.230.89
+35.213.231.0/24
+35.213.233.0/24
+35.213.234.134
+35.213.236.0/24
+35.213.237.212
+35.213.238.0/24
+35.213.240.212
+35.213.241.0/24
+35.213.242.10
+35.213.243.219
+35.213.244.146
+35.213.245.119
+35.213.246.0/23
+35.213.249.79
+35.213.250.0/24
+35.213.251.74
+35.213.252.0/24
+35.213.253.155
+35.213.254.89
+35.214.128.248
+35.214.129.220
+35.214.130.217
+35.214.131.144
+35.214.132.189
+35.214.133.0/24
+35.214.134.163
+35.214.137.0/24
+35.214.138.0/25
+35.214.140.0/24
+35.214.142.0/24
+35.214.143.41
+35.214.144.26
+35.214.145.200
+35.214.146.9
+35.214.147.135
+35.214.148.89
+35.214.149.110
+35.214.151.128/25
+35.214.152.0/24
+35.214.156.115
+35.214.158.181
+35.214.159.128/25
+35.214.160.128/25
+35.214.161.217
+35.214.162.0/24
+35.214.163.28
+35.214.165.102
+35.214.167.77
+35.214.169.0/24
+35.214.170.2
+35.214.171.0/25
+35.214.172.128/25
+35.214.173.0/24
+35.214.175.0/24
+35.214.177.183
+35.214.179.46
+35.214.180.0/23
+35.214.184.179
+35.214.185.28
+35.214.186.3
+35.214.187.0/24
+35.214.191.0/24
+35.214.192.128/25
+35.214.193.0/24
+35.214.194.128/25
+35.214.195.0/25
+35.214.196.64/26
+35.214.197.0/24
+35.214.198.7
+35.214.199.224
+35.214.201.0/25
+35.214.203.155
+35.214.204.0/23
+35.214.207.0/24
+35.214.208.128/25
+35.214.209.64
+35.214.210.0/24
+35.214.211.3
+35.214.212.64/26
+35.214.213.0/25
+35.214.214.0/24
+35.214.215.64/26
+35.214.216.0/23
+35.214.218.140
+35.214.219.0/24
+35.214.220.149
+35.214.221.0/24
+35.214.222.149
+35.214.223.0/24
+35.214.224.71
+35.214.225.0/24
+35.214.226.0/23
+35.214.228.0/23
+35.214.231.187
+35.214.233.8
+35.214.235.38
+35.214.237.0/24
+35.214.238.0/25
+35.214.239.0/24
+35.214.240.87
+35.214.241.0/24
+35.214.243.21
+35.214.244.0/24
+35.214.245.16/28
+35.214.246.106
+35.214.248.119
+35.214.249.154
+35.214.250.0/24
+35.214.251.128/25
+35.214.252.187
+35.214.253.0/24
+35.214.255.154
+35.215.72.85
+35.215.73.65
+35.215.83.0
+35.215.108.111
+35.215.115.120
+35.215.126.35
+35.215.127.34
+35.215.128.0/21
+35.215.136.0/26
+35.215.137.0/24
+35.215.138.0/23
+35.215.140.0/24
+35.215.141.64/27
+35.215.142.0/24
+35.215.143.83
+35.215.144.128/25
+35.215.145.0/24
+35.215.146.0/24
+35.215.147.86
+35.215.148.0/23
+35.215.150.0/26
+35.215.151.0/24
+35.215.152.0/24
+35.215.153.128/25
+35.215.154.240/28
+35.215.155.20
+35.215.156.0/24
+35.215.158.0/23
+35.215.160.192/26
+35.215.161.0/24
+35.215.163.0/24
+35.215.164.0/24
+35.215.165.236
+35.215.166.128/25
+35.215.167.128/25
+35.215.168.0/24
+35.215.169.12
+35.215.170.0/23
+35.215.172.0/22
+35.215.176.0/24
+35.215.177.72
+35.215.178.0/24
+35.215.179.161
+35.215.180.0/22
+35.215.184.253
+35.215.185.64/26
+35.215.186.0/25
+35.215.187.0/24
+35.215.188.0/23
+35.215.190.0/24
+35.215.191.61
+35.215.192.0/23
+35.215.194.192/28
+35.215.195.0/24
+35.215.196.0/25
+35.215.197.0/25
+35.215.198.230
+35.215.199.204
+35.215.200.0/23
+35.215.202.0/24
+35.215.203.0/25
+35.215.204.128/25
+35.215.205.0/25
+35.215.206.0/23
+35.215.208.0/24
+35.215.209.0/25
+35.215.210.0/23
+35.215.212.0/22
+35.215.216.0/22
+35.215.221.0/24
+35.215.222.128/25
+35.215.223.126
+35.215.224.0/23
+35.215.226.0/24
+35.215.227.0/25
+35.215.228.0/24
+35.215.229.64
+35.215.230.89
+35.215.231.0/24
+35.215.232.0/24
+35.215.233.0/25
+35.215.234.37
+35.215.235.0/24
+35.215.238.0/25
+35.215.239.119
+35.215.240.0/24
+35.215.241.128/25
+35.215.242.0/25
+35.215.243.0/24
+35.215.244.0/23
+35.215.246.222
+35.215.247.0/24
+35.215.248.0/22
+35.215.252.0/24
+35.215.253.118
+35.215.254.0/23
+35.217.0.0/24
+35.217.1.64/26
+35.217.2.5
+35.217.3.0/24
+35.217.4.72
+35.217.5.0/25
+35.217.6.0/24
+35.217.8.0/25
+35.217.9.0/24
+35.217.11.186
+35.217.12.0/24
+35.217.14.192/26
+35.217.15.65
+35.217.16.75
+35.217.17.128/25
+35.217.18.0/24
+35.217.19.183
+35.217.20.0/24
+35.217.21.128/25
+35.217.22.128/25
+35.217.23.128/25
+35.217.24.0/24
+35.217.25.81
+35.217.26.0/24
+35.217.27.128/25
+35.217.28.128/25
+35.217.29.0/24
+35.217.30.0/25
+35.217.31.0/25
+35.217.32.128/25
+35.217.33.0/24
+35.217.35.128/25
+35.217.36.0/23
+35.217.38.179
+35.217.39.186
+35.217.40.176
+35.217.41.204
+35.217.43.0/24
+35.217.45.248
+35.217.46.0/24
+35.217.47.128/25
+35.217.48.195
+35.217.49.160/27
+35.217.50.0/25
+35.217.51.0/24
+35.217.52.117
+35.217.53.128/25
+35.217.54.0/25
+35.217.55.96/27
+35.217.56.6
+35.217.57.184
+35.217.58.0/24
+35.217.59.64/26
+35.217.60.0/24
+35.217.61.128/25
+35.217.62.0/24
+35.217.63.128/25
+35.219.225.149
+35.219.226.57
+35.219.227.0/24
+35.219.228.37
+35.219.229.128/25
+35.219.230.0/23
+35.219.235.0/24
+35.219.236.198
+35.219.238.115
+35.219.239.0/24
+35.219.241.0/24
+35.219.242.221
+35.219.243.191
+35.219.244.1
+35.219.245.0/24
+35.219.246.159
+35.219.247.0/26
+35.219.248.0/24
+35.219.249.126
+35.219.251.186
+35.219.252.0/23
+35.219.254.0/24
+64.233.161.207
+64.233.162.207
+64.233.163.207
+64.233.164.207
+64.233.165.207
+66.22.196.0/26
+66.22.197.0/24
+66.22.198.0/26
+66.22.199.0/24
+66.22.200.0/26
+66.22.202.0/26
+66.22.204.0/24
+66.22.206.0/24
+66.22.208.0/25
+66.22.210.0/26
+66.22.212.0/24
+66.22.214.0/24
+66.22.216.0/23
+66.22.220.0/25
+66.22.221.0/24
+66.22.222.0/23
+66.22.224.0/25
+66.22.225.0/26
+66.22.226.0/25
+66.22.227.0/25
+66.22.228.0/22
+66.22.233.0/24
+66.22.234.0/24
+66.22.236.0/23
+66.22.238.0/24
+66.22.240.0/22
+66.22.244.0/23
+66.22.248.0/24
+74.125.131.207
+74.125.205.207
+104.17.51.93
+104.17.117.93
+104.18.4.161
+104.18.5.161
+104.18.8.105
+104.18.9.105
+104.18.30.128
+104.18.31.128
+104.21.2.204
+104.21.25.51
+104.21.40.151
+104.21.59.128
+104.21.72.221
+104.21.82.160
+108.177.14.207
+138.128.140.240/28
+142.250.150.207
+142.251.1.207
+162.159.128.232/30
+162.159.129.232/30
+162.159.130.232/30
+162.159.133.232/30
+162.159.134.232/30
+162.159.135.232/30
+162.159.136.232/30
+162.159.137.232/30
+162.159.138.232/30
+172.65.202.19
+172.66.41.34
+172.66.42.222
+172.67.152.224/28
+172.67.155.163
+172.67.159.89
+172.67.177.131
+172.67.222.182
+173.194.73.207
+173.194.220.207
+173.194.221.207
+173.194.222.207
+188.114.96.2
+188.114.97.2
+188.114.98.224
+188.114.99.224
+204.11.56.48
+209.85.233.207

binaries/win64/zapret-winws/list-youtube.txt

@@ -1,3 +1,13 @@
 googlevideo.com
 youtubei.googleapis.com
-i.ytimg.com
+ytimg.com
+yt3.ggpht.com
+yt4.ggpht.com
+youtube.com
+youtubeembeddedplayer.googleapis.com
+ytimg.l.google.com
+jnn-pa.googleapis.com
+youtube-nocookie.com
+youtube-ui.l.google.com
+yt-video-upload.l.google.com
+wide-youtube.l.google.com

binaries/win64/zapret-winws/preset_russia.cmd

@@ -1,7 +1,9 @@
 start "zapret: http,https,quic" /min "%~dp0winws.exe" ^
---wf-tcp=80,443 --wf-udp=443 ^
+--wf-tcp=80,443 --wf-udp=443,50000-50099 ^
+--filter-udp=50000-50099 --ipset="%~dp0ipset-discord.txt" --dpi-desync=fake --dpi-desync-repeats=6 --dpi-desync-any-protocol --dpi-desync-cutoff=n2 --new ^
+--filter-udp=50000-50099 --new ^
 --filter-udp=443 --hostlist="%~dp0list-youtube.txt" --dpi-desync=fake --dpi-desync-repeats=11 --dpi-desync-fake-quic="%~dp0quic_initial_www_google_com.bin" --new ^
 --filter-udp=443 --dpi-desync=fake --dpi-desync-repeats=11 --new ^
 --filter-tcp=80 --dpi-desync=fake,split2 --dpi-desync-autottl=2 --dpi-desync-fooling=md5sig --new ^
---filter-tcp=443 --hostlist="%~dp0list-youtube.txt" --dpi-desync=fake,split2 --dpi-desync-autottl=2 --dpi-desync-fooling=md5sig --dpi-desync-fake-tls="%~dp0tls_clienthello_www_google_com.bin" --new ^
+--filter-tcp=443 --hostlist="%~dp0list-youtube.txt" --dpi-desync=fake,split2 --dpi-desync-repeats=11 --dpi-desync-fooling=md5sig --dpi-desync-fake-tls="%~dp0tls_clienthello_www_google_com.bin" --new ^
 --dpi-desync=fake,disorder2 --dpi-desync-autottl=2 --dpi-desync-fooling=md5sig

binaries/win64/zapret-winws/preset_russia_autohostlist.cmd

@@ -1,7 +1,9 @@
 start "zapret: http,https,quic" /min "%~dp0winws.exe" ^
---wf-tcp=80,443 --wf-udp=443 ^
+--wf-tcp=80,443 --wf-udp=443,50000-50099 ^
+--filter-udp=50000-50099 --ipset="%~dp0ipset-discord.txt" --dpi-desync=fake --dpi-desync-repeats=6 --dpi-desync-any-protocol --dpi-desync-cutoff=n2 --new ^
+--filter-udp=50000-50099 --new ^
 --filter-udp=443 --hostlist="%~dp0list-youtube.txt" --dpi-desync=fake --dpi-desync-repeats=11 --dpi-desync-fake-quic="%~dp0quic_initial_www_google_com.bin" --new ^
 --filter-udp=443 --dpi-desync=fake --dpi-desync-repeats=11 --new ^
 --filter-tcp=80 --dpi-desync=fake,split2 --dpi-desync-autottl=2 --dpi-desync-fooling=md5sig --hostlist-auto="%~dp0autohostlist.txt" --new ^
---filter-tcp=443 --hostlist="%~dp0list-youtube.txt" --dpi-desync=fake,split2 --dpi-desync-autottl=2 --dpi-desync-fooling=md5sig --dpi-desync-fake-tls="%~dp0tls_clienthello_www_google_com.bin" --new ^
+--filter-tcp=443 --hostlist="%~dp0list-youtube.txt" --dpi-desync=fake,split2 --dpi-desync-repeats=11 --dpi-desync-fooling=md5sig --dpi-desync-fake-tls="%~dp0tls_clienthello_www_google_com.bin" --new ^
 --dpi-desync=fake,disorder2 --dpi-desync-autottl=2 --dpi-desync-fooling=md5sig --hostlist-auto="%~dp0autohostlist.txt"

binaries/win64/zapret-winws/reload_lists.cmd

@@ -0,0 +1 @@
+%~dp0killall -HUP winws

common/base.sh

@@ -62,6 +62,10 @@ starts_with()
 }
 find_str_in_list()
 {
+	# $1 - string
+	# $2 - space separated values
+
+	local v
 	[ -n "$1" ] && {
 		for v in $2; do
 			[ "$v" = "$1" ] && return 0
@@ -74,6 +78,19 @@ end_with_newline()
 	local c="$(tail -c 1)"
 	[ "$c" = "" ]
 }
+trim()
+{
+	awk '{gsub(/^ +| +$/,"")}1'
+}
+
+dir_is_not_empty()
+{
+	# $1 - directory
+	local n
+	[ -d "$1" ] || return 1
+	n=$(ls "$1" | wc -c | xargs)
+	[ "$n" != 0 ]
+}
 
 append_separator_list()
 {
@@ -275,6 +292,14 @@ replace_char()
 	echo "$@" | tr $a $b
 }
 
+replace_str()
+{
+	local a=$(echo "$1" | sed 's/\//\\\//g')
+	local b=$(echo "$2" | sed 's/\//\\\//g')
+	shift; shift
+	echo "$@" | sed "s/$a/$b/g"
+}
+
 setup_md5()
 {
 	[ -n "$MD5" ] && return
@@ -329,12 +354,62 @@ win_process_exists()
 	tasklist /NH /FI "IMAGENAME eq ${1}.exe" | grep -q "^${1}.exe"
 }
 
+alloc_num()
+{
+	# $1 - source var name
+	# $2 - target var name
+	# $3 - min
+	# $4 - max
+	
+	local v
+	eval v="\$$2"
+	# do not replace existing value
+	[ -n "$v" ] && return
+	eval v="\$$1"
+	[ -n "$v" ] || v=$3
+	eval $2="$v"
+	v=$((v + 1))
+	[ $v -gt $4 ] && v=$3
+	eval $1="$v"
+}
+
 std_ports()
 {
-        HTTP_PORTS=${HTTP_PORTS:-80}
-	HTTPS_PORTS=${HTTPS_PORTS:-443}
-	QUIC_PORTS=${QUIC_PORTS:-443}
-        HTTP_PORTS_IPT=$(replace_char - : $HTTP_PORTS)
-        HTTPS_PORTS_IPT=$(replace_char - : $HTTPS_PORTS)
-        QUIC_PORTS_IPT=$(replace_char - : $QUIC_PORTS)
+	TPWS_PORTS_IPT=$(replace_char - : $TPWS_PORTS)
+	NFQWS_PORTS_TCP_IPT=$(replace_char - : $NFQWS_PORTS_TCP)
+	NFQWS_PORTS_TCP_KEEPALIVE_IPT=$(replace_char - : $NFQWS_PORTS_TCP_KEEPALIVE)
+	NFQWS_PORTS_UDP_IPT=$(replace_char - : $NFQWS_PORTS_UDP)
+	NFQWS_PORTS_UDP_KEEPALIVE_IPT=$(replace_char - : $NFQWS_PORTS_UDP_KEEPALIVE)
+}
+
+has_bad_ws_options()
+{
+	# $1 - nfqws/tpws opts
+	# ПРИМЕЧАНИЕ ДЛЯ РАСПРОСТРАНИТЕЛЕЙ КОПИПАСТЫ
+	# ЭТОТ КОД СДЕЛАН СПЕЦИАЛЬНО ДЛЯ ВАС, ЧТОБЫ ВЫ НЕ ПОСТИЛИ В СЕТЬ ПЛОХИЕ РЕЦЕПТЫ
+	# ЕСЛИ ВАМ ХОЧЕТСЯ ЕГО УДАЛИТЬ И НАПИСАТЬ ИНСТРУКЦИЮ КАК ЕГО УДАЛЯТЬ, ВЫ ДЕЛАЕТЕ ХРЕНОВУЮ УСЛУГУ. НАПИШИТЕ ЛУЧШЕ custom script.
+	# custom script - ЭТО ФАЙЛИК, КОТОРЫЙ ДОСТАТОЧНО СКОПИРОВАТЬ В НУЖНУЮ ДИРЕКТОРИЮ, ЧТОБЫ ОН СДЕЛАЛ ТОЖЕ САМОЕ, НО ЭФФЕКТИВНО.
+	# ФИЛЬТРАЦИЯ ПО IPSET В ЯДРЕ НЕСРАВНИМО ЭФФЕКТИВНЕЕ, ЧЕМ ПЕРЕКИДЫВАТЬ ВСЕ ПАКЕТЫ В nfqws И ТАМ ФИЛЬТРОВАТЬ
+	# --ipset СУЩЕСТВУЕТ ТОЛЬКО ДЛЯ ВИНДЫ И LINUX СИСТЕМ БЕЗ ipset (НАПРИМЕР, Android).
+	# И ТОЛЬКО ПО ЭТОЙ ПРИЧИНЕ ОНО НЕ ВЫКИНУТО ПОЛНОСТЬЮ ИЗ LINUX ВЕРСИИ
+	contains "$1" "--ipset"
+}
+check_bad_ws_options()
+{
+	# $1 - 0 = stop, 1 = start
+	# $2 - nfqws/tpws options
+	if [ "$1" = 1 ] && has_bad_ws_options "$2"; then
+		echo "!!! REFUSING TO USE BAD OPTIONS : $2"
+		return 1
+	else
+		return 0
+	fi
+}
+help_bad_ws_options()
+{
+	echo "WARNING ! you have specified --ipset option"
+	echo "WARNING ! it would work but on $UNAME it's not the best option"
+	echo "WARNING ! you should use kernel mode sets. they are much more efficient."
+	echo "WARNING ! to use ipsets you have to write your own custom script"
+	echo "WARNING ! installer will stop here to prevent distribution of easy to use but bad copy-paste solutions"
 }

common/custom.sh

@@ -7,15 +7,10 @@ custom_runner()
 
 	shift
 
-	[ -f "$CUSTOM_DIR/custom" ] && {
-		unset -f $FUNC
-		. "$CUSTOM_DIR/custom"
-		existf $FUNC && $FUNC "$@"
-	}
 	[ -d "$CUSTOM_DIR/custom.d" ] && {
-		n=$(ls "$CUSTOM_DIR/custom.d" | wc -c | xargs)
-		[ "$n" = 0 ] || {
+		dir_is_not_empty "$CUSTOM_DIR/custom.d" && {
 			for script in "$CUSTOM_DIR/custom.d/"*; do
+				[ -f "$script" ] || continue
 				unset -f $FUNC
 				. "$script"
 				existf $FUNC && $FUNC "$@"
@@ -23,3 +18,20 @@ custom_runner()
 		}
 	}
 }
+
+alloc_tpws_port()
+{
+	# $1 - target var name
+	alloc_num NUMPOOL_TPWS_PORT $1 910 979
+}
+alloc_qnum()
+{
+	# $1 - target var name
+	alloc_num NUMPOOL_QNUM $1 65400 65499
+}
+alloc_dnum()
+{
+	# alloc daemon number
+	# $1 - target var name
+	alloc_num NUMPOOL_DNUM $1 1000 1999
+}

common/installer.sh

@@ -1,4 +1,4 @@
-GET_LIST_PREFIX=/ipset/get_
+readonly GET_LIST_PREFIX=/ipset/get_
 
 SYSTEMD_DIR=/lib/systemd
 [ -d "$SYSTEMD_DIR" ] || SYSTEMD_DIR=/usr/lib/systemd
@@ -15,13 +15,99 @@ exitp()
 	exit $1
 }
 
+extract_var_def()
+{
+	# $1 - var name
+	# this sed script parses single or multi line shell var assignments with optional ' or " enclosure
+	sed -n \
+"/^$1=\"/ {
+:s1
+/\".*\"/ {
+ p
+ b
+}
+N
+t c1
+b s1
+:c1
+}
+/^$1='/ {
+:s2
+/'.*'/ {
+ p
+ b
+}
+N
+t c2
+b s2
+:c2
+}
+/^$1=/p
+"
+}
+replace_var_def()
+{
+	# $1 - var name
+	# $2 - new val
+	# $3 - conf file
+	# this sed script replaces single or multi line shell var assignments with optional ' or " enclosure
+	local repl
+	if [ -z "$2" ]; then
+		repl="#$1="
+	elif contains "$2" " "; then
+		repl="$1=\"$2\""
+	else
+		repl="$1=$2"
+	fi
+	local script=\
+"/^#*[[:space:]]*$1=\"/ {
+:s1
+/\".*\"/ {
+ c\\
+$repl
+ b
+}
+N
+t c1
+b s1
+:c1
+}
+/^#*[[:space:]]*$1='/ {
+:s2
+/'.*'/ {
+ c\\
+$repl
+ b
+}
+N
+t c2
+b s2
+:c2
+}
+/^#*[[:space:]]*$1=/c\\
+$repl"
+	# there's incompatibility with -i option on MacOS/BSD and busybox/GNU
+	if [ "$UNAME" = "Linux" ]; then
+		sed -i -e "$script" "$3"
+	else
+		sed -i '' -e "$script" "$3"
+	fi
+}
+
 parse_var_checked()
 {
 	# $1 - file name
 	# $2 - var name
-	local sed="sed -nre s/^[[:space:]]*$2=[\\\"|\']?([^\\\"|\']*)[\\\"|\']?/\1/p"
-	local v="$($sed <"$1" | tail -n 1)"
-	eval $2=\"$v\"
+
+	local tmp="/tmp/zvar-pid-$$.sh"
+	local v
+	cat "$1" | extract_var_def "$2" >"$tmp"
+	. "$tmp"
+	rm -f "$tmp"
+	eval v="\$$2"
+	# trim
+	v="$(echo "$v" | trim)"
+	eval $2=\""$v"\"
 }
 parse_vars_checked()
 {
@@ -48,22 +134,44 @@ edit_file()
 	}
 	[ -n "$ed" ] && "$ed" "$1"
 }
+echo_var()
+{
+	local v
+	eval v="\$$1"
+	if find_str_in_list $1 "$EDITVAR_NEWLINE_VARS"; then
+		echo "$1=\""
+		echo "$v\"" | sed "s/$EDITVAR_NEWLINE_DELIMETER /$EDITVAR_NEWLINE_DELIMETER\n/g"
+	else
+		if contains "$v" " "; then
+			echo $1=\"$v\"
+		else
+			echo $1=$v
+		fi
+	fi
+}
 edit_vars()
 {
 	# $1,$2,... - var names
-	local n=1 var v tmp="/tmp/zvars"
+	local n=1 var tmp="/tmp/zvars-pid-$$.txt"
 	rm -f "$tmp"
-	while [ 1=1 ]; do
+	while : ; do
 		eval var="\${$n}"
 		[ -n "$var" ] || break
-		eval v="\$$var"
-		echo $var=\"$v\" >>"$tmp"
+		echo_var $var >> "$tmp"
 		n=$(($n+1))
 	done
 	edit_file "$tmp" && parse_vars_checked "$tmp" "$@"
 	rm -f "$tmp"
 }
 
+list_vars()
+{
+	while [ -n "$1" ] ; do
+		echo_var $1
+		shift
+	done
+}
+
 openrc_test()
 {
 	exists rc-update || return 1
@@ -483,30 +591,14 @@ write_config_var()
 	# $1 - mode var
 	local M
 	eval M="\$$1"
-
-	if grep -q "^$1=\|^#$1=" "$ZAPRET_CONFIG"; then
-		# replace / => \/
-		#M=${M//\//\\\/}
-		M=$(echo $M | sed 's/\//\\\//g')
-		if [ -n "$M" ]; then
-			if contains "$M" " "; then
-				sedi -Ee "s/^#?$1=.*$/$1=\"$M\"/" "$ZAPRET_CONFIG"
-			else
-				sedi -Ee "s/^#?$1=.*$/$1=$M/" "$ZAPRET_CONFIG"
-			fi
-		else
-			# write with comment at the beginning
-			sedi -Ee "s/^#?$1=.*$/#$1=/" "$ZAPRET_CONFIG"
-		fi
-	else
+	# replace / => \/
+	#M=${M//\//\\\/}
+	M=$(echo $M | sed 's/\//\\\//g' | trim)
+	grep -q "^[[:space:]]*$1=\|^#*[[:space:]]*$1=" "$ZAPRET_CONFIG" || {
 		# var does not exist in config. add it
-		contains "$M" " " && M="\"$M\""
-		if [ -n "$M" ]; then
-			echo "$1=$M" >>"$ZAPRET_CONFIG"
-		else
-			echo "#$1=$M" >>"$ZAPRET_CONFIG"
-		fi
-	fi
+		echo $1= >>"$ZAPRET_CONFIG"
+	}
+	replace_var_def $1 "$M" "$ZAPRET_CONFIG"
 }
 
 check_prerequisites_linux()

common/ipt.sh

@@ -3,15 +3,15 @@ readonly ipt_connbytes="-m connbytes --connbytes-dir=original --connbytes-mode=p
 
 ipt()
 {
-	iptables -C "$@" >/dev/null 2>/dev/null || iptables -I "$@"
+	iptables $FW_EXTRA_PRE -C "$@" $FW_EXTRA_POST >/dev/null 2>/dev/null || iptables $FW_EXTRA_PRE -I "$@" $FW_EXTRA_POST
 }
 ipta()
 {
-	iptables -C "$@" >/dev/null 2>/dev/null || iptables -A "$@"
+	iptables $FW_EXTRA_PRE -C "$@" $FW_EXTRA_POST >/dev/null 2>/dev/null || iptables $FW_EXTRA_PRE -A "$@" $FW_EXTRA_POST
 }
 ipt_del()
 {
-	iptables -C "$@" >/dev/null 2>/dev/null && iptables -D "$@"
+	iptables $FW_EXTRA_PRE -C "$@" $FW_EXTRA_POST >/dev/null 2>/dev/null && iptables $FW_EXTRA_PRE -D "$@" $FW_EXTRA_POST
 }
 ipt_add_del()
 {
@@ -48,28 +48,6 @@ is_ipt_flow_offload_avail()
 	grep -q FLOWOFFLOAD 2>/dev/null /proc/net/ip$1_tables_targets
 }
 
-filter_apply_port_target()
-{
-	# $1 - var name of iptables filter
-	local f
-	if [ "$MODE_HTTP" = "1" ] && [ "$MODE_HTTPS" = "1" ]; then
-		f="-p tcp -m multiport --dports $HTTP_PORTS_IPT,$HTTPS_PORTS_IPT"
-	elif [ "$MODE_HTTPS" = "1" ]; then
-		f="-p tcp -m multiport --dports $HTTPS_PORTS_IPT"
-	elif [ "$MODE_HTTP" = "1" ]; then
-		f="-p tcp -m multiport --dports $HTTP_PORTS_IPT"
-	else
-		echo WARNING !!! HTTP and HTTPS are both disabled
-	fi
-	eval $1="\"\$$1 $f\""
-}
-filter_apply_port_target_quic()
-{
-	# $1 - var name of nftables filter
-	local f
-	f="-p udp -m multiport --dports $QUIC_PORTS_IPT"
-	eval $1="\"\$$1 $f\""
-}
 filter_apply_ipset_target4()
 {
 	# $1 - var name of ipv4 iptables filter
@@ -134,7 +112,7 @@ unprepare_tpws_fw()
 ipt_print_op()
 {
 	if [ "$1" = "1" ]; then
-		echo "Adding ip$4tables rule for $3 : $2"
+		echo "Inserting ip$4tables rule for $3 : $2"
 	else
 		echo "Deleting ip$4tables rule for $3 : $2"
 	fi
@@ -220,7 +198,7 @@ _fw_nfqws_post4()
 
 		ipt_print_op $1 "$2" "nfqws postrouting (qnum $3)"
 
-		rule="$2 $IPSET_EXCLUDE dst -j NFQUEUE --queue-num $3 --queue-bypass"
+		rule="-m mark ! --mark $DESYNC_MARK/$DESYNC_MARK $2 $IPSET_EXCLUDE dst -j NFQUEUE --queue-num $3 --queue-bypass"
 		if [ -n "$4" ] ; then
 			for i in $4; do
 				ipt_add_del $1 POSTROUTING -t mangle -o $i $rule
@@ -241,7 +219,7 @@ _fw_nfqws_post6()
 
 		ipt_print_op $1 "$2" "nfqws postrouting (qnum $3)" 6
 
-		rule="$2 $IPSET_EXCLUDE6 dst -j NFQUEUE --queue-num $3 --queue-bypass"
+		rule="-m mark ! --mark $DESYNC_MARK/$DESYNC_MARK $2 $IPSET_EXCLUDE6 dst -j NFQUEUE --queue-num $3 --queue-bypass"
 		if [ -n "$4" ] ; then
 			for i in $4; do
 				ipt6_add_del $1 POSTROUTING -t mangle -o $i $rule
@@ -320,27 +298,13 @@ fw_nfqws_pre()
 }
 
 
-produce_reverse_nfqws_rule()
-{
-	local rule="$1"
-	if contains "$rule" "$ipt_connbytes"; then
-		# autohostlist - need several incoming packets
-		# autottl - need only one incoming packet
-		[ "$MODE_FILTER" = autohostlist ] || rule=$(echo "$rule" | sed -re "s/$ipt_connbytes [0-9]+:[0-9]+/$ipt_connbytes 1:1/")
-	else
-		local n=1
-		[ "$MODE_FILTER" = autohostlist ] && n=$(first_packets_for_mode)
-		rule="$ipt_connbytes 1:$n $rule"
-	fi
-	echo "$rule" | reverse_nfqws_rule_stream
-}
 fw_reverse_nfqws_rule4()
 {
-	fw_nfqws_pre4 $1 "$(produce_reverse_nfqws_rule "$2")" $3
+	fw_nfqws_pre4 $1 "$(reverse_nfqws_rule "$2")" $3
 }
 fw_reverse_nfqws_rule6()
 {
-	fw_nfqws_pre6 $1 "$(produce_reverse_nfqws_rule "$2")" $3
+	fw_nfqws_pre6 $1 "$(reverse_nfqws_rule "$2")" $3
 }
 fw_reverse_nfqws_rule()
 {
@@ -353,93 +317,66 @@ fw_reverse_nfqws_rule()
 	fw_reverse_nfqws_rule6 $1 "$3" $4
 }
 
+ipt_first_packets()
+{
+	# $1 - packet count
+	[ -n "$1" -a "$1" != keepalive ] && [ "$1" -ge 1 ] && echo "$ipt_connbytes 1:$1"
+}
+ipt_do_nfqws_in_out()
+{
+	# $1 - 1 - add, 0 - del
+	# $2 - tcp,udp
+	# $3 - ports
+	# $4 - PKT_OUT. special value : 'keepalive'
+	# $5 - PKT_IN
+	local f4 f6 first_packets_only
+	[ -n "$3" ] || return
+	[ -n "$4" -a "$4" != 0 ] &&
+	{
+		first_packets_only="$(ipt_first_packets $4)"
+		f4="-p $2 -m multiport --dports $3 $first_packets_only"
+		f6=$f4
+		filter_apply_ipset_target f4 f6
+		fw_nfqws_post $1 "$f4" "$f6" $QNUM
+	}
+	[ -n "$5" -a "$5" != 0 ] &&
+	{
+		first_packets_only="$(ipt_first_packets $5)"
+		f4="-p $2 -m multiport --dports $3  $first_packets_only"
+		f6=$f4
+		filter_apply_ipset_target f4 f6
+		fw_reverse_nfqws_rule $1 "$f4" "$f6" $QNUM
+	}
+}
+
+zapret_do_firewall_standard_rules_ipt()
+{
+	# $1 - 1 - add, 0 - del
+
+	local f4 f6
+
+	[ "$TPWS_ENABLE" = 1 -a -n "$TPWS_PORTS" ] &&
+	{
+		f4="-p tcp -m multiport --dports $TPWS_PORTS_IPT"
+		f6=$f4
+		filter_apply_ipset_target f4 f6
+		fw_tpws $1 "$f4" "$f6" $TPPORT
+	}
+	[ "$NFQWS_ENABLE" = 1 ] &&
+	{
+		ipt_do_nfqws_in_out $1 tcp "$NFQWS_PORTS_TCP_IPT" "$NFQWS_TCP_PKT_OUT" "$NFQWS_TCP_PKT_IN"
+		ipt_do_nfqws_in_out $1 tcp "$NFQWS_PORTS_TCP_KEEPALIVE_IPT" keepalive "$NFQWS_TCP_PKT_IN"
+		ipt_do_nfqws_in_out $1 udp "$NFQWS_PORTS_UDP_IPT" "$NFQWS_UDP_PKT_OUT" "$NFQWS_UDP_PKT_IN"
+		ipt_do_nfqws_in_out $1 udp "$NFQWS_PORTS_UDP_KEEPALIVE_IPT" keepalive "$NFQWS_UDP_PKT_IN"
+	}
+}
 
 zapret_do_firewall_rules_ipt()
 {
-	local mode="${MODE_OVERRIDE:-$MODE}"
+	# $1 - 1 - add, 0 - del
 
-	local first_packet_only="$ipt_connbytes 1:$(first_packets_for_mode)"
-	local desync="-m mark ! --mark $DESYNC_MARK/$DESYNC_MARK"
-	local n f4 f6 qn qns qn6 qns6
-
-	case "$mode" in
-		tpws)
-			if [ ! "$MODE_HTTP" = "1" ] && [ ! "$MODE_HTTPS" = "1" ]; then
-				echo both http and https are disabled. not applying redirection.
-			else
-				filter_apply_port_target f4
-				f6=$f4
-				filter_apply_ipset_target f4 f6
-				fw_tpws $1 "$f4" "$f6" $TPPORT
-			fi
-			;;
-	
-		nfqws)
-			# quite complex but we need to minimize nfqws processes to save RAM
-			get_nfqws_qnums qn qns qn6 qns6
-			if [ "$MODE_HTTP_KEEPALIVE" != "1" ] && [ -n "$qn" ] && [ "$qn" = "$qns" ]; then
-				filter_apply_port_target f4
-				f4="$f4 $first_packet_only"
-				filter_apply_ipset_target4 f4
-				fw_nfqws_post4 $1 "$f4 $desync" $qn
-				fw_reverse_nfqws_rule4 $1 "$f4" $qn
-			else
-				if [ -n "$qn" ]; then
-					f4="-p tcp -m multiport --dports $HTTP_PORTS_IPT"
-					[ "$MODE_HTTP_KEEPALIVE" = "1" ] || f4="$f4 $first_packet_only"
-					filter_apply_ipset_target4 f4
-					fw_nfqws_post4 $1 "$f4 $desync" $qn
-					fw_reverse_nfqws_rule4 $1 "$f4" $qn
-				fi
-				if [ -n "$qns" ]; then
-					f4="-p tcp -m multiport --dports $HTTPS_PORTS_IPT $first_packet_only"
-					filter_apply_ipset_target4 f4
-					fw_nfqws_post4 $1 "$f4 $desync" $qns
-					fw_reverse_nfqws_rule4 $1 "$f4" $qns
-				fi
-			fi
-			if [ "$MODE_HTTP_KEEPALIVE" != "1" ] && [ -n "$qn6" ] && [ "$qn6" = "$qns6" ]; then
-				filter_apply_port_target f6
-				f6="$f6 $first_packet_only"
-				filter_apply_ipset_target6 f6
-				fw_nfqws_post6 $1 "$f6 $desync" $qn6
-				fw_reverse_nfqws_rule6 $1 "$f6" $qn6
-			else
-				if [ -n "$qn6" ]; then
-					f6="-p tcp -m multiport --dports $HTTP_PORTS_IPT"
-					[ "$MODE_HTTP_KEEPALIVE" = "1" ] || f6="$f6 $first_packet_only"
-					filter_apply_ipset_target6 f6
-					fw_nfqws_post6 $1 "$f6 $desync" $qn6
-					fw_reverse_nfqws_rule6 $1 "$f6" $qn6
-				fi
-				if [ -n "$qns6" ]; then
-					f6="-p tcp -m multiport --dports $HTTPS_PORTS_IPT $first_packet_only"
-					filter_apply_ipset_target6 f6
-					fw_nfqws_post6 $1 "$f6 $desync" $qns6
-					fw_reverse_nfqws_rule6 $1 "$f6" $qns6
-				fi
-			fi
-
-			get_nfqws_qnums_quic qn qn6
-			if [ -n "$qn" ]; then
-				f4=
-				filter_apply_port_target_quic f4
-				f4="$f4 $first_packet_only"
-				filter_apply_ipset_target4 f4
-				fw_nfqws_post4 $1 "$f4 $desync" $qn
-			fi
-			if [ -n "$qn6" ]; then
-				f6=
-				filter_apply_port_target_quic f6
-				f6="$f6 $first_packet_only"
-				filter_apply_ipset_target6 f6
-				fw_nfqws_post6 $1 "$f6 $desync" $qn6
-			fi
-			;;
-		custom)
-			custom_runner zapret_custom_firewall $1
-			;;
-	esac
+	zapret_do_firewall_standard_rules_ipt $1
+	custom_runner zapret_custom_firewall $1
 }
 
 zapret_do_firewall_ipt()
@@ -452,10 +389,6 @@ zapret_do_firewall_ipt()
 		echo Clearing iptables
 	fi
 
-	local mode="${MODE_OVERRIDE:-$MODE}"
-
-	[ "$mode" = "tpws-socks" ] && return 0
-
 	# always create ipsets. ip_exclude ipset is required
 	[ "$1" = 1 ] && create_ipset no-update
 

common/linux_fw.sh

@@ -23,7 +23,7 @@ zapret_do_firewall()
 	# switch on liberal mode on zapret firewall start and switch off on zapret firewall stop
 	# this is only required for processing incoming bad RSTs. incoming rules are only applied in autohostlist mode
 	# calling this after firewall because conntrack module can be not loaded before applying conntrack firewall rules
-	[ "$MODE_FILTER" = "autohostlist" -a "$MODE" != tpws -a "$MODE" != tpws-socks ] && set_conntrack_liberal_mode $1
+	[ "$MODE_FILTER" = "autohostlist" ] && set_conntrack_liberal_mode $1
 	
 	[ "$1" = 1 -a -n "$INIT_FW_POST_UP_HOOK" ] && $INIT_FW_POST_UP_HOOK
 	[ "$1" = 0 -a -n "$INIT_FW_POST_DOWN_HOOK" ] && $INIT_FW_POST_DOWN_HOOK
@@ -38,16 +38,3 @@ zapret_unapply_firewall()
 {
 	zapret_do_firewall 0 "$@"
 }
-
-first_packets_for_mode()
-{
-	# autohostlist and autottl modes requires incoming traffic sample
-	# always use conntrack packet limiter or nfqws will deal with gigabytes
-	local n
-	if [ "$MODE_FILTER" = "autohostlist" ]; then
-		n=$((6+${AUTOHOSTLIST_RETRANS_THRESHOLD:-3}))
-	else
-		n=6
-	fi
-	echo $n
-}

common/list.sh

@@ -1,3 +1,5 @@
+readonly HOSTLIST_MARKER="<HOSTLIST>"
+
 find_hostlists()
 {
 	[ -n "$HOSTLIST_BASE" ] || HOSTLIST_BASE="$ZAPRET_BASE/ipset"
@@ -18,38 +20,33 @@ find_hostlists()
 	HOSTLIST_AUTO_DEBUGLOG="$HOSTLIST_BASE/zapret-hosts-auto-debug.log"
 }
 
-filter_apply_autohostlist_target()
-{
-	# $1 - var name of tpws or nfqws params
-	
-	local parm1="${AUTOHOSTLIST_FAIL_THRESHOLD:+--hostlist-auto-fail-threshold=$AUTOHOSTLIST_FAIL_THRESHOLD}"
-	local parm2="${AUTOHOSTLIST_FAIL_TIME:+--hostlist-auto-fail-time=$AUTOHOSTLIST_FAIL_TIME}"
-	local parm3 parm4
-	[ "$MODE" = "tpws" -o "$MODE" = "tpws-socks" ] || parm3="${AUTOHOSTLIST_RETRANS_THRESHOLD:+--hostlist-auto-retrans-threshold=$AUTOHOSTLIST_RETRANS_THRESHOLD}"
-	[ "$AUTOHOSTLIST_DEBUGLOG" = 1 ] && parm4="--hostlist-auto-debug=$HOSTLIST_AUTO_DEBUGLOG"
-	eval $1="\"\$$1 --hostlist-auto=$HOSTLIST_AUTO $parm1 $parm2 $parm3 $parm4\""
-}
-
 filter_apply_hostlist_target()
 {
 	# $1 - var name of tpws or nfqws params
 
-	[ "$MODE_FILTER" = "hostlist" -o "$MODE_FILTER" = "autohostlist" ] || return
-
-	local HOSTLIST_BASE HOSTLIST HOSTLIST_USER HOSTLIST_EXCLUDE
-
-	find_hostlists
-
-	[ -n "$HOSTLIST" ] && eval $1="\"\$$1 --hostlist=$HOSTLIST\""
-	[ -n "$HOSTLIST_USER" ] && eval $1="\"\$$1 --hostlist=$HOSTLIST_USER\""
-	[ -n "$HOSTLIST_EXCLUDE" ] && eval $1="\"\$$1 --hostlist-exclude=$HOSTLIST_EXCLUDE\""
-	[ "$MODE_FILTER" = "autohostlist" ] && filter_apply_autohostlist_target $1
-}
-
-filter_apply_suffix()
-{
-	# $1 - var name of tpws or nfqws params
-	# $2 - suffix value
-	local v="${2:+ --new $2}"
-	eval $1="\"\$$1$v\""
+	local v parm parm1 parm2 parm3 parm4 parm5 parm6 parm7
+	eval v="\$$1"
+	contains "$v" "$HOSTLIST_MARKER" &&
+	{
+		[ "$MODE_FILTER" = hostlist -o "$MODE_FILTER" = autohostlist ] &&
+		{
+			find_hostlists
+			parm1="${HOSTLIST_USER:+--hostlist=$HOSTLIST_USER}"
+			parm2="${HOSTLIST:+--hostlist=$HOSTLIST}"
+			parm3="${HOSTLIST_EXCLUDE:+--hostlist-exclude=$HOSTLIST_EXCLUDE}"
+			[ "$MODE_FILTER" = autohostlist ] &&
+			{
+				parm4="--hostlist-auto=$HOSTLIST_AUTO"
+				parm5="${AUTOHOSTLIST_FAIL_THRESHOLD:+--hostlist-auto-fail-threshold=$AUTOHOSTLIST_FAIL_THRESHOLD}"
+				parm6="${AUTOHOSTLIST_FAIL_TIME:+--hostlist-auto-fail-time=$AUTOHOSTLIST_FAIL_TIME}"
+				parm7="${AUTOHOSTLIST_RETRANS_THRESHOLD:+--hostlist-auto-retrans-threshold=$AUTOHOSTLIST_RETRANS_THRESHOLD}"
+			}
+			parm="$parm1${parm2:+ $parm2}${parm3:+ $parm3}${parm4:+ $parm4}${parm5:+ $parm5}${parm6:+ $parm6}${parm7:+ $parm7}"
+		}
+		v="$(replace_str $HOSTLIST_MARKER "$parm" "$v")"
+		[ "$MODE_FILTER" = autohostlist -a "$AUTOHOSTLIST_DEBUGLOG" = 1 ] && {
+			v="$v --hostlist-auto-debug=$HOSTLIST_AUTO_DEBUGLOG"
+		}
+		eval $1=\""$v"\"
+	}
 }

common/nft.sh

@@ -86,10 +86,16 @@ cat << EOF | nft -f -
 	add rule inet  $ZAPRET_NFT_TABLE localnet_protect ip daddr $TPWS_LOCALHOST4 return comment "route_localnet allow access to tpws"
 	add rule inet  $ZAPRET_NFT_TABLE localnet_protect ip daddr 127.0.0.0/8 drop comment "route_localnet remote access protection"
 	add rule inet  $ZAPRET_NFT_TABLE input iif != lo jump localnet_protect
-	add chain inet $ZAPRET_NFT_TABLE postrouting { type filter hook postrouting priority 99; }
+	add chain inet $ZAPRET_NFT_TABLE postrouting
 	flush chain inet $ZAPRET_NFT_TABLE postrouting
-	add chain inet $ZAPRET_NFT_TABLE postnat { type filter hook postrouting priority 101; }
+	add chain inet $ZAPRET_NFT_TABLE postrouting_hook { type filter hook postrouting priority 99; }
+	flush chain inet $ZAPRET_NFT_TABLE postrouting_hook
+	add rule inet  $ZAPRET_NFT_TABLE postrouting_hook mark and $DESYNC_MARK == 0 jump postrouting
+	add chain inet $ZAPRET_NFT_TABLE postnat
 	flush chain inet $ZAPRET_NFT_TABLE postnat
+	add chain inet $ZAPRET_NFT_TABLE postnat_hook { type filter hook postrouting priority 101; }
+	flush chain inet $ZAPRET_NFT_TABLE postnat_hook
+	add rule inet  $ZAPRET_NFT_TABLE postnat_hook mark and $DESYNC_MARK == 0 jump postnat
 	add chain inet $ZAPRET_NFT_TABLE prerouting { type filter hook prerouting priority -99; }
 	flush chain inet $ZAPRET_NFT_TABLE prerouting
 	add chain inet $ZAPRET_NFT_TABLE prenat { type filter hook prerouting priority -101; }
@@ -107,6 +113,7 @@ cat << EOF | nft -f -
 	add set inet $ZAPRET_NFT_TABLE wanif { type ifname; }
 	add set inet $ZAPRET_NFT_TABLE wanif6 { type ifname; }
 	add map inet $ZAPRET_NFT_TABLE link_local { type ifname : ipv6_addr; }
+
 EOF
 	[ -n "$POSTNAT_ALL" ] && {
 		nft_flush_chain predefrag_nfqws
@@ -118,6 +125,12 @@ nft_del_chains()
 	# do not delete all chains because of additional user hooks
 	# they must be inside zapret table to use nfsets
 
+	# these chains are newer. do not fail all because chains are not present
+cat << EOF | nft -f - 2>/dev/null
+	delete chain inet $ZAPRET_NFT_TABLE postrouting_hook
+	delete chain inet $ZAPRET_NFT_TABLE postnat_hook
+EOF
+
 cat << EOF | nft -f - 2>/dev/null
 	delete chain inet $ZAPRET_NFT_TABLE dnat_output
 	delete chain inet $ZAPRET_NFT_TABLE dnat_pre
@@ -199,7 +212,15 @@ nft_add_rule()
 	# $2,$3,... - rule(s)
 	local chain="$1"
 	shift
-	nft add rule inet $ZAPRET_NFT_TABLE $chain "$@"
+	nft add rule inet $ZAPRET_NFT_TABLE $chain $FW_EXTRA_PRE "$@"
+}
+nft_insert_rule()
+{
+	# $1 - chain
+	# $2,$3,... - rule(s)
+	local chain="$1"
+	shift
+	nft insert rule inet $ZAPRET_NFT_TABLE $chain $FW_EXTRA_PRE "$@"
 }
 nft_add_set_element()
 {
@@ -227,6 +248,7 @@ nft_clean_nfqws_rule()
 nft_add_nfqws_flow_exempt_rule()
 {
 	# $1 - rule (must be all filters in one var)
+	local FW_EXTRA_POST= FW_EXTRA_PRE=
 	nft_add_rule flow_offload $(nft_clean_nfqws_rule $1) return comment \"direct flow offloading exemption\"
 	# do not need this because of oifname @wanif/@wanif6 filter in forward chain
 	#nft_add_rule flow_offload $(nft_reverse_nfqws_rule $1) return comment \"reverse flow offloading exemption\"
@@ -236,6 +258,7 @@ nft_add_flow_offload_exemption()
 	# "$1" - rule for ipv4
 	# "$2" - rule for ipv6
 	# "$3" - comment
+	local FW_EXTRA_POST= FW_EXTRA_PRE=
 	[ "$DISABLE_IPV4" = "1" -o -z "$1" ] || nft_add_rule flow_offload oifname @wanif $1 ip daddr != @nozapret return comment \"$3\"
 	[ "$DISABLE_IPV6" = "1" -o -z "$2" ] || nft_add_rule flow_offload oifname @wanif6 $2 ip6 daddr != @nozapret6 return comment \"$3\"
 }
@@ -275,28 +298,6 @@ nft_apply_flow_offloading()
 
 
 
-nft_filter_apply_port_target()
-{
-	# $1 - var name of nftables filter
-	local f
-	if [ "$MODE_HTTP" = "1" ] && [ "$MODE_HTTPS" = "1" ]; then
-		f="tcp dport {$HTTP_PORTS,$HTTPS_PORTS}"
-	elif [ "$MODE_HTTPS" = "1" ]; then
-		f="tcp dport {$HTTPS_PORTS}"
-	elif [ "$MODE_HTTP" = "1" ]; then
-		f="tcp dport {$HTTP_PORTS}"
-	else
-		echo WARNING !!! HTTP and HTTPS are both disabled
-	fi
-	eval $1="\"\$$1 $f\""
-}
-nft_filter_apply_port_target_quic()
-{
-	# $1 - var name of nftables filter
-	local f
-	f="udp dport {$QUIC_PORTS}"
-	eval $1="\"\$$1 $f\""
-}
 nft_filter_apply_ipset_target4()
 {
 	# $1 - var name of ipv4 nftables filter
@@ -399,7 +400,7 @@ nft_only()
 
 nft_print_op()
 {
-	echo "Adding nftables ipv$3 rule for $2 : $1"
+	echo "Inserting nftables ipv$3 rule for $2 : $1"
 }
 _nft_fw_tpws4()
 {
@@ -410,8 +411,8 @@ _nft_fw_tpws4()
 	[ "$DISABLE_IPV4" = "1" -o -z "$1" ] || {
 		local filter="$1" port="$2"
 		nft_print_op "$filter" "tpws (port $2)" 4
-		nft_add_rule dnat_output skuid != $WS_USER ${3:+oifname @wanif }$filter ip daddr != @nozapret dnat ip to $TPWS_LOCALHOST4:$port
-		nft_add_rule dnat_pre iifname @lanif $filter ip daddr != @nozapret dnat ip to $TPWS_LOCALHOST4:$port
+		nft_insert_rule dnat_output skuid != $WS_USER ${3:+oifname @wanif }$filter ip daddr != @nozapret $FW_EXTRA_POST dnat ip to $TPWS_LOCALHOST4:$port
+		nft_insert_rule dnat_pre iifname @lanif $filter ip daddr != @nozapret $FW_EXTRA_POST dnat ip to $TPWS_LOCALHOST4:$port
 		prepare_route_localnet
 	}
 }
@@ -425,9 +426,9 @@ _nft_fw_tpws6()
 	[ "$DISABLE_IPV6" = "1" -o -z "$1" ] || {
 		local filter="$1" port="$2" DNAT6 i
 		nft_print_op "$filter" "tpws (port $port)" 6
-		nft_add_rule dnat_output skuid != $WS_USER ${4:+oifname @wanif6 }$filter ip6 daddr != @nozapret6 dnat ip6 to [::1]:$port
+		nft_insert_rule dnat_output skuid != $WS_USER ${4:+oifname @wanif6 }$filter ip6 daddr != @nozapret6 $FW_EXTRA_POST dnat ip6 to [::1]:$port
 		[ -n "$3" ] && {
-			nft_add_rule dnat_pre $filter ip6 daddr != @nozapret6 dnat ip6 to iifname map @link_local:$port
+			nft_insert_rule dnat_pre $filter ip6 daddr != @nozapret6 $FW_EXTRA_POST dnat ip6 to iifname map @link_local:$port
 			for i in $3; do
 				_dnat6_target $i DNAT6
 				# can be multiple tpws processes on different ports
@@ -476,7 +477,7 @@ _nft_fw_nfqws_post4()
 		nft_print_op "$filter" "nfqws postrouting (qnum $port)" 4
 		rule="${3:+oifname @wanif }$filter ip daddr != @nozapret"
 		is_postnat && setmark="meta mark set meta mark or $DESYNC_MARK_POSTNAT"
-		nft_add_rule $chain $rule $setmark queue num $port bypass
+		nft_insert_rule $chain $rule $setmark $FW_EXTRA_POST queue num $port bypass
 		nft_add_nfqws_flow_exempt_rule "$rule"
 	}
 }
@@ -491,7 +492,7 @@ _nft_fw_nfqws_post6()
 		nft_print_op "$filter" "nfqws postrouting (qnum $port)" 6
 		rule="${3:+oifname @wanif6 }$filter ip6 daddr != @nozapret6"
 		is_postnat && setmark="meta mark set meta mark or $DESYNC_MARK_POSTNAT"
-		nft_add_rule $chain $rule $setmark queue num $port bypass
+		nft_insert_rule $chain $rule $setmark $FW_EXTRA_POST queue num $port bypass
 		nft_add_nfqws_flow_exempt_rule "$rule"
 	}
 }
@@ -515,7 +516,7 @@ _nft_fw_nfqws_pre4()
 		local filter="$1" port="$2" rule
 		nft_print_op "$filter" "nfqws prerouting (qnum $port)" 4
 		rule="${3:+iifname @wanif }$filter ip saddr != @nozapret"
-		nft_add_rule $(get_prechain) $rule queue num $port bypass
+		nft_insert_rule $(get_prechain) $rule $FW_EXTRA_POST queue num $port bypass
 	}
 }
 _nft_fw_nfqws_pre6()
@@ -528,7 +529,7 @@ _nft_fw_nfqws_pre6()
 		local filter="$1" port="$2" rule
 		nft_print_op "$filter" "nfqws prerouting (qnum $port)" 6
 		rule="${3:+iifname @wanif6 }$filter ip6 saddr != @nozapret6"
-		nft_add_rule $(get_prechain) $rule queue num $port bypass
+		nft_insert_rule $(get_prechain) $rule $FW_EXTRA_POST queue num $port bypass
 	}
 }
 nft_fw_nfqws_pre()
@@ -582,29 +583,13 @@ zapret_list_table()
 
 
 
-nft_produce_reverse_nfqws_rule()
-{
-	local rule="$1"
-	if contains "$rule" "$nft_connbytes "; then
-		# autohostlist - need several incoming packets
-		# autottl - need only one incoming packet
-		[ "$MODE_FILTER" = autohostlist ] || rule=$(echo "$rule" | sed -re "s/$nft_connbytes [0-9]+-[0-9]+/$nft_connbytes 1/")
-	else
-		# old nft does not swallow 1-1
-		local range=1
-		[ "$MODE_FILTER" = autohostlist ] && range=$(first_packets_for_mode)
-		[ "$range" = 1 ] || range="1-$range"
-		rule="$nft_connbytes $range $rule"
-	fi
-	nft_reverse_nfqws_rule $rule
-}
 nft_fw_reverse_nfqws_rule4()
 {
-	nft_fw_nfqws_pre4 "$(nft_produce_reverse_nfqws_rule "$1")" $2
+	nft_fw_nfqws_pre4 "$(nft_reverse_nfqws_rule "$1")" $2
 }
 nft_fw_reverse_nfqws_rule6()
 {
-	nft_fw_nfqws_pre6 "$(nft_produce_reverse_nfqws_rule "$1")" $2
+	nft_fw_nfqws_pre6 "$(nft_reverse_nfqws_rule "$1")" $2
 }
 nft_fw_reverse_nfqws_rule()
 {
@@ -616,108 +601,75 @@ nft_fw_reverse_nfqws_rule()
 	nft_fw_reverse_nfqws_rule6 "$2" $3
 }
 
+nft_first_packets()
+{
+	# $1 - packet count
+	[ -n "$1" -a "$1" != keepalive ] && [ "$1" -ge 1 ] &&
+	{
+		if [ "$1" = 1 ] ; then
+			echo "$nft_connbytes 1"
+		else
+			echo "$nft_connbytes 1-$1"
+		fi
+	}
+}
+
+nft_apply_nfqws_in_out()
+{
+	# $1 - tcp,udp
+	# $2 - ports
+	# $3 - PKT_OUT. special value : 'keepalive'
+	# $4 - PKT_IN
+	local f4 f6 first_packets_only
+	[ -n "$2" ] || return
+	[ -n "$3" -a "$3" != 0 ] &&
+	{
+		first_packets_only="$(nft_first_packets $3)"
+		f4="$1 dport {$2} $first_packets_only"
+		f6=$f4
+		nft_filter_apply_ipset_target f4 f6
+		nft_fw_nfqws_post "$f4" "$f6" $QNUM
+	}
+	[ -n "$4" -a "$4" != 0 ] &&
+	{
+		first_packets_only="$(nft_first_packets $4)"
+		f4="$1 dport {$2} $first_packets_only"
+		f6=$f4
+		nft_filter_apply_ipset_target f4 f6
+		nft_fw_reverse_nfqws_rule "$f4" "$f6" $QNUM
+	}
+}
+
+zapret_apply_firewall_standard_rules_nft()
+{
+	local f4 f6
+
+	[ "$TPWS_ENABLE" = 1 -a -n "$TPWS_PORTS" ] &&
+	{
+		f4="tcp dport {$TPWS_PORTS}"
+		f6=$f4
+		nft_filter_apply_ipset_target f4 f6
+		nft_fw_tpws "$f4" "$f6" $TPPORT
+	}
+	[ "$NFQWS_ENABLE" = 1 ] &&
+	{
+		nft_apply_nfqws_in_out tcp "$NFQWS_PORTS_TCP" "$NFQWS_TCP_PKT_OUT" "$NFQWS_TCP_PKT_IN"
+		nft_apply_nfqws_in_out tcp "$NFQWS_PORTS_TCP_KEEPALIVE" keepalive "$NFQWS_TCP_PKT_IN"
+		nft_apply_nfqws_in_out udp "$NFQWS_PORTS_UDP" "$NFQWS_UDP_PKT_OUT" "$NFQWS_UDP_PKT_IN"
+		nft_apply_nfqws_in_out udp "$NFQWS_PORTS_UDP_KEEPALIVE" keepalive "$NFQWS_UDP_PKT_IN"
+	}
+}
+
 zapret_apply_firewall_rules_nft()
 {
-	local mode="${MODE_OVERRIDE:-$MODE}"
-
-	local first_packets_only
-	local desync="mark and $DESYNC_MARK == 0"
-	local f4 f6 qn qns qn6 qns6
-	
-	first_packets_only="$nft_connbytes 1-$(first_packets_for_mode)"
-
-	case "$mode" in
-		tpws)
-			if [ ! "$MODE_HTTP" = "1" ] && [ ! "$MODE_HTTPS" = "1" ]; then
-				echo both http and https are disabled. not applying redirection.
-			else
-				nft_filter_apply_port_target f4
-				f6=$f4
-				nft_filter_apply_ipset_target f4 f6
-				nft_fw_tpws "$f4" "$f6" $TPPORT
-			fi
-			;;
-		nfqws)
-			local POSTNAT_SAVE=$POSTNAT
-
-			POSTNAT=1
-			# quite complex but we need to minimize nfqws processes to save RAM
-			get_nfqws_qnums qn qns qn6 qns6
-			if [ "$MODE_HTTP_KEEPALIVE" != "1" ] && [ -n "$qn" ] && [ "$qn" = "$qns" ]; then
-				nft_filter_apply_port_target f4
-				f4="$f4 $first_packets_only"
-				nft_filter_apply_ipset_target4 f4
-				nft_fw_nfqws_post4 "$f4 $desync" $qn
-				nft_fw_reverse_nfqws_rule4 "$f4" $qn
-			else
-				if [ -n "$qn" ]; then
-					f4="tcp dport {$HTTP_PORTS}"
-					[ "$MODE_HTTP_KEEPALIVE" = "1" ] || f4="$f4 $first_packets_only"
-					nft_filter_apply_ipset_target4 f4
-					nft_fw_nfqws_post4 "$f4 $desync" $qn
-					nft_fw_reverse_nfqws_rule4 "$f4" $qn
-				fi
-				if [ -n "$qns" ]; then
-					f4="tcp dport {$HTTPS_PORTS} $first_packets_only"
-					nft_filter_apply_ipset_target4 f4
-					nft_fw_nfqws_post4 "$f4 $desync" $qns
-					nft_fw_reverse_nfqws_rule4 "$f4" $qns
-				fi
-			fi
-			if [ "$MODE_HTTP_KEEPALIVE" != "1" ] && [ -n "$qn6" ] && [ "$qn6" = "$qns6" ]; then
-				nft_filter_apply_port_target f6
-				f6="$f6 $first_packets_only"
-				nft_filter_apply_ipset_target6 f6
-				nft_fw_nfqws_post6 "$f6 $desync" $qn6
-				nft_fw_reverse_nfqws_rule6 "$f6" $qn6
-			else
-				if [ -n "$qn6" ]; then
-					f6="tcp dport {$HTTP_PORTS}"
-					[ "$MODE_HTTP_KEEPALIVE" = "1" ] || f6="$f6 $first_packets_only"
-					nft_filter_apply_ipset_target6 f6
-					nft_fw_nfqws_post6 "$f6 $desync" $qn6
-					nft_fw_reverse_nfqws_rule6 "$f6" $qn6
-				fi
-				if [ -n "$qns6" ]; then
-					f6="tcp dport {$HTTPS_PORTS} $first_packets_only"
-					nft_filter_apply_ipset_target6 f6
-					nft_fw_nfqws_post6 "$f6 $desync" $qns6
-					nft_fw_reverse_nfqws_rule6 "$f6" $qns6
-				fi
-			fi
-
-			get_nfqws_qnums_quic qn qn6
-			if [ -n "$qn" ]; then
-				f4=
-				nft_filter_apply_port_target_quic f4
-				f4="$f4 $first_packets_only"
-				nft_filter_apply_ipset_target4 f4
-				nft_fw_nfqws_post4 "$f4 $desync" $qn
-			fi
-			if [ -n "$qn6" ]; then
-				f6=
-				nft_filter_apply_port_target_quic f6
-				f6="$f6 $first_packets_only"
-				nft_filter_apply_ipset_target6 f6
-				nft_fw_nfqws_post6 "$f6 $desync" $qn6
-			fi
-
-			POSTNAT=$POSTNAT_SAVE
-			;;
-		custom)
-			custom_runner zapret_custom_firewall_nft
-			;;
-	esac
+	zapret_apply_firewall_standard_rules_nft
+	custom_runner zapret_custom_firewall_nft
 }
 
 zapret_apply_firewall_nft()
 {
 	echo Applying nftables
 
-	local mode="${MODE_OVERRIDE:-$MODE}"
-
-	[ "$mode" = "tpws-socks" ] && return 0
-
 	create_ipset no-update
 	nft_create_firewall
 	nft_fill_ifsets_overload
@@ -734,6 +686,7 @@ zapret_unapply_firewall_nft()
 
 	unprepare_route_localnet
 	nft_del_firewall
+	custom_runner zapret_custom_firewall_nft_flush
 	return 0
 }
 zapret_do_firewall_nft()

common/pf.sh

@@ -1,5 +1,5 @@
 PF_MAIN="/etc/pf.conf"
-PF_ANCHOR_DIR=/etc/pf.anchors
+PF_ANCHOR_DIR="/etc/pf.anchors"
 PF_ANCHOR_ZAPRET="$PF_ANCHOR_DIR/zapret"
 PF_ANCHOR_ZAPRET_V4="$PF_ANCHOR_DIR/zapret-v4"
 PF_ANCHOR_ZAPRET_V6="$PF_ANCHOR_DIR/zapret-v6"
@@ -108,33 +108,17 @@ pf_anchor_zapret_tables()
 }
 pf_nat_reorder_rules()
 {
-	# this is dirty hack to move rdr above route-to and remove route-to dups
-	sort -rfu
-}
-pf_anchor_port_target()
-{
-	if [ "$MODE_HTTP" = "1" ] && [ "$MODE_HTTPS" = "1" ]; then
-		echo "{$HTTP_PORTS_IPT,$HTTPS_PORTS_IPT}"
-	elif [ "$MODE_HTTPS" = "1" ]; then
-		echo "{$HTTPS_PORTS_IPT}"
-	elif [ "$MODE_HTTP" = "1" ]; then
-		echo "{$HTTP_PORTS_IPT}"
-	fi
+	# this is dirty hack to move rdr above route-to
+        # use only first word as a key and preserve order within a single key
+	sort -srfk 1,1
 }
 
 pf_anchor_zapret_v4_tpws()
 {
 	# $1 - tpws listen port
-	# $2 - rdr ports. defaults are used if empty
-
-	local rule port
-
-	if [ -n "$2" ]; then
-		port="{$2}"
-	else
-		port=$(pf_anchor_port_target)
-	fi
+	# $2 - rdr ports
 
+	local rule port="{$2}"
 	for lan in $IFACE_LAN; do
 		for t in $tbl; do
 			 echo "rdr on $lan inet proto tcp from any to $t port $port -> 127.0.0.1 port $1"
@@ -157,31 +141,19 @@ pf_anchor_zapret_v4()
 {
 	local tbl port
 	[ "$DISABLE_IPV4" = "1" ] || {
-		case "${MODE_OVERRIDE:-$MODE}" in
-			tpws)
-				[ ! "$MODE_HTTP" = "1" ] && [ ! "$MODE_HTTPS" = "1" ] && return
-				pf_anchor_zapret_tables tbl zapret-user "$ZIPLIST_USER" zapret "$ZIPLIST"
-				pf_anchor_zapret_v4_tpws $TPPORT
-				;;
-			custom)
-				pf_anchor_zapret_tables tbl zapret-user "$ZIPLIST_USER" zapret "$ZIPLIST"
-				custom_runner zapret_custom_firewall_v4 | pf_nat_reorder_rules
-				;;
-		esac
+		{
+			pf_anchor_zapret_tables tbl zapret-user "$ZIPLIST_USER" zapret "$ZIPLIST"
+			custom_runner zapret_custom_firewall_v4
+			[ "$TPWS_ENABLE" = 1 -a -n "$TPWS_PORTS" ] && pf_anchor_zapret_v4_tpws $TPPORT "$TPWS_PORTS_IPT"
+		} | pf_nat_reorder_rules
 	}
 }
 pf_anchor_zapret_v6_tpws()
 {
 	# $1 - tpws listen port
-	# $2 - rdr ports. defaults are used if empty
+	# $2 - rdr ports
 
-	local rule LL_LAN port
-
-	if [ -n "$2" ]; then
-		port="{$2}"
-	else
-		port=$(pf_anchor_port_target)
-	fi
+	local rule LL_LAN port="{$2}"
 
 	# LAN link local is only for router
 	for lan in $IFACE_LAN; do
@@ -207,19 +179,12 @@ pf_anchor_zapret_v6_tpws()
 pf_anchor_zapret_v6()
 {
 	local tbl port
-
 	[ "$DISABLE_IPV6" = "1" ] || {
-		case "${MODE_OVERRIDE:-$MODE}" in
-			tpws)
-				[ ! "$MODE_HTTP" = "1" ] && [ ! "$MODE_HTTPS" = "1" ] && return
-				pf_anchor_zapret_tables tbl zapret6-user "$ZIPLIST_USER6" zapret6 "$ZIPLIST6"
-				pf_anchor_zapret_v6_tpws $TPPORT
-				;;
-			custom)
-				pf_anchor_zapret_tables tbl zapret6-user "$ZIPLIST_USER6" zapret6 "$ZIPLIST6"
-				custom_runner zapret_custom_firewall_v6 | pf_nat_reorder_rules
-				;;
-		esac
+		{
+			pf_anchor_zapret_tables tbl zapret-user "$ZIPLIST_USER" zapret "$ZIPLIST"
+			custom_runner zapret_custom_firewall_v6
+			[ "$TPWS_ENABLE" = 1 -a -n "$TPWS_PORTS_IPT" ] && pf_anchor_zapret_v6_tpws $TPPORT "$TPWS_PORTS_IPT"
+		} | pf_nat_reorder_rules
 	}
 }
 

config.default

@@ -9,6 +9,9 @@
 
 # override firewall type : iptables,nftables,ipfw
 #FWTYPE=iptables
+# nftables only : set this to 0 to use pre-nat mode. default is post-nat.
+# pre-nat mode disables some bypass techniques for forwarded traffic but allows to see client IP addresses in debug log
+#POSTNAT=0
 
 # options for ipsets
 # maximum number of elements in sets. also used for nft sets
@@ -40,53 +43,56 @@ GZIP_LISTS=1
 # set to "-" to disable reload
 #LISTS_RELOAD="pfctl -f /etc/pf.conf"
 
-# override ports
-#HTTP_PORTS=80-81,85
-#HTTPS_PORTS=443,500-501
-#QUIC_PORTS=443,444
-
-# CHOOSE OPERATION MODE
-# MODE : nfqws,tpws,tpws-socks,filter,custom
-# nfqws : nfqws for dpi desync
-# tpws : tpws transparent mode
-# tpws-socks : tpws socks mode
-# filter : no daemon, just create ipset or download hostlist
-# custom : custom mode. should modify custom init script and add your own code
-MODE=tpws
-# apply fooling to http
-MODE_HTTP=1
-# for nfqws only. support http keep alives. enable only if DPI checks for http request in any outgoing packet
-MODE_HTTP_KEEPALIVE=0
-# apply fooling to https
-MODE_HTTPS=1
-# apply fooling to quic
-MODE_QUIC=0
-# none,ipset,hostlist,autohostlist
-MODE_FILTER=none
-
-# CHOOSE NFQWS DAEMON OPTIONS for DPI desync mode. run "nfq/nfqws --help" for option list
-# SUFFIX VARS define additional lower priority desync profile. it's required if MODE_FILTER=hostlist and strategy has hostlist-incompatible 0-phase desync methods (syndata,wssize)
+# mark bit used by nfqws to prevent loop
 DESYNC_MARK=0x40000000
 DESYNC_MARK_POSTNAT=0x20000000
-NFQWS_OPT_DESYNC="--dpi-desync=fake --dpi-desync-ttl=0 --dpi-desync-ttl6=0 --dpi-desync-fooling=badsum"
-#NFQWS_OPT_DESYNC_SUFFIX="--dpi-desync=syndata"
-#NFQWS_OPT_DESYNC_HTTP=""
-#NFQWS_OPT_DESYNC_HTTP_SUFFIX="--dpi-desync=syndata"
-#NFQWS_OPT_DESYNC_HTTPS=""
-#NFQWS_OPT_DESYNC_HTTPS_SUFFIX="--wssize 1:6"
-#NFQWS_OPT_DESYNC_HTTP6=""
-#NFQWS_OPT_DESYNC_HTTP6_SUFFIX="--dpi-desync=syndata"
-#NFQWS_OPT_DESYNC_HTTPS6=""
-#NFQWS_OPT_DESYNC_HTTPS6_SUFFIX="--wssize 1:6"
-NFQWS_OPT_DESYNC_QUIC="--dpi-desync=fake --dpi-desync-repeats=6"
-#NFQWS_OPT_DESYNC_QUIC_SUFFIX=""
-#NFQWS_OPT_DESYNC_QUIC6="--dpi-desync=hopbyhop"
-#NFQWS_OPT_DESYNC_QUIC6_SUFFIX=""
 
-# CHOOSE TPWS DAEMON OPTIONS. run "tpws/tpws --help" for option list
-# SUFFIX VARS define additional lower priority desync profile. it's required if MODE_FILTER=hostlist and strategy has hostlist-incompatible 0-phase desync methods (mss)
-TPWS_OPT="--hostspell=HOST --split-http-req=method --split-pos=3 --oob"
-#TPWS_OPT_SUFFIX="--mss 88"
+TPWS_SOCKS_ENABLE=0
+# tpws socks listens on this port on localhost and LAN interfaces
+TPPORT_SOCKS=987
+# use <HOSTLIST> placeholders to engage standard hostlists and autohostlist in ipset dir
+# they are replaced to empty string if MODE_FILTER does not satisfy
+TPWS_SOCKS_OPT="
+--filter-tcp=80 --methodeol <HOSTLIST> --new
+--filter-tcp=443 --split-tls=sni --disorder <HOSTLIST>
+"
+
+TPWS_ENABLE=0
+TPWS_PORTS=80,443
+# use <HOSTLIST> placeholders to engage standard hostlists and autohostlist in ipset dir
+# they are replaced to empty string if MODE_FILTER does not satisfy
+TPWS_OPT="
+--filter-tcp=80 --methodeol <HOSTLIST> --new
+--filter-tcp=443 --split-tls=sni --disorder <HOSTLIST>
+"
+
+NFQWS_ENABLE=0
+# redirect outgoing traffic with connbytes limiter applied in both directions.
+NFQWS_PORTS_TCP=80,443
+NFQWS_PORTS_UDP=443
+# PKT_OUT means connbytes dir original
+# PKT_IN means connbytes dir reply
+# this is --dpi-desync-cutoff=nX kernel mode implementation for linux. it saves a lot of CPU.
+NFQWS_TCP_PKT_OUT=$((6+$AUTOHOSTLIST_RETRANS_THRESHOLD))
+NFQWS_TCP_PKT_IN=3
+NFQWS_UDP_PKT_OUT=$((6+$AUTOHOSTLIST_RETRANS_THRESHOLD))
+NFQWS_UDP_PKT_IN=0
+# redirect outgoing traffic without connbytes limiter and incoming with connbytes limiter
+# normally it's needed only for stateless DPI that matches every packet in a single TCP session
+# typical example are plain HTTP keep alives
+# this mode can be very CPU consuming. enable with care !
+#NFQWS_PORTS_TCP_KEEPALIVE=80
+#NFQWS_PORTS_UDP_KEEPALIVE=
+# use <HOSTLIST> placeholders to engage standard hostlists and autohostlist in ipset dir
+# they are replaced to empty string if MODE_FILTER does not satisfy
+NFQWS_OPT="
+--filter-tcp=80 --dpi-desync=fake,split2 --dpi-desync-fooling=md5sig <HOSTLIST> --new
+--filter-tcp=443 --dpi-desync=fake,disorder2 --dpi-desync-fooling=md5sig <HOSTLIST> --new
+--filter-udp=443 --dpi-desync=fake --dpi-desync-repeats=6 <HOSTLIST>
+"
+
+# none,ipset,hostlist,autohostlist
+MODE_FILTER=none
 
 # openwrt only : donttouch,none,software,hardware
 FLOWOFFLOAD=donttouch
@@ -123,4 +129,4 @@ DISABLE_IPV6=1
 # select which init script will be used to get ip or host list
 # possible values : get_user.sh get_antizapret.sh get_combined.sh get_reestr.sh get_hostlist.sh
 # comment if not required
-GETLIST=get_antifilter_ipsmart.sh
+#GETLIST=

docs/changes.txt

@@ -323,3 +323,21 @@ v64:
 blockcheck: warn if dpi bypass software is already running
 blockcheck: TPWS_EXTRA, NFQWS_EXTRA
 init.d: multiple custom scripts
+
+v65:
+
+init.d: dynamic number allocation for dnum,tpws_port,qnum
+init.d: FW_EXTRA_PRE, FW_EXTRA_POST
+init.d: zapret_custom_firewall_nft_flush
+nfqws,tpws: l7proto and client ip:port info in autohostlist debug log
+nfqws,tpws: user mode ipset filter support
+nfqws,tpws: l7proto filter support
+tpws: fixed MSS apply in transparent mode
+nfqws: fixed autottl apply if desync profile changed
+tpws,nfqws: fixed 100% cpu hang on gzipped list with comments
+ipset: get_refilter_ipsum.sh , get_refilter_domain.sh
+
+v66:
+
+init.d: rewrite traffic interception and daemon launch parameters in config file. this break compatibility with old versions.
+init.d: openwrt-minimal : tpws launch for low storage openwrt devices

docs/nftables.txt

@@ -19,13 +19,13 @@ For dpi desync attack :
 nft delete table inet ztest
 nft create table inet ztest
 nft add chain inet ztest post "{type filter hook postrouting priority mangle;}"
-nft add rule inet ztest post tcp dport "{80,443}" ct original packets 1-12 queue num 200 bypass
-nft add rule inet ztest post udp dport 443 ct original packets 1-4 queue num 200 bypass
+nft add rule inet ztest post meta mark and 0x40000000 == 0 tcp dport "{80,443}" ct original packets 1-12 queue num 200 bypass
+nft add rule inet ztest post meta mark and 0x40000000 == 0 udp dport 443 ct original packets 1-12 queue num 200 bypass
 
 # auto hostlist with avoiding wrong ACK numbers in RST,ACK packets sent by russian DPI
 sysctl net.netfilter.nf_conntrack_tcp_be_liberal=1 
 nft add chain inet ztest pre "{type filter hook prerouting priority filter;}"
-nft add rule inet ztest pre tcp sport "{80,443}" ct reply packets 1-4 queue num 200 bypass
+nft add rule inet ztest pre tcp sport "{80,443}" ct reply packets 1-3 queue num 200 bypass
 
 
 show rules   : nft list table inet ztest

docs/quick_start.txt

@@ -22,9 +22,9 @@
 1) Чтобы процедура установки сработала в штатном режиме на openwrt, нужно раcсчитывать на свободное место около 1-2 Mb
 для установки самого zapret и необходимых дополнительных пакетов.
 Если места мало и нет возможности его увеличить за счет extroot, возможно придется отказаться от варианта
-простой установки и прикручивать в ручном режиме без имеющихся скриптов запуска, либо попробовать засунуть требуемые
-zapret дополнительные пакеты в сжатый образ squashfs с помощью image builder и перешить этим вариантом роутер.
-См docs/manual_setup.txt , docs/readme.txt .
+простой установки и прикручивать в ручном режиме без имеющихся скриптов запуска.
+Можно использовать облегченный tpws вариант из init.d/openwrt-minimal, либо попробовать засунуть требуемые zapret
+дополнительные пакеты в сжатый образ squashfs с помощью image builder и перешить этим вариантом роутер.
 
 2) Скачайте zip архив проекта с github в /tmp, распакуйте его там,
 либо клонируйте проект через : git clone --depth 1 https://github.com/bol-van/zapret
@@ -83,10 +83,9 @@ iptables/nftables. В /etc/resolv.conf нельзя прописать DNS на
 
 Следует понимать, что blockcheck проверяет доступность только конкретного домена, который вы вводите в начале.
 Вероятно, все остальные домены блокированы подобным образом, но не факт.
-В большинстве случаев можно обьединить несколько стратегий в одну универсальную, но для этого необходимо понимать
-"что там за буковки". Если вы в сетях слабо разбираетесь, это не для вас. В противном случае читайте readme.txt.
-zapret не может пробить блокировку по IP адресу
-Для проверки нескольких доменов вводите их через пробел.
+В большинстве случаев можно обьединить несколько стратегий в одну универсальную, и это крайне желательно.
+Необходимо понимать как работают стратегии.
+zapret не может пробить блокировку по IP адресу. Для проверки нескольких доменов вводите их через пробел.
 
 Сейчас блокираторы ставят на магистральных каналах. В сложных случаях у вас может быть несколько маршрутов
 с различной длиной по ХОПам, с DPI на разных хопах. Приходится преодолевать целый зоопарк DPI,
@@ -104,37 +103,68 @@ badseq может работать только на https и не работа
 может на одних провайдерах работать стабильно, на других потребуется выяснить при каких параметрах
 она стабильна, на третьих полный хаос, и проще отказаться.
 
+Далее, имея понимание что работает на http, https, quic, нужно сконструировать параметры запуска tpws и/или nfqws
+с использованием мультистратегии. Как работают мультистратегии описано в readme.txt.
+
+Если кратко, то обычно параметры конструируются так :
+"--filter-udp=443 'параметры для quic' <HOSTLIST> --new
+--filter-tcp=80-443 'обьединенные параметры для http и https' <HOSTLIST>"
+
+Или так :
+"--filter-udp=443 "параметры для quic" <HOSTLIST> --new
+--filter-tcp=80 'параметры для http' <HOSTLIST> --new
+--filter-tcp=443 'параметры для https' <HOSTLIST>"
+
+"<HOSTLIST>" так и пишется. Его не надо на что-то заменять. Это сделают скрипты запуска, если вы выбрали режим
+фильтрации по хостлистам, и уберут в противном случае.
+Если для какого-то протокола надо дурить все без стандартного хостлиста - просто уберите оттуда "<HOSTLIST>".
+Можно писать свои параметры --hostlist и --hostlist-exclude для дополнительных хостлистов
+или в профилях специализаций под конкретный ресурс. В последнем случае стандартный хостлист там не нужен.
+Следует избегать указания собственных параметров --hostlist на листы из директории ipset.
+Эта логика включена в "<HOSTLIST>".
+
+Если стратегии отличаются по версии ip протокола, и вы не можете их обьединить, фильтр пишется так :
+"--filter-l3=ipv4 --filter-udp=443 "параметры для quic ipv4" <HOSTLIST> --new
+--filter-l3=ipv4 --filter-tcp=80 'параметры для http ipv4' <HOSTLIST> --new
+--filter-l3=ipv4 --filter-tcp=443 'параметры для https ipv4' <HOSTLIST> --new
+--filter-l3=ipv6 --filter-udp=443 "параметры для quic ipv6" <HOSTLIST> --new
+--filter-l3=ipv6 --filter-tcp=80 'параметры для http ipv6' <HOSTLIST> --new
+--filter-l3=ipv6 --filter-tcp=443 'параметры для https ipv6' <HOSTLIST>"
+
+Но здесь совсем "копи-пастный" вариант.
+Чем больше вы обьедините стратегий и сократите их общее количество, тем будет лучше.
+
+Если вам не нужно дурение отдельных протоколов, лучше всего будет их убрать из системы перехвата трафика через
+параметры TPWS_PORTS, NFQWS_PORTS_TCP, NFQWS_PORTS_UDP и убрать соответствующие им профили мультистратегии.
+tcp 80 - http, tcp 443 - https, udp 443 - quic.
+
 Если используются методы нулевой фазы десинхронизации (--mss, --wssize, --dpi-desync=syndata) и режим фильтрации hostlist,
-то все параметры, относящиеся к этим методам, следует помещать не в основные параметры (например, NFQWS_OPT_DESYNC),
-а в suffix (NFQWS_OPT_DESYNC_SUFFIX). Чтобы не ошибиться, можно их продублировать и там, и там.
-Иначе они могут не работать.
+то все параметры, относящиеся к этим методам, следует помещать в отдельные профили мульистратегии, которые получат
+управление до определения имени хоста. Необходимо понимать алгоритм работы мультистратегий.
+Самым надежным вариантом будет дублирование этих параметров на 2 профиля. Какой-нибудь сработает в зависимости
+от параметра MODE_FILTER.
+
+"--filter-tcp=80 'параметры для http' <HOSTLIST> --new
+--filter-tcp=443 'параметры для https' --wssize 1:6 <HOSTLIST> --new
+--filter-tcp=443 --wssize 1:6"
+
+В этом примере wssize будет применяться всегда к порту tcp 443 вне зависимости от параметра MODE_FILTER.
+Хостлист будет игнорироваться, если таковой имеется. К http применять wssize вредно и бессмысленно.
+
+Никто не мешает использовать tpws для http, nfqws для https, либо комбинировать действие nfqws и tpws для одного протокола.
+В текущем варианте скриптов запуска это делается максимально гибко и независимо друг от друга.
 
 8) Запустите install_easy.sh.
-Выберите nfqws или tpws, затем согласитесь на редактирование параметров.
-Откроется редактор, куда впишите найденные стратегии.
-Для nfqws отдельно настраиваются стратегии на http и https для ipv4 и ipv6.
-То есть по максимуму 4 разных варианта. 
-NFQWS_OPT_DESYNC - это общая установка, которая применяется, если какой-либо уточняющий параметр не задан
-NFQWS_OPT_DESYNC_HTTP и NFQWS_OPT_DESYNC_HTTPS заменяют стратегию для http и https.
-Если у вас включен ipv6, то они так же будут применены и к ipv6. Если для ipv6 нужна другая стратегия,
-то можно задать уточняющие параметры NFQWS_OPT_DESYNC_HTTP6 и NFQWS_OPT_DESYNC_HTTPS6.
-Если стратегии для ipv4 и ipv6 отличаются лишь ttl, то в целях экономии ресурсов роутера (меньше процессов nfqws)
-следует отказаться от использования специфических для ipv6 установок. Вместо них использовать параметры
---dpi-desync-ttl и --dpi-desync-ttl6 в общих установках. Таким способом можно заставить один процесс nfqws
-обрабатывать трафик на ipv4 и на ipv6 с разным ttl.
-
-Важным вопросом является вопрос о поддержке http keep alive.
-Отвечайте N.  Если вдруг на http сайтах будут хаотические сбои типа то загружается, то заглушка или сброс,
-попробуйте включить поддержку keep alive. Но просто "на всякий случай" не включайте - это увеличит нагрузку на роутер.
-
-Если это не помогает, или хаотичное поведение наблюдается и на https, то еще раз прогоните blockcheck
-с установленным числом попыток проверки не менее 5. Возможно, ваш провайдер использует балансировку нагрузки,
-где на разных путях установлен разный DPI.
+Выберите nfqws и/или tpws, затем согласитесь на редактирование параметров.
+Откроется редактор, куда впишите созданную на предыдущем этапе стратегию.
 
 9) На все остальные вопросы install_easy.sh отвечайте согласно выводимой аннонтации.
 
 10) Если ломаются отдельные незаблокированные ресурсы, следует вносить их в исключения, либо пользоваться ограничивающим
 ipset или хост листом. Читайте основной талмуд readme.txt ради подробностей.
+Но еще лучше будет подбирать такие стратегии, которые ломают минимум.
+Есть стратегии довольно безобидные, а есть сильно ломающие, которые подходят только для точечного пробития отдельных ресурсов,
+когда ничего лучше нет. Хорошая стратегия может сильно ломать из-за плохо подобранных ограничителей для фейков - ttl, fooling.
 
 Это минимальная инструкция, чтобы соориентироваться с чего начать. Однако, это - не панацея.
 В некоторых случаях вы не обойдетесь без знаний и основного "талмуда".

docs/quick_start_windows.txt

@@ -2,7 +2,10 @@
 
 Как обычно, компьютерная грамотность ложится полностью на вас.
 Вы должны уметь работать с консолью windows и иметь минимальные навыки обращения с командными файлами bat,cmd.
-Если грамотность отсутствует и возникает куча "как" на базовых вещах - проходите мимо или ищите помощь в другом месте.
+Если грамотность отсутствует и возникает куча "как" на базовых вещах, значит эта программа не для вас.
+Разработчик не будет отвечать на вопросы из серии школы компьютерной грамотности.
+Если вы все-таки хотите продолжать, задавайте вопросы в дискуссиях на github или на форумах.
+Возможно, кто-то вам поможет. Но не надо писать issue на github. Они будут закрываться сразу.
 
 Обход DPI является хакерской методикой. Под этим словом понимается метод, которому сопротивляется окружающая среда,
 которому автоматически не гарантирована работоспособность в любых условиях и на любых ресурсах,
@@ -34,21 +37,22 @@
 
 РЕШЕНИЕ "КАК ПОЛОЖЕНО"
 
-1) Если у вас windows 7, обновляйте систему. Годами не обновляемая 7-ка может не запускать драйвер windivert.
-Поддержка 32-битных x86 windows возможна, но в готовом виде отсутствует.
+1) Скачайте и распакуйте архив https://github.com/bol-van/zapret-win-bundle/archive/refs/heads/master.zip
+
+2) Если у вас Windows 7 x64, читайте docs/windows.txt. Без описанной там подготовки может не работать.
+Для 32-битных систем Windows нет готового полного варианта, но есть собранные бинарники :
+https://github.com/bol-van/zapret-win32
 На windows 11 arm64 выполните arm64/install_arm64.cmd от имени администратора и перезагрузите компьютер.
 Читайте docs/windows.txt
 
 Имейте в виду, что антивирусы могут плохо реагировать на windivert.
-cygwin имеет внушительный список несовместимостей с антивирусами. Многие антивирусы его ломают.
-https://www.cygwin.com/faq.html#faq.using.bloda
-Если это имеет место , используйте исключения. Если это не помогает - отключайте антивирус совсем.
+cygwin так же имеет внушительный список несовместимостей с антивирусами, хотя современные антивирусы
+более-менее научились с ним дружить.
+Если проблема имеет место , используйте исключения. Если не помогает - отключайте антивирус совсем.
 
-2) Убедитесь, что у вас отключены все средства обхода блокировок, в том числе и сам zapret.
+3) Убедитесь, что у вас отключены все средства обхода блокировок, в том числе и сам zapret.
 
-3) Если вы работаете в виртуальной машине, необходимо использовать соединение с сетью в режиме bridge. nat не подходит
-
-4) Скачайте и распакуйте архив https://github.com/bol-van/zapret-win-bundle/archive/refs/heads/master.zip
+4) Если вы работаете в виртуальной машине, необходимо использовать соединение с сетью в режиме bridge. nat не подходит
 
 5) Запустите blockcheck\blockcheck.cmd.  blockcheck в начале проверяет DNS. Если выводятся сообщения о подмене адресов, то
 первым делом нужно решить эту проблему, иначе ничего не будет работать.
@@ -66,10 +70,9 @@ https://www.cygwin.com/faq.html#faq.using.bloda
 
 Следует понимать, что blockcheck проверяет доступность только конкретного домена, который вы вводите в начале.
 Вероятно, все остальные домены блокированы подобным образом, но не факт.
-В большинстве случаев можно обьединить несколько стратегий в одну универсальную, но для этого необходимо понимать
-"что там за буковки". Если вы в сетях слабо разбираетесь, это не для вас. В противном случае читайте readme.txt.
-zapret не может пробить блокировку по IP адресу
-Для проверки нескольких доменов вводите их через пробел.
+В большинстве случаев можно обьединить несколько стратегий в одну универсальную, и это крайне желательно.
+Необходимо понимать как работают стратегии.
+zapret не может пробить блокировку по IP адресу. Для проверки нескольких доменов вводите их через пробел.
 
 Сейчас блокираторы ставят на магистральных каналах. В сложных случаях у вас может быть несколько маршрутов
 с различной длиной по ХОПам, с DPI на разных хопах. Приходится преодолевать целый зоопарк DPI,
@@ -87,10 +90,58 @@ badseq может работать только на https и не работа
 может на одних провайдерах работать стабильно, на других потребуется выяснить при каких параметрах
 она стабильна, на третьих полный хаос, и проще отказаться.
 
-Если используются методы нулевой фазы десинхронизации (--wssize, --dpi-desync=syndata) и фильтр hostlist,
-то все параметры, относящиеся к этим методам, следует помещать в следующий профиль без хостлиста,
-к которому перейдет управление, когда имя хоста еще неизвестно.
-Используйте параметр --debug для отладки вашего сценария.
+Далее, имея понимание что работает на http, https, quic, нужно сконструировать параметры запуска winws
+с использованием мультистратегии. Как работают мультистратегии описано в readme.txt.
+
+Прежде всего вам нужно собрать фильтр перехватываемого трафика. Это делается через параметры
+--wf-l3, --wf-tcp, --wf-udp.
+--wf-l3 относится к версии ip протокола - ipv4 или ipv6.
+--wf-tcp и --wf-udp содержат перечень портов или диапазонов портов через запятую.
+
+Пример стандартного фильтра для перехвата http, https, quic : --wf-tcp=80,443 --wf-udp=443
+
+Фильтр должен быть минимально необходимым. Перехват лишнего трафика приведет только к бессмысленному
+расходованию ресурсов процессора и замедлению интернета.
+
+Если кратко по мультистратегии, то обычно параметры конструируются так :
+"--filter-udp=443 'параметры для quic' --new
+--filter-tcp=80-443 'обьединенные параметры для http и https'"
+
+Или так :
+"--filter-udp=443 "параметры для quic" --new
+--filter-tcp=80 'параметры для http' --new
+--filter-tcp=443 'параметры для https'"
+
+Если стратегии отличаются по версии ip протокола, и вы не можете их обьединить, фильтр пишется так :
+"--filter-l3=ipv4 --filter-udp=443 "параметры для quic ipv4" --new
+--filter-l3=ipv4 --filter-tcp=80 'параметры для http ipv4' --new
+--filter-l3=ipv4 --filter-tcp=443 'параметры для https ipv4' --new
+--filter-l3=ipv6 --filter-udp=443 "параметры для quic ipv6" --new
+--filter-l3=ipv6 --filter-tcp=80 'параметры для http ipv6' --new
+--filter-l3=ipv6 --filter-tcp=443 'параметры для https ipv6'"
+
+Но здесь совсем "копи-пастный" вариант.
+Чем больше вы обьедините стратегий и сократите их общее количество, тем будет лучше.
+
+Если вам не нужно дурение отдельных протоколов, лучше всего будет их убрать из системы перехвата трафика через
+параметры --wf-* и убрать соответствующие им профили мультистратегии.
+tcp 80 - http, tcp 443 - https, udp 443 - quic.
+
+Если используются методы нулевой фазы десинхронизации (--mss, --wssize, --dpi-desync=syndata) и фильтрация hostlist,
+то все параметры, относящиеся к этим методам, следует помещать в отдельные профили мультистратегии, которые получат
+управление до определения имени хоста. Необходимо понимать алгоритм работы мультистратегий.
+
+"--filter-tcp=80 'параметры для http' --new
+--filter-tcp=443 'параметры для https' --hostlist=d:/users/user/temp/list.txt --new
+--filter-tcp=443 --wssize 1:6"
+
+autohostlist профиль приоритетен, поэтому wssize нужно писать туда :
+
+"--filter-tcp=80 'параметры для http' --new
+--filter-tcp=443 'параметры для https' --wssize 1:6 --hostlist-auto=d:/users/user/temp/autolist.txt"
+
+В этих примерах wssize будет применяться всегда к порту tcp 443, а хостлист будет игнорироваться.
+К http применять wssize вредно и бессмысленно.
 
 7) Протестируйте найденные стратегии на winws. winws следует брать из zapret-winws.
 Для этого откройте командную строку windows от имени администратора в директории zapret-winws.
@@ -113,10 +164,12 @@ badseq может работать только на https и не работа
 
 Аналогично настраиваются и службы windows. Смотрите service_*.cmd
 
-9) Если ломаются отдельные незаблокированные ресурсы, используйте хост-листы.
-Где они будут находиться - решайте сами.
-Параметры управления хост-листами точно такие же, как в *nix.
+9) Если ломаются отдельные незаблокированные ресурсы, нужно пользоваться ограничивающим
+ipset или хост листом. Читайте основной талмуд readme.txt ради подробностей.
+Но еще лучше будет подбирать такие стратегии, которые ломают минимум.
+Есть стратегии довольно безобидные, а есть сильно ломающие, которые подходят только для точечного пробития отдельных ресурсов,
+когда ничего лучше нет. Хорошая стратегия может сильно ломать из-за плохо подобранных ограничителей для фейков - ttl, fooling.
 
 Это минимальная инструкция, чтобы соориентироваться с чего начать. Однако, это - не панацея.
-В некоторых случаях вы не обойдетесь без знаний и основного "толмуда".
+В некоторых случаях вы не обойдетесь без знаний и основного "талмуда".
 Подробности и полное техническое описание расписаны в readme.txt

docs/readme.eng.md

@@ -97,7 +97,8 @@ Then we can reduce CPU load, refusing to process unnecessary packets.
 `iptables -t mangle -I POSTROUTING -o <external_interface> -p tcp --dport 80 -m connbytes --connbytes-dir=original --connbytes-mode=packets --connbytes 1:6 -m mark ! --mark 0x40000000/0x40000000 -m set --match-set zapret dst -j NFQUEUE --queue-num 200 --queue-bypass`
 
 Mark filter does not allow nfqws-generated packets to enter the queue again.
-Its necessary to use this filter when also using `connbytes 1:6`. Without it packet ordering can be changed breaking the whole idea.
+Its necessary to use this filter when also using `connbytes`. Without it packet ordering can be changed breaking the whole idea.
+Also if there's huge packet send from nfqws it may deadlock without mark filter.
 
 Some attacks require redirection of incoming packets :
 
@@ -210,6 +211,9 @@ nfqws takes the following parameters:
  --filter-l3=ipv4|ipv6                          ; L3 protocol filter. multiple comma separated values allowed.
  --filter-tcp=[~]port1[-port2]                  ; TCP port filter. ~ means negation. setting tcp and not setting udp filter denies udp.
  --filter-udp=[~]port1[-port2]                  ; UDP port filter. ~ means negation. setting udp and not setting tcp filter denies tcp.
+ --filter-l7=[http|tls|quic|wireguard|dht|unknown] ; L6-L7 protocol filter. multiple comma separated values allowed.
+ --ipset=<filename>                             ; ipset include filter (one ip/CIDR per line, ipv4 and ipv6 accepted, gzip supported, multiple ipsets allowed)
+ --ipset-exclude=<filename>                     ; ipset exclude filter (one ip/CIDR per line, ipv4 and ipv6 accepted, gzip supported, multiple ipsets allowed)
 ```
 
 The manipulation parameters can be combined in any way.
@@ -574,18 +578,18 @@ You need to use nftables instead with hook priority 101 or higher.
 `nfqws` can apply different strategies to different requests. It's done with multiple desync profiles.
 Profiles are delimited by the `--new` parameter. First profile is created automatically and does not require `--new`.
 Each profile has a filter. By default it's empty and profile matches any packet.
-Filter can have hard parameters : ip version and tcp/udp port range.
-Hard parameters are always identified unambiguously even on zero-phase when hostname is unknown yet.
-Hostlist can also act as a filter. They can be combined with hard parameters.
+Filter can have hard parameters : ip version, ipset and tcp/udp port range.
+Hard parameters are always identified unambiguously even on zero-phase when hostname and L7 are unknown yet.
+Hostlists can also act as a filter. They can be combined with hard parameters.
 When a packet comes profiles are matched from the first to the last until first filter condition match.
 Hard filter is matched first. If it does not match verification goes to the next profile.
-If a profile matches hard filter and has autohostlist it's selected immediately.
-If a profile matches hard filter and has normal hostlist(s) and hostname is unknown yet verification goes to the next profile.
+If a profile matches hard filter , L7 filter and has autohostlist it's selected immediately.
+If a profile matches hard filter , L7 filter and has normal hostlist(s) and hostname is unknown yet verification goes to the next profile.
 Otherwise profile hostlist(s) are checked for the hostname. If it matches profile is selected.
 Otherwise verification goes to the next profile.
 
-It's possible that before getting hostname connection is served by one profile and after
-hostname is revealed it's switched to another profile.
+It's possible that before knowing L7 and hostname connection is served by one profile and after
+this information is revealed it's switched to another profile.
 If you use 0-phase desync methods think carefully what can happen during strategy switch.
 Use `--debug` logging to understand better what `nfqws` does.
 
@@ -596,6 +600,9 @@ IMPORTANT : multiple strategies exist only for the case when it's not possible t
 Copy-pasting blockcheck results of different websites to multiple strategies lead to the mess.
 This way you may never unblock all resources and only confuse yourself.
 
+IMPORTANT : user-mode ipset implementation was not designed as a kernel version replacement. Kernel version is much more effective.
+It's for the systems that lack ipset support : Windows and Linux without nftables and ipset kernel modules (Android, for example).
+
 ## tpws
 
 tpws is transparent proxy.
@@ -636,6 +643,9 @@ tpws is transparent proxy.
  --new                          ; begin new strategy
  --filter-l3=ipv4|ipv6          ; L3 protocol filter. multiple comma separated values allowed.
  --filter-tcp=[~]port1[-port2]  ; TCP port filter. ~ means negation
+ --filter-l7=[http|tls|unknown] ; L6-L7 protocol filter. multiple comma separated values allowed.
+ --ipset=<filename>             ; ipset include filter (one ip/CIDR per line, ipv4 and ipv6 accepted, gzip supported, multiple ipsets allowed)
+ --ipset-exclude=<filename>     ; ipset exclude filter (one ip/CIDR per line, ipv4 and ipv6 accepted, gzip supported, multiple ipsets allowed)
 
  --hostlist=<filename>          ; only act on hosts in the list (one host per line, subdomains auto apply, gzip supported, multiple hostlists allowed)
  --hostlist-exclude=<filename>  ; do not act on hosts in the list (one host per line, subdomains auto apply, gzip supported, multiple hostlists allowed)
@@ -905,35 +915,104 @@ On openwrt by default `nftables` is selected on `firewall4` based systems.
 
 `FWTYPE=iptables`
 
-Main mode :
+With `nftables` post-NAT scheme is used by default. It allows more DPI attacks on forwarded traffic.
+It's possible to use `iptables`-like pre-NAT scheme. `nfqws` will see client source IPs and display them in logs.
+
+`#POSTNAT=0`
+
+There'are 3 standard options configured separately and independently : `tpws-socks`, `tpws`, `nfqws`.
+They can be used alone or combined. Custom scripts in `init.d/{sysv,openwrt,macos}/custom.d` are always applied.
+
+`tpws-socks` requires daemon parameter configuration but does not require traffic interception.
+Other standard options require also traffic interception.
+Each standard option launches single daemon instance. Strategy differiences are managed using multi-profile scheme.
+Main rule for interception is "intercept required minumum". Everything else only wastes CPU resources and slows down connection.
+
+`--ipset` option is prohibited intentionally to disallow easy to use but ineffective user-mode filtering.
+Use kernel ipsets instead. It may require custom scripts.
+
+To use standard updatable hostlists from the `ipset` dir use `<HOSTLIST>` placeholder. It's automatically replaced
+with hostlist parameters if `MODE_FILTER` variable enables hostlists and is removed otherwise.
+Standard hostlists are expected in final (fallback) strategies closing groups of filter parameters.
+Don't use `<HOSTLIST>` in highly specialized profiles. Use your own filter or hostlist(s).
+
+
+`tpws` socks proxy mode switch
+
+`TPWS_SOCKS_ENABLE=0`
+
+Listening tcp port for `tpws` proxy mode.
+
+`TPPORT_SOCKS=987`
+
+`tpws` socks mode parameters
 
 ```
-tpws - tpws transparent mode
-tpws-socks - tpws socks mode
- binds to localhost and LAN interface (if IFACE_LAN is specified or the system is OpenWRT). port 988
-nfqws - nfqws
-filter - only fill ipset or load hostlist
-custom - use custom script for running daemons and establishing firewall rules
+TPWS_SOCKS_OPT="
+--filter-tcp=80 --methodeol <HOSTLIST> --new
+--filter-tcp=443 --split-tls=sni --disorder <HOSTLIST>
+"
 ```
 
-`MODE=tpws`
+`tpws` transparent mode switch
 
-Enable http fooling :
+`TPWS_ENABLE=0`
 
-`MODE_HTTP=1`
+`tpws` transparent mode target ports
 
-Apply fooling to keep alive http sessions. Only applicable to nfqws. Tpws always fool keepalives.
-Not enabling this can save CPU time.
+`TPWS_PORTS=80,443`
 
-`MODE_HTTP_KEEPALIVE=0`
+`tpws` transparent mode parameters
 
-Enable https fooling :
+```
+TPWS_OPT="
+--filter-tcp=80 --methodeol <HOSTLIST> --new
+--filter-tcp=443 --split-tls=sni --disorder <HOSTLIST>
+"
+```
 
-`MODE_HTTPS=1`
+`nfqws` enable switch
 
-Enable quic fooling :
+`NFQWS_ENABLE=0`
+
+`nfqws` port targets for `connbytes`-limited interception. `connbytes` allows to intercept only starting packets from connections.
+This is more effective kernel-mode alternative to `nfqws --dpi-desync-cutoff=nX`.
+
+```
+NFQWS_PORTS_TCP=80,443
+NFQWS_PORTS_UDP=443
+```
+
+How many starting packets should be intercepted to nfqws in each direction
+
+```
+NFQWS_TCP_PKT_OUT=$((6+$AUTOHOSTLIST_RETRANS_THRESHOLD))
+NFQWS_TCP_PKT_IN=3
+NFQWS_UDP_PKT_OUT=$((6+$AUTOHOSTLIST_RETRANS_THRESHOLD))
+NFQWS_UDP_PKT_IN=0
+```
+
+There's kind of traffic that requires interception of entire outgoing stream.
+Typically it's support for plain http keepalives and stateless DPI.
+This mode of interception significantly increases CPU utilization. Use with care and only if required.
+Here you specify port numbers for unlimited interception.
+It's advised also to remove these ports from `connbytes`-limited interception list.
+
+```
+#NFQWS_PORTS_TCP_KEEPALIVE=80
+#NFQWS_PORTS_UDP_KEEPALIVE=
+```
+
+`nfqws` parameters
+
+```
+NFQWS_OPT="
+--filter-tcp=80 --dpi-desync=fake,split2 --dpi-desync-fooling=md5sig <HOSTLIST> --new
+--filter-tcp=443 --dpi-desync=fake,disorder2 --dpi-desync-fooling=md5sig <HOSTLIST> --new
+--filter-udp=443 --dpi-desync=fake --dpi-desync-repeats=6 <HOSTLIST>
+"
+```
 
-`MODE_QUIC=1`
 
 Host filtering mode :
 ```
@@ -945,62 +1024,6 @@ autohostlist - hostlist mode + blocks auto detection
 
 `MODE_FILTER=none`
 
-Its possible to change manipulation options used by tpws :
-
-`TPWS_OPT="--hostspell=HOST --split-http-req=method --split-pos=3"`
-
-Additional low priority desync profile for `MODE_FILTER=hostlist`.
-With multiple profile support 0-phase desync methods are no more applied with hostlist !
-To apply them additional profile is required without hostlist filter.
-
-`TPWS_OPT_SUFFIX="--mss=88"`
-
-nfqws options for DPI desync attack:
-
-```
-DESYNC_MARK=0x40000000
-DESYNC_MARK_POSTNAT=0x20000000
-NFQWS_OPT_DESYNC="--dpi-desync=fake --dpi-desync-ttl=0 --dpi-desync-fooling=badsum --dpi-desync-fwmark=$DESYNC_MARK"
-```
-
-Separate nfqws options for http and https and ip protocol versions 4,6:
-
-```
-NFQWS_OPT_DESYNC_HTTP="--dpi-desync=split --dpi-desync-ttl=0 --dpi-desync-fooling=badsum"
-NFQWS_OPT_DESYNC_HTTPS="--wssize=1:6 --dpi-desync=split --dpi-desync-ttl=0 --dpi-desync-fooling=badsum"
-NFQWS_OPT_DESYNC_HTTP6="--dpi-desync=split --dpi-desync-ttl=5 --dpi-desync-fooling=none"
-NFQWS_OPT_DESYNC_HTTPS6="--wssize=1:6 --dpi-desync=split --dpi-desync-ttl=5 --dpi-desync-fooling=none"
-```
-
-If one of `NFQWS_OPT_DESYNC_HTTP`/`NFQWS_OPT_DESYNC_HTTPS` is not defined it takes value of NFQWS_OPT_DESYNC.
-If one of `NFQWS_OPT_DESYNC_HTTP6`/`NFQWS_OPT_DESYNC_HTTPS6` is not defined it takes value from
-`NFQWS_OPT_DESYNC_HTTP`/`NFQWS_OPT_DESYNC_HTTPS`.
-It means if only `NFQWS_OPT_DESYNC` is defined all four take its value.
-
-If a variable is not defined, the value `NFQWS_OPT_DESYNC` is taken.
-
-Additional low priority desync profile for `MODE_FILTER=hostlist`.
-With multiple profile support 0-phase desync methods are no more applied with hostlist !
-To apply them additional profile is required without hostlist filter.
-```
-#NFQWS_OPT_DESYNC_SUFFIX="--dpi-desync=syndata"
-#NFQWS_OPT_DESYNC_HTTP_SUFFIX="--dpi-desync=syndata"
-#NFQWS_OPT_DESYNC_HTTPS_SUFFIX="--wssize 1:6"
-#NFQWS_OPT_DESYNC_HTTP6_SUFFIX="--dpi-desync=syndata"
-#NFQWS_OPT_DESYNC_HTTPS6_SUFFIX="--wssize 1:6"
-```
-
-Defaults are filled the same ways as with NFQWS_OPT_*.
-
-Separate QUIC options for ip protocol versions :
-
-```
-NFQWS_OPT_DESYNC_QUIC="--dpi-desync=fake"
-NFQWS_OPT_DESYNC_QUIC6="--dpi-desync=hopbyhop"
-```
-
-If `NFQWS_OPT_DESYNC_QUIC6` is not specified `NFQWS_OPT_DESYNC_QUIC` is taken.
-
 
 flow offloading control (if supported)
 
@@ -1198,6 +1221,8 @@ After installation remove `/tmp/zapret` to free RAM.
 
 The absolute minimum for openwrt is 64/8 system, 64/16 is comfortable, 128/extroot is recommended.
 
+For low storage openwrt see `init.d/openwrt-minimal`.
+
 ### Android
 
 Its not possible to use nfqws and tpws in transparent proxy mode without root privileges.

docs/readme.txt

@@ -1,4 +1,4 @@
-zapret v.64
+zapret v.66
 
 English
 -------
@@ -280,6 +280,9 @@ nfqws
  --filter-l3=ipv4|ipv6                          ; фильтр версии ip для текущей стратегии
  --filter-tcp=[~]port1[-port2]                  ; фильтр портов tcp для текущей стратегии. ~ означает инверсию. установка фильтра tcp и неустановка фильтра udp запрещает udp.
  --filter-udp=[~]port1[-port2]                  ; фильтр портов udp для текущей стратегии. ~ означает инверсию. установка фильтра udp и неустановка фильтра tcp запрещает udp.
+ --filter-l7=[http|tls|quic|wireguard|dht|unknown] ; фильтр протокола L6-L7. поддерживается несколько значений через запятую.
+ --ipset=<filename>             	        ; включающий ip list. на каждой строчке ip или cidr ipv4 или ipv6. поддерживается множество листов и gzip.
+ --ipset-exclude=<filename>                     ; исключающий ip list. на каждой строчке ip или cidr ipv4 или ipv6. поддерживается множество листов и gzip.
 
 Параметры манипуляции могут сочетаться в любых комбинациях.
 
@@ -464,8 +467,8 @@ mark нужен, чтобы сгенерированный поддельный
 чтобы не допустить изменения порядка следования пакетов. Процессинг очереди - процесс отложенный.
 Если ядро имеет пакеты на отсылку вне очереди - оно их отправляет незамедлительно.
 Изменение правильного порядка следования пакетов при десинхронизации ломает всю идею.
-При отсутствии ограничения на connbytes, атака будет работать и без фильтра по mark.
-Но лучше его все же оставить для увеличения скорости.
+Так же были замечены дедлоки при достаточно большой отсылке пакетов из nfqws и отсутствии mark фильтра.
+Процесс может зависнуть. Поэтому наличие фильтра по mark в ip/nf tables можно считать обязательным.
 
 Почему --connbytes 1:6 :
 1 - для работы методов десинхронизации 0-й фазы и wssize
@@ -664,20 +667,22 @@ nfqws способен по-разному реагировать на разл
 Профили разделяются в командной строке параметром --new. Первый профиль создается автоматически.
 Для него не нужно --new. Каждый профиль имеет фильтр. По умолчанию он пуст, то есть профиль удовлетворяет
 любым условиям.
-Фильтр может содержать жесткие параметры : версия ip протокола или порты tcp/udp.
-Они всегда однозначно идентифицируются даже на нулевой фазе десинхронизации, когда еще хост неизвестен.
-В качестве фильтра могут выступать и хост-листы. Они могут сочетаться с жесткими параметрами.
+Фильтр может содержать жесткие параметры : версия ip протокола, ipset и порты tcp/udp.
+Они всегда однозначно идентифицируются даже на нулевой фазе десинхронизации, когда еще хост и L7 неизвестны.
+В качестве мягкого фильтра могут выступать хост-листы и протокол прикладного уровня (l7).
+L7 протокол становится известен обычно после первого пакета с данными.
 При поступлении запроса идет проверка профилей в порядке от первого до последнего до
 достижения первого совпадения с фильтром.
 Жесткие параметры фильтра сверяются первыми. При несовпадении идет сразу же переход к следующему профилю.
-Если какой-то профиль удовлетворяет жесткому фильтру и содержит авто-хостлист, он выбирается сразу.
-Если профиль удовлетворяет жесткому фильтру, для него задан хостлист, и у нас еще нет имени хоста, 
+Если какой-то профиль удовлетворяет жесткому фильтру и L7 фильтру и содержит авто-хостлист, он выбирается сразу.
+Если профиль удовлетворяет жесткому фильтру и L7 фильтру, для него задан хостлист, и у нас еще нет имени хоста, 
 идет переход к следующему профилю. В противном случае идет проверка по хостлистам этого профиля.
 Если имя хоста удовлетворяет листам, выбирается этот профиль. Иначе идет переход к следующему.
-Может так случиться, что до получения имени хоста соединение идет по одному профилю, а при получении
-хоста профиль меняется на лету. Поэтому если у вас есть параметры дурения нулевой фазы, тщательно
-продумывайте что может произойти при переключении стратегии. Смотрите debug log, чтобы лучше
-понять что делает nfqws.
+Может так случиться, что до получения имени хоста или узнавания L7 протокола соединение идет по одному профилю,
+а при выяснении этих параметров профиль меняется на лету. Это может произойти даже дважды - при выяснении L7
+и имени хоста. Чаще всего это выяснение совмещается в одно действие, поскольку по одному пакету как правило узнается и L7, и хост.
+Поэтому если у вас есть параметры дурения нулевой фазы, тщательно продумывайте что может произойти при переключении стратегии.
+Смотрите debug log, чтобы лучше понять что делает nfqws.
 Нумерация профилей идет с 1 до N. Последним в цепочке создается пустой профиль с номером 0.
 Он используется, когда никакие условия фильтров не совпали.
 
@@ -686,6 +691,10 @@ nfqws способен по-разному реагировать на разл
 во множество профилей без понимания как они работают приведет к нагромождению параметров, которые все равно 
 не покроют все возможные заблокированные ресурсы. Вы только увязните в этой каше.
 
+ВАЖНО : user-mode реализация ipset создавалась не как удобная замена *nix версии, реализованной в ядре.
+Вариант в ядре работает гораздо эффективнее. Это создавалось для систем без подержки ipset в ядре.
+Конкретно - Windows и ядра Linux, собранные без nftables и ipset модулей ядра. Например, в android нет ipset.
+
 
 tpws
 -----
@@ -777,6 +786,9 @@ tpws - это transparent proxy.
  --new                                  ; начало новой стратегии
  --filter-l3=ipv4|ipv6                  ; фильтр версии ip для текущей стратегии
  --filter-tcp=[~]port1[-port2]          ; фильтр портов tcp для текущей стратегии. ~ означает инверсию.
+ --filter-l7=[http|tls|quic|wireguard|dht|unknown] ; фильтр протокола L6-L7. поддерживается несколько значений через запятую.
+ --ipset=<filename>             	        ; включающий ip list. на каждой строчке ip или cidr ipv4 или ipv6. поддерживается множество листов и gzip.
+ --ipset-exclude=<filename>                     ; исключающий ip list. на каждой строчке ip или cidr ipv4 или ipv6. поддерживается множество листов и gzip.
 
 
 --debug позволяет выводить подробный лог действий на консоль, в syslog или в файл.
@@ -940,6 +952,7 @@ TCP_USER_TIMEOUT. Под таймаутом подразумевается вр
 Используйте `curl --socks5` и `curl --socks5-hostname` для проверки вашей стратегии.
 Смотрите вывод --debug, чтобы убедиться в правильности настроек.
 
+
 Способы получения списка заблокированных IP
 -------------------------------------------
 
@@ -981,10 +994,13 @@ Cкрипты с названием get_antifilter_* оперируют спис
 9) ipset/get_antifilter_allyouneed.sh. получает лист https://antifilter.download/list/allyouneed.lst.
 Суммарный список префиксов, созданный из ipsum.lst и subnet.lst.
 
-Все варианты рассмотренных скриптов автоматически создают и заполняют ipset.
-Варианты 2-9 дополнительно вызывают вариант 1.
+10) ipset/get_refilter_ipsum.sh.
+Список берется отсюда : https://github.com/1andrevich/Re-filter-lists
 
-10) ipset/get_config.sh. этот скрипт вызывает то, что прописано в переменной GETLIST из файла config
+Все варианты рассмотренных скриптов автоматически создают и заполняют ipset.
+Варианты 2-10 дополнительно вызывают вариант 1.
+
+11) ipset/get_config.sh. этот скрипт вызывает то, что прописано в переменной GETLIST из файла config
 Если переменная не определена, то ресолвятся лишь листы для ipset nozapret/nozapret6.
 
 Листы РКН все время изменяются. Возникают новые тенденции. Требования к RAM могут меняться.
@@ -992,7 +1008,7 @@ Cкрипты с названием get_antifilter_* оперируют спис
 Или вы можете узнать о проблеме лишь когда у вас начнет постоянно пропадать wifi, и вам придется
 его перезагружать каждые 2 часа (метод кувалды).
 
-Самые щадящие варианты по RAM - get_antifilter_allyouneed.sh, get_antifilter_ipsum.sh.
+Самые щадящие варианты по RAM - get_antifilter_allyouneed.sh, get_antifilter_ipsum.sh, get_refilter_*.sh.
 
 Листы zapret-ip.txt и zapret-ipban.txt сохраняются в сжатом виде в файлы .gz.
 Это позволяет снизить их размер во много раз и сэкономить место на роутере.
@@ -1111,7 +1127,11 @@ ipset/zapret-hosts-users-exclude.txt.gz или ipset/zapret-hosts-users-exclude.
 
 Поддомены учитываются автоматически. Например, строчка "ru" вносит в список "*.ru". Строчка "*.ru" в списке не сработает.
 
-Список доменов РКН может быть получен скриптами ipset/get_reestr_hostlist.sh или ipset/get_antizapret_domains.sh
+Список доменов РКН может быть получен скриптами
+ipset/get_reestr_hostlist.sh
+ipset/get_antizapret_domains.sh
+ipset/get_reestr_resolvable_domains.sh
+ipset/get_refilter_domains.sh
 - кладется в ipset/zapret-hosts.txt.gz.
 
 Чтобы обновить списки, перезапускать nfqws или tpws не нужно. Обновляете файлы, затем даете сигнал HUP.
@@ -1345,86 +1365,95 @@ curl: (28) Connection timed out after 2002 milliseconds
 
 FWTYPE=iptables
 
-Основной режим :
-tpws - tpws в режиме transparent
-tpws-socks - tpws в режиме socks
- вешается на localhost и LAN интерфейс (если задан IFACE_LAN или если система - OpenWRT). порт 988
-nfqws - nfqws
-filter - только заполнить ipset или загрузить hostlist
-custom - нужно самому запрограммировать запуск демонов в init скрипте и правила iptables
+На nftables можно отключить стандартную схему перехвата трафика после NAT и перейти на перехват до NAT.
+Это сделает невозможным применение некоторых методов дурения на проходящем трафике как в случае с iptables.
+nfqws начнет получать адреса пакетов из локальной сети и отображать их в логах.
+#POSTNAT=0
 
-MODE=tpws
+Существует 3 стандартных опции запуска, настраиваемых раздельно и независимо : tpws-socks, tpws, nfqws.
+Их можно использовать как по отдельности, так и вместе. Например, вам надо сделать комбинацию
+из методов, доступных только в tpws и только в nfqws. Их можно задействовать вместе.
+tpws будет прозрачно локализовывать трафик на системе и применять свое дурение, nfqws будет дурить трафик,
+исходящий с самой системы после обработки на tpws.
+А можно на эту же систему повесить без параметров socks proxy, чтобы получать доступ к обходу блокировок через прокси.
+Таким образом, все 3 режима вполне могут задействоваться вместе.
+Так же безусловно и независимо, в добавок к стандартным оцпиям, применяются все custom скрипты в init.d/{sysv,openwrt,macos}/custom.d.
 
-Применять ли дурение к HTTP :
+tpws-socks требует настройки параметров tpws, но не требует перехвата трафика.
+Остальные оцпии требуют раздельно настройки перехвата трафика и опции самих демонов.
+Каждая опция предполагет запуск одного инстанса соответствующего демона. Все различия методов дурения
+для http, https, quic и т.д. должны быть отражены через схему мультистратегий.
+В этом смысле настройка похожа на вариант winws на Windows, а перенос конфигов не должен представлять больших сложностей.
+Основное правило настройки перехвата - перехватывайте только необходимый минимум.
+Любой перехват лишнего - это бессмысленная нагрузка на вашу систему.
+Опции демонов "--ipset" использовать запрещено. Это сделано намеренно и искусственно, чтобы не поощрать простой и
+работающий, но неэффективный метод на *nix системах. Используйте ipset-ы режима ядра.
+При необходимости пишите и задействуйте custom scripts.
+Настройки демонов можно для удобства писать на нескольких строках, используя двойные или одинарные кавычки.
+Чтобы задействовать стандартные обновляемые хост-листы из ipset, используйте маркер <HOSTLIST>.
+Он будет заменен на параметры, соответствующие режиму MODE_FILTER, и будут подставлены реально существующие файлы.
+Если MODE_FILTER не предполагает стандартного хостлиста, <HOSTLIST> будет заменен на пустую строку.
+Стандартные хостлисты следует вставлять в финальных стратегиях (стратегиях по умолчанию), закрывающих цепочки по
+группе параметров фильтра. Таких мест может быть несколько.
+Не нужно использовать <HOSTLIST> в узких специализациях и в тех профилях, по которым точно не будет проходить
+трафик с известными протоколами, откуда поддерживается извлечение имени хоста (http, tls, quic).
 
-MODE_HTTP=1
+# включение стандартной опции tpws в режиме socks
+TPWS_SOCKS_ENABLE=0
+# на каком порту будет слушать tpws socks. прослушивается только localhost и LAN.
+TPPORT_SOCKS=987
+# параметры tpws для режима socks
+TPWS_SOCKS_OPT="
+--filter-tcp=80 --methodeol <HOSTLIST> --new
+--filter-tcp=443 --split-tls=sni --disorder <HOSTLIST>
+"
 
-Применять ли дурение к последовательным http запросам в одном tcp соединении (http keeaplive).
-Относится только к nfqws. Выключение данной функции способно сэкономить загрузку процессора.
-tpws всегда работает с http keepalive
+# включение стандартной опции tpws в прозрачном режиме
+TPWS_ENABLE=0
+# какие tcp порты следует перенаправлять на tpws
+TPWS_PORTS=80,443
+# параметры tpws для прозрачного режима
+TPWS_OPT="
+--filter-tcp=80 --methodeol <HOSTLIST> --new
+--filter-tcp=443 --split-tls=sni --disorder <HOSTLIST>
+"
 
-MODE_HTTP_KEEPALIVE=0
+# включение стандартной опции nfqws
+NFQWS_ENABLE=0
+# какие tcp и udp порты следует перенаправлять на nfqws с использованием connbytes ограничителя
+# connbytes позволяет из каждого соединения перенаправить только заданное количество начальных пакетов по каждому направлению - на вход и на выход
+# это более эффективная kernel-mode замена параметра nfqws --dpi-desync-cutoff=nX
+NFQWS_PORTS_TCP=80,443
+NFQWS_PORTS_UDP=443
+# сколько начальных входящих и исходящих пакетов нужно перенаправлять на nfqws по каждому направлению
+NFQWS_TCP_PKT_OUT=$((6+$AUTOHOSTLIST_RETRANS_THRESHOLD))
+NFQWS_TCP_PKT_IN=3
+NFQWS_UDP_PKT_OUT=$((6+$AUTOHOSTLIST_RETRANS_THRESHOLD))
+NFQWS_UDP_PKT_IN=0
+# есть трафик, исходящий сеанс для которого необходимо перенаправлять весь без ограничителей
+# типичное применение - поддержка http keepalives на stateless DPI
+# это существенно нагружает процессор. использовать только если понимаете зачем. чаще всего это не нужно.
+# входящий трафик ограничивается по connbytes через параметры PKT_IN
+# задать порты для перенаправления на nfqws без connbytes ограничителя
+# если указываете здесь какие-то порты, желательно их убрать из версии с connbytes ограничителем
+#NFQWS_PORTS_TCP_KEEPALIVE=80
+#NFQWS_PORTS_UDP_KEEPALIVE=
+# параметры nfqws
+NFQWS_OPT="
+--filter-tcp=80 --dpi-desync=fake,split2 --dpi-desync-fooling=md5sig <HOSTLIST> --new
+--filter-tcp=443 --dpi-desync=fake,disorder2 --dpi-desync-fooling=md5sig <HOSTLIST> --new
+--filter-udp=443 --dpi-desync=fake --dpi-desync-repeats=6 <HOSTLIST>
+"
 
-Применять ли дурение к HTTPS :
-
-MODE_HTTPS=1
-
-Применять ли дурение к QUIC :
-
-MODE_QUIC=0
 
 Режим фильтрации хостов :
 none - применять дурение ко всем хостам
 ipset - ограничить дурение ipset-ом zapret/zapret6
 hostlist - ограничить дурение списком хостов из файла
-autohostlist - режим hostlist + распознавание блокировок и ведения автоматического листа
+autohostlist - режим hostlist + распознавание блокировок и ведение автоматического листа
 
 MODE_FILTER=none
 
-Опции tpws :
-
-TPWS_OPT="--hostspell=HOST --split-http-req=method --split-pos=3"
-
-Дополнительный низкоприоритетный профиль десинхронизации для режимов с MODE_FILTER=hostlist.
-После реализации поддержки множественных профилей режимы нулевой фазы десинхронизации больше не применяются с хостлистом !
-Для их применения требуется дополнительный профиль без хостлист фильтра.
-
-#TPWS_OPT_SUFFIX="--mss 88"
-
-Опции nfqws для атаки десинхронизации DPI :
-
-DESYNC_MARK=0x40000000
-DESYNC_MARK_POSTNAT=0x20000000
-NFQWS_OPT_DESYNC="--dpi-desync=fake --dpi-desync-ttl=0 --dpi-desync-fooling=badsum"
-
-Задание раздельных опций nfqws для http и https и для версий ip протоколов 4,6 :
-
-NFQWS_OPT_DESYNC_HTTP="--dpi-desync=split --dpi-desync-ttl=0 --dpi-desync-fooling=badsum"
-NFQWS_OPT_DESYNC_HTTPS="--wssize=1:6 --dpi-desync=split --dpi-desync-ttl=0 --dpi-desync-fooling=badsum"
-NFQWS_OPT_DESYNC_HTTP6="--dpi-desync=split --dpi-desync-ttl=5 --dpi-desync-fooling=none"
-NFQWS_OPT_DESYNC_HTTPS6="--wssize=1:6 --dpi-desync=split --dpi-desync-ttl=5 --dpi-desync-fooling=none"
-
-Если какая-то из переменных NFQWS_OPT_DESYNC_HTTP/NFQWS_OPT_DESYNC_HTTPS не определена,
-берется значение NFQWS_OPT_DESYNC.
-Если какая-то из переменных NFQWS_OPT_DESYNC_HTTP6/NFQWS_OPT_DESYNC_HTTPS6 не определена,
-берется значение NFQWS_OPT_DESYNC_HTTP/NFQWS_OPT_DESYNC_HTTPS.
-
-Дополнительный низкоприоритетный профиль десинхронизации для режимов с MODE_FILTER=hostlist.
-После реализации поддержки множественных профилей режимы нулевой фазы десинхронизации больше не применяются с хостлистом !
-Для их применения требуется дополнительный профиль без хостлист фильтра.
-#NFQWS_OPT_DESYNC_SUFFIX="--dpi-desync=syndata"
-#NFQWS_OPT_DESYNC_HTTP_SUFFIX="--dpi-desync=syndata"
-#NFQWS_OPT_DESYNC_HTTPS_SUFFIX="--wssize 1:6"
-#NFQWS_OPT_DESYNC_HTTP6_SUFFIX="--dpi-desync=syndata"
-#NFQWS_OPT_DESYNC_HTTPS6_SUFFIX="--wssize 1:6"
-
-Значения по умолчанию заполняются аналогично NFQWS_OPT_*.
-
-Опции дурения для QUIC :
-NFQWS_OPT_DESYNC_QUIC="--dpi-desync=fake"
-NFQWS_OPT_DESYNC_QUIC6="--dpi-desync=hopbyhop"
-Если NFQWS_OPT_DESYNC_QUIC6 не задано, то берется NFQWS_OPT_DESYNC_QUIC.
-
 Настройка системы управления выборочным traffic offload (только если поддерживается)
 donttouch : выборочное управление отключено, используется системная настройка, простой инсталлятор выключает системную настройку, если она не совместима с выбранным режимом
 none : выборочное управление отключено, простой инсталлятор выключает системную настройку
@@ -1475,8 +1504,11 @@ IP2NET_OPT4="--prefix-length=22-30 --v4-threshold=3/4"
 IP2NET_OPT6="--prefix-length=56-64 --v6-threshold=5"
 
 Настройка режима autohostlist.
+При увеличении AUTOHOSTLIST_RETRANS_THRESHOLD и использовании nfqws следует пересмотреть значения параметров
+NFQWS_TCP_PKT_OUT и NFQWS_UDP_PKT_OUT. Все ретрансмиссии должны быть получены nfqws, иначе триггер "зависание запроса" не сработает.
+
 AUTOHOSTLIST_RETRANS_THRESHOLD=3
-AUTOHOSTLIST_FAIL_THRESHOLD=2
+AUTOHOSTLIST_FAIL_THRESHOLD=3
 AUTOHOSTLIST_FAIL_TIME=60
 AUTOHOSTLIST_DEBUG=0
 
@@ -1518,6 +1550,7 @@ IFACE_WAN6="henet ipsec0"
 Включаются только режимы, обеспечивающие перехват транзитного трафика.
 Возможно определить несколько интерфейсов следующим образом : IFACE_LAN="eth0 eth1 eth2"
 
+
 Прикручивание к системе управления фаерволом или своей системе запуска
 ----------------------------------------------------------------------
 
@@ -1572,21 +1605,21 @@ nfset-ы принадлежат только одной таблице, след
 Вариант custom
 --------------
 
-custom код вынесен в отдельные shell includes.
-Поддерживается старый вариант в
-/opt/zapret/init.d/sysv/custom
-/opt/zapret/init.d/openwrt/custom
-/opt/zapret/init.d/macos/custom
-Он считается устаревшим. Актуальный вариант - помещать отдельные скрипты там же, но в директорию "custom.d".
-Она будет просканирована стандартным образом, т.е. в алфавитном порядке, и каждый скрипт будет применен.
-Рядом имеется "custom.d.examples". Это готовые скрипты, который можно копировать в "custom.d".
-Особо стоит отметить "10-inherit-*". Они наследуют стандартные режимы nfqws/tpws/tpws-socks.
-Полезно, чтобы не писать код заново. Достаточно лишь скопировать соответствующий файл.
+custom скрипты - это маленькие shell программы, управляющие нестандартными режимами применения zapret
+или частными случаями, которые не могут быть интегрированы в основную часть без загромождения и замусоривания кода.
+Для применеия custom следует помещать файлы в следующие директории в зависимости от вашей системы :
+/opt/zapret/init.d/sysv/custom.d
+/opt/zapret/init.d/openwrt/custom.d
+/opt/zapret/init.d/macos/custom.d
+Директория будет просканирована в алфавитном порядке, и каждый скрипт будет применен.
+Рядом имеется "custom.d.examples". Это готовые скрипты, которые можно копировать в "custom.d".
+Их можно взять за основу для написания собственных.
 
 Для linux пишется код в функции
 zapret_custom_daemons
 zapret_custom_firewall
 zapret_custom_firewall_nft
+zapret_custom_firewall_nft_flush
 
 Для macos
 zapret_custom_daemons
@@ -1594,35 +1627,46 @@ zapret_custom_firewall_v4
 zapret_custom_firewall_v6
 
 zapret_custom_daemons поднимает демоны nfqws/tpws в нужном вам количестве и с нужными вам параметрами.
-Особо обратите внимание на номер демона в функциях "run_daemon" и "do_daemon".
+Для систем традиционного linux (sysv) и MacOS в первом параметре передается код операции : 1 = запуск, 0 = останов.
+Для openwrt логика останова отсутствует за ненадобностью.
+Схема запуска демонов в openwrt отличается - используется procd.
+
+zapret_custom_firewall поднимает и убирает правила iptables.
+В первом параметре передается код операции : 1 = запуск, 0 = останов.
+
+zapret_custom_firewall_nft поднимает правила nftables.
+Логика останова отсутствует за ненадобностью. Стандартные цепочки zapret удаляются автоматически.
+Однако, sets и правила из ваших собственных цепочек не удаляются.
+Их нужно подчистить в zapret_custom_firewall_nft_flush.
+Если set-ов и собственных цепочек у вас нет, функцию можно не определять или оставить пустой.
+
+Если вам не нужны iptables или nftables - можете не писать соответствующую функцию.
+
+В linux можно использовать локальные переменные FW_EXTRA_PRE и FW_EXTRA_POST.
+FW_EXTRA_PRE добавляет код к правилам ip/nf tables до кода, генерируемого функциями-хелперами.
+FW_EXTRA_POST добавляет код после.
+
+В linux функции-хелперы добавляют правило в начало цепочек, то есть перед уже имеющимися.
+Поэтому специализации должны идти после более общих вариантов.
+Для macos правило обратное. Там правила добавляются в конец.
+По этой же причине фаервол в Linux сначала применяется в стандартном режиме, потом custom,
+а в MacOS сначала custom, потом стандартный режим.
+
+В macos firewall-функции ничего сами никуда не заносят. Их задача - лишь выдать текст в stdout,
+содержащий правила для pf-якоря. Остальное сделает обертка.
+
+Особо обратите внимание на номер демона в функциях "run_daemon" и "do_daemon", номера портов tpws
+и очередей nfqueue.
 Они должны быть уникальными во всех скриптах. При накладке будет ошибка.
-Так же следует избегать пересечения номеров портов tpws и очередей nfqws.
-При пересечении какой-то из демонов не запустится.
-Чтобы как-то нивелировать эту проблему, в examples используется переменная DNUM.
-На ее базе считается диапазон номеров очередей (5 шт), которые использует этот скрипт.
-При таком подходе достаточно, чтобы DNUM был везде уникален.
-Поскольку номера очереди и портов имеют нумерацию до 65536, можно использовать DNUM до 13106.
-Однако, следует оставить номера очереди 200-299 для стандартных режимов и не использовать их.
+Поэтому используйте функции динамического получения этих значений из пула.
 
 custom скрипты могут использовать переменные из config. Можно помещать в config свои переменные
-и использовать их в скриптах.
+и задействовать их в скриптах.
 Можно использовать функции-хелперы. Они являются частью общего пространства функций shell.
 Полезные функции можно взять из примеров скриптов. Так же смотрите "common/*.sh".
 Используя хелпер функции, вы избавитесь от необходимости учитывать все возможные случаи
 типа наличия/отсутствия ipv6, является ли система роутером, имена интерфейсов, ...
-Хелперы это учитывают, вам нужно сосредоточиться лишь на фильтрах {ip,nf}tables и
-параметрах демонов.
-
-Код для openwrt и sysv немного отличается. В sysv нужно обрабатывать и запуск, и остановку демонов.
-Запуск это или остановка передается в параметре $1 (0 или 1).
-В openwrt за остановку отвечает procd.
-
-Для фаервола в linux кастом пишется отдельно для iptables и nftables. Все очень похоже, но отличается
-написание фильтров и названия процедур хелперов. Если вам не нужны iptables или nftables -
-можете не писать соответствующую функцию.
-
-В macos firewall-функции ничего сами никуда не заносят. Их задача - лишь выдать текст в stdout,
-содержащий правила для pf-якоря. Остальное сделает обертка.
+Хелперы это учитывают. Вам нужно сосредоточиться лишь на фильтрах {ip,nf}tables и параметрах демонов.
 
 
 Простая установка
@@ -1679,6 +1723,64 @@ install_easy.sh автоматизирует ручные варианты пр
 Система простой инсталяции заточена на любое умышленное или неумышленное изменение прав доступа на файлы.
 Устойчива к репаку под windows. После копирования в /opt права будут принудительно восстановлены.
 
+
+Установка на openwrt в режиме острой нехватки места на диске
+------------------------------------------------------------
+
+Требуется около 120-200 кб на диске. Придется отказаться от всего, кроме tpws.
+
+* Инструкция для openwrt 22 и выше с nftables.
+
+Никаких зависимостей устанавливать не нужно.
+
+Установка :
+
+Скопируйте все из init.d/openwrt-minimal/tpws/* в корень openwrt.
+Скопируйте бинарник tpws подходящей архитектуры в /usr/bin/tpws.
+Установите права на файлы : chmod 755 /etc/init.d/tpws /usr/bin/tpws
+Отредактируйте /etc/config/tpws
+Если не нужен ipv6, отредактируйте /etc/nftables.d/90-tpws.nft и закомментируйте строки с редиректом ipv6.
+/etc/init.d/tpws enable
+/etc/init.d/tpws start
+fw4 restart
+
+Полное удаление :
+
+/etc/init.d/tpws disable
+/etc/init.d/tpws stop
+rm -f /etc/nftables.d/90-tpws.nft /etc/firewall.user /etc/init.d/tpws /usr/bin/tpws
+fw4 restart
+
+* Инструкция для openwrt 21 и ниже с iptables.
+
+Установите зависимости :
+opkg update
+opkg install iptables-mod-extra
+только для IPV6 : opkg install ip6tables-mod-nat
+
+Убедитесь, что в /etc/firewall.user нет ничего значимого.
+Если есть - не следуйте слепо инструкции. Обьедините код или создайте свой firewall include в /etc/config/firewall.
+
+Установка :
+
+Скопируйте все из init.d/openwrt-minimal/tpws/* в корень openwrt.
+Скопируйте бинарник tpws подходящей архитектуры в /usr/bin/tpws.
+Установите права на файлы : chmod 755 /etc/init.d/tpws /usr/bin/tpws
+Отредактируйте /etc/config/tpws
+Если не нужен ipv6, отредактируйте /etc/firewall.user и установите там DISABLE_IPV6=1.
+/etc/init.d/tpws enable
+/etc/init.d/tpws start
+fw3 restart
+
+Полное удаление :
+
+/etc/init.d/tpws disable
+/etc/init.d/tpws stop
+rm -f /etc/nftables.d/90-tpws.nft /etc/firewall.user /etc/init.d/tpws
+touch /etc/firewall.user
+fw3 restart
+
+
 Android
 -------
 

docs/redsocks.txt

@@ -15,7 +15,7 @@ Tor поддерживает "из коробки" режим transparent proxy.
 4) Завернуть через iptables или nftables трафик с порта назначения 443 и на ip адреса из ipset/nfset 'zapret' на соксификатор
 Тоже самое сделать с ipset/nfset 'ipban' для всех tcp портов.
 Буду рассматривать систему на базе openwrt, где уже установлена система обхода dpi "zapret".
-Если вам не нужны функции обхода DPI, можно выбрать режим MODE=filter.
+Если вам не нужны функции обхода DPI, его можно не включать. Обновление фильтра от этого не зависит.
 
 
 * Сделать так, чтобы все время при загрузке системы на некотором порту возникал socks

docs/windows.eng.md

@@ -80,11 +80,13 @@ curl -O https://www.cygwin.com/setup-x86_64.exe
 setup-x86_64.exe --allow-unsupported-windows --no-verify --site http://ctm.crouchingtigerhiddenfruitbat.org/pub/cygwin/circa/64bit/2024/01/30/231215
 ```
 You must choose to install `curl`. To compile from sources install `gcc-core`,`make`,`zlib-devel`.
+Make from directory `nfq` using `make cygwin`.
 
 `winws` requires `cygwin1.dll`, `windivert.dll`, `windivert64.sys`. You can take them from `binaries/win64/zapret-winws`.
 
-It's possible to build x86 32-bit version but this version is not shipped. You have to build it yourself.
-32-bit `windivert` can be downloaded from it's developer github. Required version is 2.2.2.
+32-bit x86 version can be build from 32-bit cygwin using `make cygwin32`.
+`windivert.dll` and `windivert32.sys` can be taken from [windivert 2.2.2 archive](https://reqrypt.org/download)
+
 There's no `arm64` signed `windivert` driver and no `cygwin`.
 But it's possible to use unsigned driver version in test mode and user mode components with x64 emulation.
 x64 emulation requires `windows 11` and not supported in `windows 10`.
@@ -159,3 +161,5 @@ unix2dos winws.log
 ```
 
 `winws.log` will be in `cygwin/home/<username>`. `unix2dos` helps with `windows 7` notepad. It's not necessary in `Windows 10` and later.
+
+Pre-compiled 32-bit binaries can be downloaded [here](https://github.com/bol-van/zapret-win32)

docs/windows.txt

@@ -120,8 +120,9 @@ setup-x86_64.exe --allow-unsupported-windows --no-verify --site http://ctm.crouc
 Для сборки из исходников требуется gcc-core,make,zlib-devel.
 Собирать из директории nfq командой "make cygwin".
 winws требует cygwin1.dll, windivert.dll, windivert64.sys. Их можно взять из binaries/win64/zapret-winws.
-Версию для 32-битных x86 windows собрать можно, но такие системы уже уходят в прошлое, поэтому если надо - собирайте сами.
-32-битный windivert можно взять с сайта разработчика. Требуется версия 2.2.2.
+
+32-битную x86 версию можно собрать из 32-битного cygwin командой "make cygwin32".
+windivert.dll и windivert32.sys можно взять из комплекта windivert 2.2.2 : https://reqrypt.org/download
 
 Для arm64 windows нет подписанного драйвера windivert и нет cygwin.
 Однако, эмуляция x64 windows 11 позволяет использовать все, кроме WinDivert64.sys без изменений.
@@ -220,3 +221,6 @@ winws --debug --wf-tcp=80,443 | tee winws.log
 winws.log будет в cygwin/home/<имя_пользователя>
 Если у вас windows 7, то блокнот не поймет переводы строк в стиле unix. Воспользуйтесь командой
 unix2dos winws.log
+
+Готовую 32-битную версию можно скачать здесь : https://github.com/bol-van/zapret-win32
+Поскольку 32-битные windows мало востребованы, выложены только бинарники и ничего больше.

docs/wireguard/wireguard_iproute_openwrt.txt

@@ -282,6 +282,14 @@ ipt PREROUTING -t mangle -i $DEVICE -m set --match-set ipban dst -m set ! --matc
 
 # /etc/init.d/firewall restart
 
+Чтобы правила обновлялись в процессе поднятия интерфейсов в системе, нужно внести параметр "reload" в указанное место :
+--- /etc/config/firewall ---
+config include
+        option path '/etc/firewall.user'
+        option reload '1'
+----------------------------
+
+
 --- Маркировка трафика nftables ---
 
 В новых openwrt по умолчанию установлен nftables, iptables отсутствует.

init.d/macos/custom.d.examples/10-inherit-tpws

@@ -1,18 +0,0 @@
-# this custom script applies tpws mode as it would be with MODE=tpws
-
-OVERRIDE=tpws
-
-zapret_custom_daemons()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE zapret_do_daemons $1
-}
-zapret_custom_firewall_v4()
-{
-	MODE_OVERRIDE=$OVERRIDE pf_anchor_zapret_v4
-}
-zapret_custom_firewall_v6()
-{
-	MODE_OVERRIDE=$OVERRIDE pf_anchor_zapret_v6
-}

init.d/macos/custom.d.examples/10-inherit-tpws-socks

@@ -1,18 +0,0 @@
-# this custom script applies tpws-socks mode as it would be with MODE=tpws-socks
-
-OVERRIDE=tpws-socks
-
-zapret_custom_daemons()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE zapret_do_daemons $1
-}
-zapret_custom_firewall_v4()
-{
-	MODE_OVERRIDE=$OVERRIDE pf_anchor_zapret_v4
-}
-zapret_custom_firewall_v6()
-{
-	MODE_OVERRIDE=$OVERRIDE pf_anchor_zapret_v6
-}

init.d/macos/custom.d.examples/50-extra-tpws

@@ -1,20 +1,19 @@
 # this script is an example describing how to run tpws on a custom port
 
-DNUM=100
-TPPORT_MY=${TPPORT_MY:-987}
-TPWS_OPT_MY=${TPWS_OPT_MY:-987}
-TPWS_OPT_SUFFIX_MY="${TPWS_OPT_SUFFIX_MY:-}"
-DPORTS_MY=${DPORTS_MY:-20443,20444,30000-30009}
+TPWS_OPT_EXTRA=${TPWS_OPT_EXTRA:---split-pos=2}
+DPORTS_EXTRA=${DPORTS_EXTRA:-20443,20444,30000-30009}
+
+alloc_dnum DNUM_EXTRA_TPWS
+alloc_tpws_port TPPORT_EXTRA_TPWS
 
 zapret_custom_daemons()
 {
 	# $1 - 1 - run, 0 - stop
-	local opt="--user=root --port=$TPPORT_MY"
+	local opt="--user=root --port=$TPPORT_EXTRA_TPWS"
 	tpws_apply_binds opt
-	opt="$opt $TPWS_OPT_MY"
+	opt="$opt $TPWS_OPT_EXTRA"
 	filter_apply_hostlist_target opt
-	filter_apply_suffix opt "$TPWS_OPT_SUFFIX_MY"
-	do_daemon $1 $DNUM "$TPWS" "$opt"
+	do_daemon $1 $DNUM_EXTRA_TPWS "$TPWS" "$opt"
 }
 
 # custom firewall functions echo rules for zapret-v4 and zapret-v6 anchors
@@ -22,9 +21,9 @@ zapret_custom_daemons()
 
 zapret_custom_firewall_v4()
 {
-	pf_anchor_zapret_v4_tpws $TPPORT_MY $(replace_char - : $DPORTS_MY)
+	pf_anchor_zapret_v4_tpws $TPPORT_EXTRA_TPWS $(replace_char - : $DPORTS_EXTRA)
 }
 zapret_custom_firewall_v6()
 {
-	pf_anchor_zapret_v6_tpws $TPPORT_MY $(replace_char - : $DPORTS_MY)
+	pf_anchor_zapret_v6_tpws $TPPORT_EXTRA_TPWS $(replace_char - : $DPORTS_EXTRA)
 }

init.d/macos/functions

@@ -15,6 +15,7 @@ IPSET_DIR=$ZAPRET_BASE/ipset
 
 PIDDIR=/var/run
 [ -n "$TPPORT" ] || TPPORT=988
+[ -n "$TPPORT_SOCKS" ] || TPPORT=987
 [ -n "$WS_USER" ] || WS_USER=daemon
 TPWS_WAIT="--bind-wait-ifup=30 --bind-wait-ip=30"
 TPWS_WAIT_SOCKS6="$TPWS_WAIT --bind-wait-ip-linklocal=30"
@@ -117,18 +118,14 @@ zapret_do_firewall()
 	[ "$1" = 1 -a -n "$INIT_FW_PRE_UP_HOOK" ] && $INIT_FW_PRE_UP_HOOK
 	[ "$1" = 0 -a -n "$INIT_FW_PRE_DOWN_HOOK" ] && $INIT_FW_PRE_DOWN_HOOK
 
-	case "${MODE_OVERRIDE:-$MODE}" in
-		tpws|filter|custom)
-			if [ "$1" = "1" ] ; then
-				pf_anchor_root || return 1
-				pf_anchors_create
-				pf_anchors_load || return 1
-				pf_enable
-			else
-				pf_anchors_clear
-			fi
-			;;
-	esac
+	if [ "$1" = "1" ] ; then
+		pf_anchor_root || return 1
+		pf_anchors_create
+		pf_anchors_load || return 1
+		pf_enable
+	else
+		pf_anchors_clear
+	fi
 
 	[ "$1" = 1 -a -n "$INIT_FW_POST_UP_HOOK" ] && $INIT_FW_POST_UP_HOOK
 	[ "$1" = 0 -a -n "$INIT_FW_POST_DOWN_HOOK" ] && $INIT_FW_POST_DOWN_HOOK
@@ -150,49 +147,36 @@ zapret_restart_firewall()
 }
 
 
+standard_mode_daemons()
+{
+	local opt
+
+	if [ "$1" = "1" ] && [ "$DISABLE_IPV4" = "1" ] && [ "$DISABLE_IPV6" = "1" ] ; then
+		echo "both ipv4 and ipv6 are disabled. nothing to do"
+	else
+		[ "$TPWS_ENABLE" = 1 ] && check_bad_ws_options $1 "$TPWS_OPT" && {
+			opt="--user=root --port=$TPPORT"
+			tpws_apply_binds opt
+			opt="$opt $TPWS_OPT"
+			filter_apply_hostlist_target opt
+			do_daemon $1 1 "$TPWS" "$opt"
+		}
+		[ "$TPWS_SOCKS_ENABLE" = 1 ] && {
+			opt="--socks --user=$WS_USER --port=$TPPORT_SOCKS"
+			tpws_apply_socks_binds opt
+			opt="$opt $TPWS_OPT"
+			filter_apply_hostlist_target opt
+			do_daemon $1 2 "$TPWS" "$opt"
+		}
+	fi
+}
 
 zapret_do_daemons()
 {
 	# $1 - 1 - run, 0 - stop
 
-	local opt
-
-	case "${MODE_OVERRIDE:-$MODE}" in
-		tpws)
-			[ "$1" = "1" ] && [ "$DISABLE_IPV4" = "1" ] && [ "$DISABLE_IPV6" = "1" ] && {
-				echo "both ipv4 and ipv6 are disabled. nothing to do"
-				return 0
-			}
-			# MacOS requires root. kernel hardcoded requirement for /dev/pf ioctls
-			opt="--user=root --port=$TPPORT"
-			tpws_apply_binds opt
-			opt="$opt $TPWS_OPT"
-			filter_apply_hostlist_target opt
-			filter_apply_suffix opt "$TPWS_OPT_SUFFIX"
-			do_daemon $1 1 "$TPWS" "$opt"
-			;;
-		tpws-socks)
-			[ "$1" = "1" ] && [ "$DISABLE_IPV4" = "1" ] && [ "$DISABLE_IPV6" = "1" ] && {
-				echo "both ipv4 and ipv6 are disabled. nothing to do"
-				return 0
-			}
-			opt="--socks --user=$WS_USER --port=$TPPORT"
-			tpws_apply_socks_binds opt
-			opt="$opt $TPWS_OPT"
-			filter_apply_hostlist_target opt
-			filter_apply_suffix opt "$TPWS_OPT_SUFFIX"
-			do_daemon $1 1 "$TPWS" "$opt"
-			;;
-		filter)
-			;;
-		custom)
-			custom_runner zapret_custom_daemons $1
-			;;
-		*)
-			echo "unsupported MODE=$MODE"
-			return 1
-			;;
-	esac
+	standard_mode_daemons $1
+	custom_runner zapret_custom_daemons $1
 
 	return 0
 }

init.d/openwrt-minimal/readme.txt

@@ -0,0 +1,54 @@
+Minimal tpws startup script for low storage openwrt.
+
+--- openwrt with NFTABLES (22+)
+
+Make sure you are running openwrt with nftables, not iptables.
+No opkg dependencies required !
+
+* install :
+
+Copy everything from tpws directory to the root of the router.
+Copy tpws binary for your architecture to /usr/bin/tpws
+Set proper access rights : chmod 755 /etc/init.d/tpws /usr/bin/tpws
+EDIT /etc/config/tpws
+If you don't want ipv6 : edit /etc/nftables.d and comment lines with ipv6 redirect
+/etc/init.d/tpws enable
+/etc/init.d/tpws start
+fw4 restart
+
+* full uninstall :
+
+/etc/init.d/tpws disable
+/etc/init.d/tpws stop
+rm -f /etc/nftables.d/90-tpws.nft /etc/firewall.user /etc/init.d/tpws
+fw4 restart
+
+--- openwrt with IPTABLES (21-)
+
+Make sure you are running openwrt with iptables, not nftables.
+Make sure you do not have anything valuable in /etc/firewall.user.
+If you have - do not blindly follow instruction in firewall.user part.
+Merge the code instead or setup your own firewall include in /etc/config/firewall.
+
+opkg update
+opkg install iptables-mod-extra
+IPV6 ONLY : opkg install ip6tables-mod-nat
+
+* install :
+
+Copy everything from tpws directory to the root of the router.
+Copy tpws binary for your architecture to /usr/bin/tpws
+Set proper access rights : chmod 755 /etc/init.d/tpws /usr/bin/tpws
+EDIT /etc/config/tpws
+If you don't want ipv6 : edit /etc/firewall.user and set DISABLE_IPV6=1
+/etc/init.d/tpws enable
+/etc/init.d/tpws start
+fw3 restart
+
+* full uninstall :
+
+/etc/init.d/tpws disable
+/etc/init.d/tpws stop
+rm -f /etc/nftables.d/90-tpws.nft /etc/firewall.user /etc/init.d/tpws
+touch /etc/firewall.user
+fw3 restart

init.d/openwrt-minimal/tpws/etc/config/tpws

@@ -0,0 +1,12 @@
+config global defaults
+	option user daemon
+	option tpws /usr/bin/tpws
+
+config tpws
+	option port 900
+	option opt '--split-pos=2 --oob'
+	option enabled 1
+config tpws
+	option port 901
+	option opt '--split-tls=sni --disorder'
+	option enabled 0

init.d/openwrt-minimal/tpws/etc/firewall.user

@@ -0,0 +1,49 @@
+DISABLE_IPV6=0
+TP_PORT=900
+TP_USER=daemon
+
+EXCLUDE4="10.0.0.0/8 172.16.0.0/12 192.168.0.0/16 169.254.0.0/16 127.0.0.0/8"
+EXCLUDE6="fc00::/7 fe80::/10 ::1"
+IPTS="iptables ip6tables"
+[ "$DISABLE_IPV6" = 1 ] && IPTS=iptables
+
+exists()
+{
+	which "$1" >/dev/null 2>/dev/null
+}
+
+ipt()
+{
+	$IPTABLES -C "$@" >/dev/null 2>/dev/null || $IPTABLES -I "$@"
+}
+
+redirect_port()
+{
+	ipt tpws -t nat -p tcp --dport $1 -j REDIRECT --to-port $2
+}
+
+redirect()
+{
+	redirect_port 80 $TP_PORT
+	redirect_port 443 $TP_PORT
+}
+
+for IPTABLES in $IPTS; do
+	$IPTABLES -t nat -N tpws 2>/dev/null
+	$IPTABLES -t nat -F tpws
+	redirect
+done
+
+for net in $EXCLUDE4; do
+	iptables -t nat -I tpws -d $net -j RETURN
+done
+[ "$DISABLE_IPV6" = 1 ] || {
+	for net in $EXCLUDE6; do
+		ip6tables -t nat -I tpws -d $net -j RETURN
+	done
+}
+
+for IPTABLES in $IPTS; do
+	ipt PREROUTING -t nat -j tpws
+	ipt OUTPUT -t nat -m owner ! --uid-owner $TP_USER -j tpws
+done

init.d/openwrt-minimal/tpws/etc/init.d/tpws

@@ -0,0 +1,34 @@
+#!/bin/sh /etc/rc.common
+
+TPWS_DEFAULT=/usr/bin/tpws
+TPWS_USER_DEFAULT=daemon
+
+START=99
+STOP=01
+USE_PROCD=1
+
+tpws_instance()
+{
+	config_get "$@"
+
+	local enabled port opt
+
+	config_get_bool enabled "$1" enabled 0
+	[ "$enabled" -eq 1 ] || return 1
+
+	config_get port "$1" port
+	config_get opt "$1" opt
+
+	local COMMAND="$TPWS --user=$TPWS_USER --port=$port $opt"
+	procd_open_instance
+	procd_set_param command $COMMAND
+	procd_close_instance
+}
+
+start_service()
+{
+	config_load tpws
+	config_get TPWS_USER defaults user $TPWS_USER_DEFAULT
+	config_get TPWS defaults tpws $TPWS_DEFAULT
+	config_foreach tpws_instance tpws
+}

init.d/openwrt-minimal/tpws/etc/nftables.d/90-tpws.nft

@@ -0,0 +1,18 @@
+set tpws_exclude4 {
+	type ipv4_addr; flags interval; auto-merge;
+        elements = { 10.0.0.0/8,172.16.0.0/12,192.168.0.0/16,169.254.0.0/16,127.0.0.0/8 }
+}
+set tpws_exclude6 {
+	type ipv6_addr; flags interval; auto-merge;
+        elements = { fc00::/7, fe80::/10, ::1 }
+}
+chain tpws_pre {
+	type nat hook prerouting priority dstnat; policy accept;
+	tcp dport {80,443} ip daddr != @tpws_exclude4 redirect to :900
+	tcp dport {80,443} ip6 daddr != @tpws_exclude6 redirect to :900
+}
+chain tpws_out {
+	type nat hook output priority -100; policy accept;
+	tcp dport {80,443} skuid != daemon ip daddr != @tpws_exclude4 redirect to :900
+	tcp dport {80,443} skuid != daemon ip6 daddr != @tpws_exclude6 redirect to :900
+}

init.d/openwrt/custom.d.examples/10-inherit-nfqws

@@ -1,22 +0,0 @@
-# this custom script applies nfqws mode as it would be with MODE=nfqws
-
-OVERRIDE=nfqws
-
-zapret_custom_daemons()
-{
-        # stop logic is managed by procd
-
-	MODE_OVERRIDE=$OVERRIDE start_daemons_procd
-}
-zapret_custom_firewall()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE zapret_do_firewall_rules_ipt $1
-}
-zapret_custom_firewall_nft()
-{
-	# stop logic is not required
-
-	MODE_OVERRIDE=$OVERRIDE zapret_apply_firewall_rules_nft
-}

init.d/openwrt/custom.d.examples/10-inherit-tpws

@@ -1,22 +0,0 @@
-# this custom script applies tpws mode as it would be with MODE=tpws
-
-OVERRIDE=tpws
-
-zapret_custom_daemons()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE start_daemons_procd
-}
-zapret_custom_firewall()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE zapret_do_firewall_rules_ipt $1
-}
-zapret_custom_firewall_nft()
-{
-	# stop logic is not required
-
-	MODE_OVERRIDE=$OVERRIDE zapret_apply_firewall_rules_nft
-}

init.d/openwrt/custom.d.examples/10-inherit-tpws-socks

@@ -1,22 +0,0 @@
-# this custom script applies tpws-socks mode as it would be with MODE=tpws-socks
-
-OVERRIDE=tpws-socks
-
-zapret_custom_daemons()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE start_daemons_procd
-}
-zapret_custom_firewall()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE zapret_do_firewall_rules_ipt $1
-}
-zapret_custom_firewall_nft()
-{
-	# stop logic is not required
-
-	MODE_OVERRIDE=$OVERRIDE zapret_apply_firewall_rules_nft
-}

init.d/openwrt/custom.d.examples/50-dht4all

@@ -1,15 +1,17 @@
 # this custom script runs desync to DHT packets with udp payload length 101..399 , without ipset/hostlist filtering
-# need to add to config : NFQWS_OPT_DESYNC_DHT="--dpi-desync=fake --dpi-desync-ttl=5"
 
-DNUM=101
-QNUM2=$(($DNUM * 5))
+# can override in config :
+NFQWS_OPT_DESYNC_DHT="${NFQWS_OPT_DESYNC_DHT:---dpi-desync=tamper}"
+
+alloc_dnum DNUM_DHT4ALL
+alloc_qnum QNUM_DHT4ALL
 
 zapret_custom_daemons()
 {
         # stop logic is managed by procd
 
-        local opt="--qnum=$QNUM2 $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_DHT"
-	run_daemon $DNUM $NFQWS "$opt"
+        local opt="--qnum=$QNUM_DHT4ALL $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_DHT"
+	run_daemon $DNUM_DHT4ALL $NFQWS "$opt"
 }
 zapret_custom_firewall()
 {
@@ -17,12 +19,11 @@ zapret_custom_firewall()
 
         local f uf4 uf6
         local first_packet_only="$ipt_connbytes 1:1"
-        local desync="-m mark ! --mark $DESYNC_MARK/$DESYNC_MARK"
 
         f='-p udp -m length --length 109:407 -m u32 --u32'
 	uf4='0>>22&0x3C@8>>16=0x6431'
 	uf6='48>>16=0x6431'
-        fw_nfqws_post $1 "$f $uf4 $desync $first_packet_only"  "$f $uf6 $desync $first_packet_only" $QNUM2
+        fw_nfqws_post $1 "$f $uf4 $first_packet_only"  "$f $uf6 $first_packet_only" $QNUM_DHT4ALL
 
 }
 zapret_custom_firewall_nft()
@@ -31,9 +32,7 @@ zapret_custom_firewall_nft()
 
         local f
         local first_packet_only="$nft_connbytes 1"
-        local desync="mark and $DESYNC_MARK == 0"
 
         f="meta length 109-407 meta l4proto udp @th,64,16 0x6431"
-        nft_fw_nfqws_post "$f $desync $first_packet_only" "$f $desync $first_packet_only" $QNUM2
+        nft_fw_nfqws_post "$f $first_packet_only" "$f $first_packet_only" $QNUM_DHT4ALL
 }
-

init.d/openwrt/custom.d.examples/50-quic4all

@@ -1,37 +0,0 @@
-# this custom script runs desync to all QUIC initial packets, without ipset/hostlist filtering
-# need to add to config : NFQWS_OPT_DESYNC_QUIC="--dpi-desync=fake"
-# NOTE : do not use TTL fooling. chromium QUIC engine breaks sessions if TTL expired in transit received
-
-DNUM=102
-QNUM2=$(($DNUM * 5))
-
-zapret_custom_daemons()
-{
-	# $1 - 1 - run, 0 - stop
-
-	local opt="--qnum=$QNUM2 $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_QUIC"
-	run_daemon $DNUM $NFQWS "$opt"
-}
-zapret_custom_firewall()
-{
-	# $1 - 1 - run, 0 - stop
-
-	local f
-	local first_packets_only="$ipt_connbytes 1:3"
-	local desync="-m mark ! --mark $DESYNC_MARK/$DESYNC_MARK"
-
-	f="-p udp -m multiport --dports $QUIC_PORTS_IPT"
-	fw_nfqws_post $1 "$f $desync $first_packets_only" "$f $desync $first_packets_only" $QNUM2
-
-}
-zapret_custom_firewall_nft()
-{
-	# stop logic is not required
-
-	local f
-	local first_packets_only="$nft_connbytes 1-3"
-	local desync="mark and $DESYNC_MARK == 0"
-
-	f="udp dport {$QUIC_PORTS}"
-	nft_fw_nfqws_post "$f $desync $first_packets_only" "$f $desync $first_packets_only" $QNUM2
-}

init.d/openwrt/custom.d.examples/50-tpws4http-nfqws4https

@@ -1,71 +0,0 @@
-# this custom script demonstrates how to apply tpws to http and nfqws to https
-# it preserves config settings : MODE_HTTP, MODE_HTTPS, MODE_FILTER, TPWS_OPT, NFQWS_OPT_DESYNC, NFQWS_OPT_DESYNC_HTTPS
-
-zapret_custom_daemons()
-{
-	# $1 - 1 - run, 0 - stop
-
-	local opt
-
-	[ "$MODE_HTTP" = "1" ] && {
-		opt="--port=$TPPORT $TPWS_OPT"
-		filter_apply_hostlist_target opt
-		filter_apply_suffix opt "$TPWS_OPT_SUFFIX"
-		run_tpws 1 "$opt"
-	}
-
-	[ "$MODE_HTTPS" = "1" ] && {
-		opt="--qnum=$QNUM $NFQWS_OPT_DESYNC_HTTPS"
-		filter_apply_hostlist_target opt
-		filter_apply_suffix opt "$NFQWS_OPT_DESYNC_HTTPS_SUFFIX"
-		run_daemon 2 $NFQWS "$opt"
-	}
-}
-zapret_custom_firewall()
-{
-	# $1 - 1 - run, 0 - stop
-
-	local f4 f6
-	local first_packet_only="$ipt_connbytes 1:$(first_packets_for_mode)"
-	local desync="-m mark ! --mark $DESYNC_MARK/$DESYNC_MARK"
-
-	[ "$MODE_HTTP" = "1" ] && {
-		f4="-p tcp -m multiport --dports $HTTP_PORTS_IPT"
-		f6=$f4
-		filter_apply_ipset_target f4 f6
-		fw_tpws $1 "$f4" "$f6" $TPPORT
-	}
-	
-	[ "$MODE_HTTPS" = "1" ] && {
-		f4="-p tcp -m multiport --dports $HTTPS_PORTS_IPT $first_packet_only"
-		f6=$f4
-		filter_apply_ipset_target f4 f6
-		fw_nfqws_post $1 "$f4 $desync" "$f6 $desync" $QNUM
-		# for modes that require incoming traffic
-		fw_reverse_nfqws_rule $1 "$f4" "$f6" $QNUM
-	}
-}
-zapret_custom_firewall_nft()
-{
-	# stop logic is not required
-
-	local f4 f6
-	local first_packet_only="$nft_connbytes 1-$(first_packets_for_mode)"
-	local desync="mark and $DESYNC_MARK == 0"
-
-	[ "$MODE_HTTP" = "1" ] && {
-		f4="tcp dport {$HTTP_PORTS}"
-		f6=$f4
-		nft_filter_apply_ipset_target f4 f6
-		nft_fw_tpws "$f4" "$f6" $TPPORT
-	}
-	
-	[ "$MODE_HTTPS" = "1" ] && {
-		f4="tcp dport {$HTTPS_PORTS} $first_packet_only"
-		f6=$f4
-		nft_filter_apply_ipset_target f4 f6
-		nft_fw_nfqws_post "$f4 $desync" "$f6 $desync" $QNUM
-		# for modes that require incoming traffic
-		nft_fw_reverse_nfqws_rule "$f4" "$f6" $QNUM
-	}
-}

init.d/openwrt/functions

@@ -6,7 +6,6 @@ ZAPRET_CONFIG=${ZAPRET_CONFIG:-"$ZAPRET_RW/config"}
 . "$ZAPRET_CONFIG"
 . "$ZAPRET_BASE/common/base.sh"
 . "$ZAPRET_BASE/common/fwtype.sh"
-. "$ZAPRET_BASE/common/queue.sh"
 . "$ZAPRET_BASE/common/linux_iphelper.sh"
 . "$ZAPRET_BASE/common/ipt.sh"
 . "$ZAPRET_BASE/common/nft.sh"
@@ -17,6 +16,7 @@ CUSTOM_DIR="$ZAPRET_RW/init.d/openwrt"
 
 [ -n "$QNUM" ] || QNUM=200
 [ -n "$TPPORT" ] || TPPORT=988
+[ -n "$TPPORT_SOCKS" ] || TPPORT_SOCKS=987
 [ -n "$WS_USER" ] || WS_USER=daemon
 [ -n "$DESYNC_MARK" ] || DESYNC_MARK=0x40000000
 [ -n "$DESYNC_MARK_POSTNAT" ] || DESYNC_MARK_POSTNAT=0x20000000
@@ -32,8 +32,6 @@ IPSET_CR="$ZAPRET_BASE/ipset/create_ipset.sh"
 IPSET_EXCLUDE="-m set ! --match-set nozapret"
 IPSET_EXCLUDE6="-m set ! --match-set nozapret6"
 
-apply_unspecified_desync_modes
-
 
 # can be multiple ipv6 outgoing interfaces
 # uplink from isp, tunnelbroker, vpn, ...

init.d/openwrt/zapret

@@ -114,68 +114,30 @@ tpws_apply_socks_binds()
 }
 
 
+standard_mode_daemons()
+{
+	local opt
+	[ "$TPWS_ENABLE" = 1 ] && check_bad_ws_options 1 "$TPWS_OPT" && {
+		opt="--port=$TPPORT $TPWS_OPT"
+		filter_apply_hostlist_target opt
+		run_tpws 1 "$opt"
+	}
+	[ "$TPWS_SOCKS_ENABLE" = 1 ] && {
+		opt="--port=$TPPORT_SOCKS $TPWS_OPT"
+		filter_apply_hostlist_target opt
+		run_tpws_socks 2 "$opt"
+	}
+	[ "$NFQWS_ENABLE" = 1 ] && check_bad_ws_options 1 "$NFQWS_OPT" && {
+		opt="--qnum=$QNUM $NFQWS_OPT"
+		filter_apply_hostlist_target opt
+		run_daemon 3 "$NFQWS" "$opt"
+	}
+}
+
 start_daemons_procd()
 {
-	local opt qn qns qn6 qns6
-
-	case "${MODE_OVERRIDE:-$MODE}" in
-		tpws)
-			opt="--port=$TPPORT $TPWS_OPT"
-			filter_apply_hostlist_target opt
-			filter_apply_suffix opt "$TPWS_OPT_SUFFIX"
-			run_tpws 1 "$opt"
-			;;
-		tpws-socks)
-			opt="--port=$TPPORT $TPWS_OPT"
-			filter_apply_hostlist_target opt
-			filter_apply_suffix opt "$TPWS_OPT_SUFFIX"
-			run_tpws_socks 1 "$opt"
-			;;
-		nfqws)
-			# quite complex but we need to minimize nfqws processes to save RAM
-			get_nfqws_qnums qn qns qn6 qns6
-			[ -z "$qn" ] || {
-				opt="--qnum=$qn $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_HTTP"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_HTTP_SUFFIX"
-				run_daemon 1 "$NFQWS" "$opt"
-			}
-			[ -z "$qns" ] || [ "$qns" = "$qn" ] || {
-				opt="--qnum=$qns $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_HTTPS"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_HTTPS_SUFFIX"
-				run_daemon 2 "$NFQWS" "$opt"
-			}
-			[ -z "$qn6" ] || [ "$qn6" = "$qn" ] || [ "$qn6" = "$qns" ] || {
-				opt="--qnum=$qn6 $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_HTTP6"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_HTTP6_SUFFIX"
-				run_daemon 3 "$NFQWS" "$opt"
-			}
-			[ -z "$qns6" ] || [ "$qns6" = "$qn" ] || [ "$qns6" = "$qns" ] || [ "$qns6" = "$qn6" ] || {
-				opt="--qnum=$qns6 $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_HTTPS6"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_HTTPS6_SUFFIX"
-				run_daemon 4 "$NFQWS" "$opt"
-			}
-			get_nfqws_qnums_quic qn qn6
-			[ -z "$qn" ] || {
-				opt="--qnum=$qn $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_QUIC"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_QUIC_SUFFIX"
-				run_daemon 10 "$NFQWS" "$opt"
-			}
-			[ -z "$qn6" ] || [ "$qn6" = "$qn" ] || {
-				opt="--qnum=$qn6 $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_QUIC6"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_QUIC6_SUFFIX"
-				run_daemon 11 "$NFQWS" "$opt"
-			}
-			;;
-		custom)
-	    		custom_runner zapret_custom_daemons $1
-			;;
-	esac
+	standard_mode_daemons
+	custom_runner zapret_custom_daemons
 
 	return 0
 }

init.d/sysv/custom.d.examples/10-inherit-nfqws

@@ -1,22 +0,0 @@
-# this custom script applies nfqws mode as it would be with MODE=nfqws
-
-OVERRIDE=nfqws
-
-zapret_custom_daemons()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE zapret_do_daemons $1
-}
-zapret_custom_firewall()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE zapret_do_firewall_rules_ipt $1
-}
-zapret_custom_firewall_nft()
-{
-	# stop logic is not required
-
-	MODE_OVERRIDE=$OVERRIDE zapret_apply_firewall_rules_nft
-}

init.d/sysv/custom.d.examples/10-inherit-tpws

@@ -1,22 +0,0 @@
-# this custom script applies tpws mode as it would be with MODE=tpws
-
-OVERRIDE=tpws
-
-zapret_custom_daemons()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE zapret_do_daemons $1
-}
-zapret_custom_firewall()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE zapret_do_firewall_rules_ipt $1
-}
-zapret_custom_firewall_nft()
-{
-	# stop logic is not required
-
-	MODE_OVERRIDE=$OVERRIDE zapret_apply_firewall_rules_nft
-}

init.d/sysv/custom.d.examples/10-inherit-tpws-socks

@@ -1,22 +0,0 @@
-# this custom script applies tpws-socks mode as it would be with MODE=tpws-socks
-
-OVERRIDE=tpws-socks
-
-zapret_custom_daemons()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE zapret_do_daemons $1
-}
-zapret_custom_firewall()
-{
-	# $1 - 1 - run, 0 - stop
-
-	MODE_OVERRIDE=$OVERRIDE zapret_do_firewall_rules_ipt $1
-}
-zapret_custom_firewall_nft()
-{
-	# stop logic is not required
-
-	MODE_OVERRIDE=$OVERRIDE zapret_apply_firewall_rules_nft
-}

init.d/sysv/custom.d.examples/50-dht4all

@@ -1,15 +1,17 @@
 # this custom script runs desync to DHT packets with udp payload length 101..399 , without ipset/hostlist filtering
-# need to add to config : NFQWS_OPT_DESYNC_DHT="--dpi-desync=fake --dpi-desync-ttl=5"
 
-DNUM=101
-QNUM2=$(($DNUM * 5))
+# can override in config :
+NFQWS_OPT_DESYNC_DHT="${NFQWS_OPT_DESYNC_DHT:---dpi-desync=tamper}"
+
+alloc_dnum DNUM_DHT4ALL
+alloc_qnum QNUM_DHT4ALL
 
 zapret_custom_daemons()
 {
         # stop logic is managed by procd
 
-        local opt="--qnum=$QNUM2 $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_DHT"
-	do_nfqws $1 $DNUM "$opt"
+        local opt="--qnum=$QNUM_DHT4ALL $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_DHT"
+	do_nfqws $1 $DNUM_DHT4ALL "$opt"
 }
 zapret_custom_firewall()
 {
@@ -17,13 +19,11 @@ zapret_custom_firewall()
 
         local f uf4 uf6
         local first_packet_only="$ipt_connbytes 1:1"
-        local desync="-m mark ! --mark $DESYNC_MARK/$DESYNC_MARK"
 
         f='-p udp -m length --length 109:407 -m u32 --u32'
 	uf4='0>>22&0x3C@8>>16=0x6431'
 	uf6='48>>16=0x6431'
-        fw_nfqws_post $1 "$f $uf4 $desync $first_packet_only"  "$f $uf6 $desync $first_packet_only" $QNUM2
-
+        fw_nfqws_post $1 "$f $uf4 $first_packet_only"  "$f $uf6 $first_packet_only" $QNUM_DHT4ALL
 }
 zapret_custom_firewall_nft()
 {
@@ -31,9 +31,7 @@ zapret_custom_firewall_nft()
 
         local f
         local first_packet_only="$nft_connbytes 1"
-        local desync="mark and $DESYNC_MARK == 0"
 
         f="meta length 109-407 meta l4proto udp @th,64,16 0x6431"
-        nft_fw_nfqws_post "$f $desync $first_packet_only" "$f $desync $first_packet_only" $QNUM2
+        nft_fw_nfqws_post "$f $first_packet_only" "$f $first_packet_only" $QNUM_DHT4ALL
 }
-

init.d/sysv/custom.d.examples/50-quic4all

@@ -1,37 +0,0 @@
-# this custom script runs desync to all QUIC initial packets, without ipset/hostlist filtering
-# need to add to config : NFQWS_OPT_DESYNC_QUIC="--dpi-desync=fake"
-# NOTE : do not use TTL fooling. chromium QUIC engine breaks sessions if TTL expired in transit received
-
-DNUM=102
-QNUM2=$(($DNUM * 5))
-
-zapret_custom_daemons()
-{
-	# $1 - 1 - run, 0 - stop
-
-	local opt="--qnum=$QNUM2 $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_QUIC"
-	do_nfqws $1 $DNUM "$opt"
-}
-zapret_custom_firewall()
-{
-	# $1 - 1 - run, 0 - stop
-
-	local f
-	local first_packets_only="$ipt_connbytes 1:3"
-	local desync="-m mark ! --mark $DESYNC_MARK/$DESYNC_MARK"
-
-	f="-p udp -m multiport --dports $QUIC_PORTS_IPT"
-	fw_nfqws_post $1 "$f $desync $first_packets_only" "$f $desync $first_packets_only" $QNUM2
-
-}
-zapret_custom_firewall_nft()
-{
-	# stop logic is not required
-
-	local f
-	local first_packets_only="$nft_connbytes 1-3"
-	local desync="mark and $DESYNC_MARK == 0"
-
-	f="udp dport {$QUIC_PORTS}"
-	nft_fw_nfqws_post "$f $desync $first_packets_only" "$f $desync $first_packets_only" $QNUM2
-}

init.d/sysv/custom.d.examples/50-tpws4http-nfqws4https

@@ -1,71 +0,0 @@
-# this custom script demonstrates how to apply tpws to http and nfqws to https
-# it preserves config settings : MODE_HTTP, MODE_HTTPS, MODE_FILTER, TPWS_OPT, NFQWS_OPT_DESYNC, NFQWS_OPT_DESYNC_HTTPS
-
-zapret_custom_daemons()
-{
-	# $1 - 1 - run, 0 - stop
-
-	local opt
-
-	[ "$MODE_HTTP" = "1" ] && {
-		opt="--port=$TPPORT $TPWS_OPT"
-		filter_apply_hostlist_target opt
-		filter_apply_suffix opt "$TPWS_OPT_SUFFIX"
-		do_tpws $1 1 "$opt"
-	}
-
-	[ "$MODE_HTTPS" = "1" ] && {
-		opt="--qnum=$QNUM $NFQWS_OPT_DESYNC_HTTPS"
-		filter_apply_hostlist_target opt
-		filter_apply_suffix opt "$NFQWS_OPT_DESYNC_HTTPS_SUFFIX"
-		do_nfqws $1 2 "$opt"
-	}
-}
-zapret_custom_firewall()
-{
-	# $1 - 1 - run, 0 - stop
-
-	local f4 f6
-	local first_packet_only="$ipt_connbytes 1:$(first_packets_for_mode)"
-	local desync="-m mark ! --mark $DESYNC_MARK/$DESYNC_MARK"
-
-	[ "$MODE_HTTP" = "1" ] && {
-		f4="-p tcp -m multiport --dports $HTTP_PORTS_IPT"
-		f6=$f4
-		filter_apply_ipset_target f4 f6
-		fw_tpws $1 "$f4" "$f6" $TPPORT
-	}
-	
-	[ "$MODE_HTTPS" = "1" ] && {
-		f4="-p tcp -m multiport --dports $HTTPS_PORTS_IPT $first_packet_only"
-		f6=$f4
-		filter_apply_ipset_target f4 f6
-		fw_nfqws_post $1 "$f4 $desync" "$f6 $desync" $QNUM
-		# for modes that require incoming traffic
-		fw_reverse_nfqws_rule $1 "$f4" "$f6" $QNUM
-	}
-}
-zapret_custom_firewall_nft()
-{
-	# stop logic is not required
-
-	local f4 f6
-	local first_packet_only="$nft_connbytes 1-$(first_packets_for_mode)"
-	local desync="mark and $DESYNC_MARK == 0"
-
-	[ "$MODE_HTTP" = "1" ] && {
-		f4="tcp dport {$HTTP_PORTS}"
-		f6=$f4
-		nft_filter_apply_ipset_target f4 f6
-		nft_fw_tpws "$f4" "$f6" $TPPORT
-	}
-	
-	[ "$MODE_HTTPS" = "1" ] && {
-		f4="tcp dport {$HTTPS_PORTS} $first_packet_only"
-		f6=$f4
-		nft_filter_apply_ipset_target f4 f6
-		nft_fw_nfqws_post "$f4 $desync" "$f6 $desync" $QNUM
-		# for modes that require incoming traffic
-		nft_fw_reverse_nfqws_rule "$f4" "$f6" $QNUM
-	}
-}

init.d/sysv/functions

@@ -6,7 +6,6 @@ ZAPRET_CONFIG=${ZAPRET_CONFIG:-"$ZAPRET_RW/config"}
 . "$ZAPRET_CONFIG"
 . "$ZAPRET_BASE/common/base.sh"
 . "$ZAPRET_BASE/common/fwtype.sh"
-. "$ZAPRET_BASE/common/queue.sh"
 . "$ZAPRET_BASE/common/linux_iphelper.sh"
 . "$ZAPRET_BASE/common/ipt.sh"
 . "$ZAPRET_BASE/common/nft.sh"
@@ -76,9 +75,9 @@ IPSET_CR="$ZAPRET_BASE/ipset/create_ipset.sh"
 [ -n "$QNUM" ] || QNUM=200
 [ -n "$NFQWS" ] || NFQWS="$ZAPRET_BASE/nfq/nfqws"
 NFQWS_OPT_BASE="$USEROPT --dpi-desync-fwmark=$DESYNC_MARK"
-apply_unspecified_desync_modes
 
 [ -n "$TPPORT" ] || TPPORT=988
+[ -n "$TPPORT_SOCKS" ] || TPPORT_SOCKS=987
 [ -n "$TPWS" ] || TPWS="$ZAPRET_BASE/tpws/tpws"
 TPWS_LOCALHOST4=127.0.0.127
 
@@ -280,69 +279,35 @@ create_ipset()
 }
 
 
+standard_mode_daemons()
+{
+	# $1 - 1 - run, 0 - stop
+
+	local opt
+
+	[ "$TPWS_ENABLE" = 1 ] && check_bad_ws_options $1 "$TPWS_OPT" && {
+		opt="--port=$TPPORT $TPWS_OPT"
+		filter_apply_hostlist_target opt
+		do_tpws $1 1 "$opt"
+	}
+	[ "$TPWS_SOCKS_ENABLE" = 1 ] && {
+		opt="--port=$TPPORT_SOCKS $TPWS_OPT"
+		filter_apply_hostlist_target opt
+		do_tpws_socks $1 2 "$opt"
+	}
+	[ "$NFQWS_ENABLE" = 1 ] && check_bad_ws_options $1 "$NFQWS_OPT" && {
+		opt="--qnum=$QNUM $NFQWS_OPT_BASE $NFQWS_OPT"
+		filter_apply_hostlist_target opt
+		do_nfqws $1 3 "$opt"
+	}
+}
+
 zapret_do_daemons()
 {
 	# $1 - 1 - run, 0 - stop
 
-	local opt qn qns qn6 qns6
-
-	case "${MODE_OVERRIDE:-$MODE}" in
-		tpws)
-			opt="--port=$TPPORT $TPWS_OPT"
-			filter_apply_hostlist_target opt
-			filter_apply_suffix opt "$TPWS_OPT_SUFFIX"
-			do_tpws $1 1 "$opt"
-			;;
-		tpws-socks)
-			opt="--port=$TPPORT $TPWS_OPT"
-			filter_apply_hostlist_target opt
-			filter_apply_suffix opt "$TPWS_OPT_SUFFIX"
-			do_tpws_socks $1 1 "$opt"
-			;;
-		nfqws)
-			get_nfqws_qnums qn qns qn6 qns6
-			[ -z "$qn" ] || {
-				opt="--qnum=$qn $NFQWS_OPT_DESYNC_HTTP"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_HTTP_SUFFIX"
-				do_nfqws $1 1 "$opt"
-			}
-			[ -z "$qns" ] || [ "$qns" = "$qn" ] || {
-				opt="--qnum=$qns $NFQWS_OPT_DESYNC_HTTPS"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_HTTPS_SUFFIX"
-				do_nfqws $1 2 "$opt"
-			}
-			[ -z "$qn6" ] || [ "$qn6" = "$qn" ] || [ "$qn6" = "$qns" ] || {
-				opt="--qnum=$qn6 $NFQWS_OPT_DESYNC_HTTP6"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_HTTP6_SUFFIX"
-				do_nfqws $1 3 "$opt"
-			}
-			[ -z "$qns6" ] || [ "$qns6" = "$qn" ] || [ "$qns6" = "$qns" ] || [ "$qns6" = "$qn6" ] || {
-				opt="--qnum=$qns6 $NFQWS_OPT_DESYNC_HTTPS6"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_HTTPS6_SUFFIX"
-				do_nfqws $1 4 "$opt"
-			}
-			get_nfqws_qnums_quic qn qn6
-			[ -z "$qn" ] || {
-				opt="--qnum=$qn $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_QUIC"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_QUIC_SUFFIX"
-				do_nfqws $1 10 "$opt"
-			}
-			[ -z "$qn6" ] || [ "$qn6" = "$qn" ] || {
-				opt="--qnum=$qn6 $NFQWS_OPT_BASE $NFQWS_OPT_DESYNC_QUIC6"
-				filter_apply_hostlist_target opt
-				filter_apply_suffix opt "$NFQWS_OPT_DESYNC_QUIC6_SUFFIX"
-				do_nfqws $1 11 "$opt"
-			}
-			;;
-		custom)
-			custom_runner zapret_custom_daemons $1
-			;;
-	esac
+	standard_mode_daemons $1
+	custom_runner zapret_custom_daemons $1
 
 	return 0
 }
@@ -354,4 +319,3 @@ zapret_stop_daemons()
 {
 	zapret_do_daemons 0 "$@"
 }
-

install_easy.sh

@@ -5,6 +5,9 @@
 EXEDIR="$(dirname "$0")"
 EXEDIR="$(cd "$EXEDIR"; pwd)"
 ZAPRET_BASE=${ZAPRET_BASE:-"$EXEDIR"}
+ZAPRET_TARGET=${ZAPRET_TARGET:-/opt/zapret}
+ZAPRET_TARGET_RW=${ZAPRET_RW:-"$ZAPRET_TARGET"}
+ZAPRET_TARGET_CONFIG="$ZAPRET_TARGET_RW/config"
 ZAPRET_RW=${ZAPRET_RW:-"$ZAPRET_BASE"}
 ZAPRET_CONFIG=${ZAPRET_CONFIG:-"$ZAPRET_RW/config"}
 ZAPRET_CONFIG_DEFAULT="$ZAPRET_BASE/config.default"
@@ -24,13 +27,8 @@ IPSET_DIR="$ZAPRET_BASE/ipset"
 . "$ZAPRET_BASE/common/installer.sh"
 . "$ZAPRET_BASE/common/virt.sh"
 
-# install target
-ZAPRET_TARGET=${ZAPRET_TARGET:-/opt/zapret}
-
 GET_LIST="$IPSET_DIR/get_config.sh"
 
-[ -n "$TPPORT" ] || TPPORT=988
-
 check_readonly_system()
 {
 	local RO
@@ -102,112 +100,107 @@ install_binaries()
 	}
 }
 
-select_mode_mode()
+ws_opt_validate()
 {
-	local edited v vars MODES="tpws tpws-socks nfqws filter custom"
-	[ "$SYSTEM" = "macos" ] && MODES="tpws tpws-socks filter custom"
-	echo
-	echo select MODE :
-	ask_list MODE "$MODES" tpws && write_config_var MODE
+	# ПРИМЕЧАНИЕ ДЛЯ РАСПРОСТРАНИТЕЛЕЙ КОПИПАСТЫ
+	# ЭТОТ КОД СДЕЛАН СПЕЦИАЛЬНО ДЛЯ ВАС, ЧТОБЫ ВЫ НЕ ПОСТИЛИ В СЕТЬ ПЛОХИЕ РЕЦЕПТЫ
+	# ЕСЛИ ВАМ ХОЧЕТСЯ ЕГО УДАЛИТЬ И НАПИСАТЬ ИНСТРУКЦИЮ КАК ЕГО УДАЛЯТЬ, ВЫ ДЕЛАЕТЕ ХРЕНОВУЮ УСЛУГУ. НАПИШИТЕ ЛУЧШЕ custom script.
+	# custom script - ЭТО ФАЙЛИК, КОТОРЫЙ ДОСТАТОЧНО СКОПИРОВАТЬ В НУЖНУЮ ДИРЕКТОРИЮ, ЧТОБЫ ОН СДЕЛАЛ ТОЖЕ САМОЕ, НО ЭФФЕКТИВНО.
+	# ФИЛЬТРАЦИЯ ПО IPSET В ЯДРЕ НЕСРАВНИМО ЭФФЕКТИВНЕЕ, ЧЕМ ПЕРЕКИДЫВАТЬ ВСЕ ПАКЕТЫ В nfqws И ТАМ ФИЛЬТРОВАТЬ
+	# --ipset СУЩЕСТВУЕТ ТОЛЬКО ДЛЯ ВИНДЫ И LINUX СИСТЕМ БЕЗ ipset (НАПРИМЕР, Android).
+	# И ТОЛЬКО ПО ЭТОЙ ПРИЧИНЕ ОНО НЕ ВЫКИНУТО ПОЛНОСТЬЮ ИЗ LINUX ВЕРСИИ
+	has_bad_ws_options "$1" && {
+		help_bad_ws_options
+		return 1
+	}
+	return 0
+}
 
-	case $MODE in
-		tpws|tpws-socks)
-			vars="TPWS_OPT TPWS_OPT_SUFFIX"
-			;;
-		nfqws)
-			vars="NFQWS_OPT_DESYNC NFQWS_OPT_DESYNC_SUFFIX NFQWS_OPT_DESYNC_HTTP NFQWS_OPT_DESYNC_HTTP_SUFFIX NFQWS_OPT_DESYNC_HTTPS NFQWS_OPT_DESYNC_HTTPS_SUFFIX NFQWS_OPT_DESYNC_HTTP6 NFQWS_OPT_DESYNC_HTTP6_SUFFIX NFQWS_OPT_DESYNC_HTTPS6 NFQWS_OPT_DESYNC_HTTPS6_SUFFIX NFQWS_OPT_DESYNC_QUIC NFQWS_OPT_DESYNC_QUIC_SUFFIX NFQWS_OPT_DESYNC_QUIC6 NFQWS_OPT_DESYNC_QUIC6_SUFFIX"
-			;;
-	esac
-	[ -n "$vars" ] && {
+select_mode_group()
+{
+	# $1 - ENABLE var name
+	# $2 - ask text
+	# $3 - vars
+	# $4 - validator func
+	# $5 - validator func param var
+
+	local enabled var v edited bad Y param
+
+	echo
+	ask_yes_no_var $1 "$2"
+	write_config_var $1
+	eval enabled=\$$1
+	[ "$enabled" = 1 ] && {
 		echo
-		while [ 1=1 ]; do
-			for var in $vars; do
-				eval v="\$$var"
-				echo $var=\"$v\"
-			done
-			ask_yes_no N "do you want to edit the options" || {
+		while  : ; do
+			list_vars $3
+			bad=0; Y=N
+			[ -n "$4" ] && {
+				eval param="\$$5"
+				$4 "$param"; bad=$?
+				[ "$bad" = 1 ] && Y=Y
+			}
+			ask_yes_no $Y "do you want to edit the options" || {
+				[ "$bad" = 1 ] && {
+					echo installer will not allow to use bad options. exiting.
+					exitp 3
+				}
 				[ -n "$edited" ] && {
-					for var in $vars; do
+					for var in $3; do
 						write_config_var $var
 					done
 				}
 				break
 			}
-			edit_vars $vars
+			edit_vars $3
 			edited=1
 			echo ..edited..
 		done
 	}
-	[ "$MODE" = custom ] && {
-		echo
-		echo "current custom scripts :"
-		[ -f "$CUSTOM_DIR/custom" ] && echo "legacy custom script $CUSTOM_DIR/custom"
-		echo "$CUSTOM_DIR/custom.d :"
-		[ -d "$CUSTOM_DIR/custom.d" ] && ls "$CUSTOM_DIR/custom.d"
-		echo "Make sure this is ok"
-		echo
-	}
 }
-select_mode_http()
+
+select_mode_tpws_socks()
 {
-	[ "$MODE" != "filter" ] && [ "$MODE" != "tpws-socks" ] && {
-		echo
-		ask_yes_no_var MODE_HTTP "enable http support"
-		write_config_var MODE_HTTP
-	}
+	local EDITVAR_NEWLINE_DELIMETER="--new" EDITVAR_NEWLINE_VARS="TPWS_SOCKS_OPT"
+	# --ipset allowed here
+	select_mode_group TPWS_SOCKS_ENABLE "enable tpws socks mode on port $TPPORT_SOCKS ?" "TPPORT_SOCKS TPWS_SOCKS_OPT"
 }
-select_mode_keepalive()
+select_mode_tpws()
 {
-	[ "$MODE" = "nfqws" ] && [ "$MODE_HTTP" = "1" ] && {
-		echo
-		echo enable keep alive support only if DPI checks every outgoing packet for http signature
-		echo dont enable otherwise because it consumes more cpu resources
-		ask_yes_no_var MODE_HTTP_KEEPALIVE "enable http keep alive support"
-		write_config_var MODE_HTTP_KEEPALIVE
-	}
+	local EDITVAR_NEWLINE_DELIMETER="--new" EDITVAR_NEWLINE_VARS="TPWS_OPT"
+	select_mode_group TPWS_ENABLE "enable tpws transparent mode ?" "TPWS_PORTS TPWS_OPT" ws_opt_validate TPWS_OPT
 }
-select_mode_https()
+select_mode_nfqws()
 {
-	[ "$MODE" != "filter" ] && [ "$MODE" != "tpws-socks" ] && {
-		echo
-		ask_yes_no_var MODE_HTTPS "enable https support"
-		write_config_var MODE_HTTPS
-	}
+	local EDITVAR_NEWLINE_DELIMETER="--new" EDITVAR_NEWLINE_VARS="NFQWS_OPT"
+	select_mode_group NFQWS_ENABLE "enable nfqws ?" "NFQWS_PORTS_TCP NFQWS_PORTS_UDP NFQWS_TCP_PKT_OUT NFQWS_TCP_PKT_IN NFQWS_UDP_PKT_OUT NFQWS_UDP_PKT_IN NFQWS_PORTS_TCP_KEEPALIVE NFQWS_PORTS_UDP_KEEPALIVE NFQWS_OPT" ws_opt_validate NFQWS_OPT
 }
-select_mode_quic()
+
+select_mode_mode()
 {
-	[ "$SUBSYS" = "keenetic" ] && {
-		echo
-		echo "WARNING ! Keenetic is not officially supported by zapret."
-		echo "WARNING ! This firmware requires additional manual iptables setup to support udp desync properly."
-		echo "WARNING ! Keenetic uses proprietary ndmmark to limit MASQUERADE."
-		echo "WARNING ! Desynced packets may go outside without MASQUERADE with LAN source ip."
-		echo "WARNING ! To fix this you need to add additional MASQUERADE rule to iptables nat table."
-		echo "WARNING ! Installer WILL NOT fix it for you automatically."
-		echo "WARNING ! If you cannot understand what it is all about - do not enable QUIC."
-	}
-	[ "$MODE" != "filter" ] && [ "$MODE" != "tpws-socks" ] && [ "$MODE" != "tpws" ] && {
-		echo
-		ask_yes_no_var MODE_QUIC "enable quic support"
-		write_config_var MODE_QUIC
-	}
+	select_mode_tpws_socks
+	select_mode_tpws
+	[ "$UNAME" = Linux ] && select_mode_nfqws
+
+	echo
+	echo "current custom scripts in $CUSTOM_DIR/custom.d:"
+	[ -d "$CUSTOM_DIR/custom.d" ] && ls "$CUSTOM_DIR/custom.d"
+	echo "Make sure this is ok"
+	echo
 }
+
 select_mode_filter()
 {
 	local filter="none ipset hostlist autohostlist"
-	[ "$MODE" = "tpws-socks" ] && filter="none hostlist autohostlist"
 	echo
 	echo select filtering :
 	ask_list MODE_FILTER "$filter" none && write_config_var MODE_FILTER
 }
+
 select_mode()
 {
 	select_mode_mode
 	select_mode_iface
-	select_mode_http
-	select_mode_keepalive
-	select_mode_https
-	select_mode_quic
 	select_mode_filter
 }
 
@@ -219,10 +212,10 @@ select_getlist()
 		echo
 		if ask_yes_no $D "do you want to auto download ip/host list"; then
 			if [ "$MODE_FILTER" = "hostlist" ] ; then
-				GETLISTS="get_antizapret_domains.sh get_reestr_resolvable_domains.sh get_reestr_hostlist.sh"
+				GETLISTS="get_refilter_domains.sh get_antizapret_domains.sh get_reestr_resolvable_domains.sh get_reestr_hostlist.sh"
 				GETLIST_DEF="get_antizapret_domains.sh"
 			else
-				GETLISTS="get_user.sh get_antifilter_ip.sh get_antifilter_ipsmart.sh get_antifilter_ipsum.sh get_antifilter_ipresolve.sh get_antifilter_allyouneed.sh get_reestr_resolve.sh get_reestr_preresolved.sh get_reestr_preresolved_smart.sh"
+				GETLISTS="get_user.sh get_refilter_ipsum.sh get_antifilter_ip.sh get_antifilter_ipsmart.sh get_antifilter_ipsum.sh get_antifilter_ipresolve.sh get_antifilter_allyouneed.sh get_reestr_resolve.sh get_reestr_preresolved.sh get_reestr_preresolved_smart.sh"
 				GETLIST_DEF="get_antifilter_allyouneed.sh"
 			fi
 			ask_list GETLIST "$GETLISTS" "$GETLIST_DEF" && write_config_var GETLIST
@@ -286,7 +279,7 @@ ask_config_tmpdir()
 
 nft_flow_offload()
 {
-	[ "$UNAME" = Linux -a "$FWTYPE" = nftables -a "$MODE" != "tpws-socks" ] && [ "$FLOWOFFLOAD" = software -o "$FLOWOFFLOAD" = hardware ]
+	[ "$UNAME" = Linux -a "$FWTYPE" = nftables ] && [ "$FLOWOFFLOAD" = software -o "$FLOWOFFLOAD" = hardware ]
 }
 
 ask_iface()
@@ -338,57 +331,10 @@ select_mode_iface()
 	# it's not possible to instruct tpws to route outgoing connection to an interface (OS routing table decides)
 	# custom mode can also benefit from interface names (depends on custom script code)
 
-	if [ "$SYSTEM" = "openwrt" ] || [ "$MODE" = "filter" ]; then return; fi
+	[ "$SYSTEM" = "openwrt" ] && return
 
-	case "$MODE" in
-		tpws-socks)
-			echo "select LAN interface to allow socks access from your LAN. select NONE for localhost only."
-			echo "expect socks on tcp port $TPPORT"
-			ask_iface_lan
-			;;
-		tpws)
-			echo "select LAN interface to operate in router mode. select NONE for local outgoing traffic only."
-			if [ "$SYSTEM" = "macos" ]; then
-				echo "WARNING ! OS feature \"internet sharing\" is not supported."
-				echo "Only manually configured PF router is supported."
-			else
-				echo "WARNING ! This installer will not configure routing, NAT, ... for you. Its your responsibility."
-			fi
-			ask_iface_lan
-			;;
-		custom)
-			echo "select LAN interface for your custom script (how it works depends on your code)"
-			ask_iface_lan
-			;;
-		*)
-			nft_flow_offload && {
-				echo "select LAN interface for nftables flow offloading"
-				ask_iface_lan
-			}
-			;;
-	esac
-
-	case "$MODE" in
-		tpws)
-			echo "select WAN interface for $MODE operations. select ANY to operate on any interface."
-			[ -n "$IFACE_LAN" ] && echo "WAN filtering works only for local outgoing traffic !"
-			ask_iface_wan
-			;;
-		nfqws)
-			echo "select WAN interface for $MODE operations. select ANY to operate on any interface."
-			ask_iface_wan
-			;;
-		custom)
-			echo "select WAN interface for your custom script (how it works depends on your code)"
-			ask_iface_wan
-			;;
-		*)
-			nft_flow_offload && {
-				echo "select WAN interface for nftables flow offloading"
-				ask_iface_wan
-			}
-			;;
-	esac
+	ask_iface_lan
+	ask_iface_wan
 }
 
 default_files()
@@ -462,6 +408,8 @@ files/huawei/E8372/zapret \
 files/huawei/E8372/run-zapret-ip \
 ipset/get_exclude.sh \
 ipset/clear_lists.sh \
+ipset/get_refilter_domains.sh \
+ipset/get_refilter_ipsum.sh \
 ipset/get_antifilter_ipresolve.sh \
 ipset/get_reestr_resolvable_domains.sh \
 ipset/get_config.sh \
@@ -484,6 +432,7 @@ init.d/runit/zapret/finish \
 init.d/openrc/zapret \
 init.d/sysv/zapret \
 init.d/openwrt/zapret \
+init.d/openwrt-minimal/tpws/etc/init.d/tpws \
 uninstall_easy.sh \
 	; do chmod 755 "$1/$f" 2>/dev/null ; done
 }
@@ -508,7 +457,9 @@ _restore_settings()
 		# safety check
 		[ -z "$f" -o "$f" = "/" ] && continue
 
-		[ -f "/tmp/zapret-bkp-$i" ] && mv -f "/tmp/zapret-bkp-$i" "$ZAPRET_TARGET/$f" || rm -f "/tmp/zapret-bkp-$i"
+		[ -f "/tmp/zapret-bkp-$i" ] && {
+			mv -f "/tmp/zapret-bkp-$i" "$ZAPRET_TARGET/$f" || rm -f "/tmp/zapret-bkp-$i" 
+		}
 		[ -d "/tmp/zapret-bkp-$i" ] && {
 			[ -d "$ZAPRET_TARGET/$f" ] && rm -r "$ZAPRET_TARGET/$f"
 			mv -f "/tmp/zapret-bkp-$i" "$ZAPRET_TARGET/$f" || rm -r "/tmp/zapret-bkp-$i"
@@ -520,7 +471,12 @@ backup_restore_settings()
 {
 	# $1 - 1 - backup, 0 - restore
 	local mode=$1
-	on_off_function _backup_settings _restore_settings $mode "config" "init.d/sysv/custom" "init.d/sysv/custom.d" "init.d/openwrt/custom" "init.d/openwrt/custom.d" "init.d/macos/custom" "init.d/macos/custom.d" "ipset/zapret-hosts-user.txt" "ipset/zapret-hosts-user-exclude.txt" "ipset/zapret-hosts-user-ipban.txt" "ipset/zapret-hosts-auto.txt"
+	on_off_function _backup_settings _restore_settings $mode "config" "init.d/sysv/custom.d" "init.d/openwrt/custom.d" "init.d/macos/custom.d" "ipset/zapret-hosts-user.txt" "ipset/zapret-hosts-user-exclude.txt" "ipset/zapret-hosts-user-ipban.txt" "ipset/zapret-hosts-auto.txt"
+}
+
+config_is_obsolete()
+{
+	[ -f "$1" ] && grep -qE "^[[:space:]]*NFQWS_OPT_DESYNC=|^[[:space:]]*MODE_HTTP=|^[[:space:]]*MODE_HTTPS=|^[[:space:]]*MODE_QUIC=|^[[:space:]]*MODE=" "$1"
 }
 
 check_location()
@@ -528,11 +484,22 @@ check_location()
 	# $1 - copy function
 
 	echo \* checking location
-
 	# use inodes in case something is linked
 	if [ -d "$ZAPRET_TARGET" ] && [ $(get_dir_inode "$EXEDIR") = $(get_dir_inode "$ZAPRET_TARGET") ]; then
+		config_is_obsolete "$ZAPRET_CONFIG" && {
+			echo config file $ZAPRET_CONFIG is obsolete. cannot continue.
+			exitp 3
+		}
 		default_files "$ZAPRET_TARGET" "$ZAPRET_RW"
 	else
+		local obsolete=0 rwdir=0
+		config_is_obsolete "$ZAPRET_TARGET_CONFIG" && obsolete=1
+		[ $(get_dir_inode "$ZAPRET_BASE") = $(get_dir_inode "$ZAPRET_RW") ] || rwdir=1
+		[ $rwdir = 1 -a $obsolete = 1 ] && {
+                 	echo config file in custom ZAPRET_RW directory is obsolete : $ZAPRET_TARGET_CONFIG
+			echo you need to edit or delete it to continue. also check for obsolete custom scripts.
+			exitp 3
+		}
 		echo
 		echo easy install is supported only from default location : $ZAPRET_TARGET
 		echo currently its run from $EXEDIR
@@ -544,7 +511,13 @@ check_location()
 				echo directory needs to be replaced. config and custom scripts can be kept or replaced with clean version
 				if ask_yes_no N "do you want to delete all files there and copy this version"; then
 					echo
-					if [ $(get_dir_inode "$ZAPRET_BASE") = $(get_dir_inode "$ZAPRET_RW") ]; then
+					if [ $obsolete = 1 ] ; then
+						echo obsolete config is detected : $ZAPRET_TARGET_RW
+						ask_yes_no N "impossible to keep config, custom scripts and user lists. do you want to delete them ?" || {
+							echo refused to delete config in $ZAPRET_TARGET. exiting
+							exitp 3
+						}
+					elif [ $rwdir != 1 ]; then
 						ask_yes_no Y "keep config, custom scripts and user lists" && keep=Y
 						[ "$keep" = "Y" ] && backup_restore_settings 1
 					fi
@@ -752,13 +725,15 @@ deoffload_openwrt_firewall()
 		printf "system wide flow offloading detected. "
 		case $FLOWOFFLOAD in
 			donttouch)
-				if [ "$MODE" = "nfqws" ]; then
+				if [ "$NFQWS_ENABLE" = "1" ]; then
 					echo its incompatible with nfqws tcp data tampering. disabling
 					uci set firewall.@defaults[0].flow_offloading=0
 					mod=1
 				else
-					if [ "$MODE" = "custom" ] ; then
-						echo custom mode selected !!! only you can decide whether flow offloading is compatible
+					if dir_is_not_empty "$CUSTOM_DIR/custom.d" ; then
+						echo
+						echo !!! CUSTOM SCRIPTS ARE PRESENT !!! only you can decide whether flow offloading is compatible.
+						echo !!! CUSTOM SCRIPTS ARE PRESENT !!! if they use nfqws they will not work. you have to disable system-wide offloading.
 					else
 						echo its compatible with selected options. not disabling
 					fi
@@ -834,21 +809,13 @@ remove_pf_zapret_hooks()
 
 macos_fw_reload_trigger_clear()
 {
-	case "$MODE" in
-		tpws|tpws-socks|custom)
-			LISTS_RELOAD=
-			write_config_var LISTS_RELOAD
-			;;
-	esac
+	LISTS_RELOAD=
+	write_config_var LISTS_RELOAD
 }
 macos_fw_reload_trigger_set()
 {
-	case "$MODE" in
-		tpws|custom)
-			LISTS_RELOAD="$INIT_SCRIPT_SRC reload-fw-tables"
-			write_config_var LISTS_RELOAD
-			;;
-	esac
+	LISTS_RELOAD="$INIT_SCRIPT_SRC reload-fw-tables"
+	write_config_var LISTS_RELOAD
 }
 
 install_macos()

ipset/get_refilter_domains.sh

@@ -0,0 +1,42 @@
+#!/bin/sh
+
+IPSET_DIR="$(dirname "$0")"
+IPSET_DIR="$(cd "$IPSET_DIR"; pwd)"
+
+. "$IPSET_DIR/def.sh"
+
+TMPLIST="$TMPDIR/list.txt"
+
+URL="https://github.com/1andrevich/Re-filter-lists/releases/latest/download/domains_all.lst"
+
+dl()
+{
+  # $1 - url
+  # $2 - file
+  # $3 - minsize
+  # $4 - maxsize
+  curl -L -H "Accept-Encoding: gzip" -k --fail --max-time 60 --connect-timeout 10 --retry 4 --max-filesize $4 -o "$TMPLIST" "$1" ||
+  {
+   echo list download failed : $1
+   exit 2
+  }
+  dlsize=$(LANG=C wc -c "$TMPLIST" | xargs | cut -f 1 -d ' ')
+  if test $dlsize -lt $3; then
+   echo list is too small : $dlsize bytes. can be bad.
+   exit 2
+  fi
+  zzcat "$TMPLIST" | tr -d '\015' | zz "$2"
+  rm -f "$TMPLIST"
+}
+
+# useful in case ipban set is used in custom scripts
+FAIL=
+getipban || FAIL=1
+"$IPSET_DIR/create_ipset.sh"
+[ -n "$FAIL" ] && exit
+
+dl "$URL" "$ZHOSTLIST" 32768 4194304
+
+hup_zapret_daemons
+
+exit 0

ipset/get_refilter_ipsum.sh

@@ -0,0 +1,39 @@
+#!/bin/sh
+
+IPSET_DIR="$(dirname "$0")"
+IPSET_DIR="$(cd "$IPSET_DIR"; pwd)"
+
+. "$IPSET_DIR/def.sh"
+
+TMPLIST="$TMPDIR/list.txt"
+
+URL="https://github.com/1andrevich/Re-filter-lists/releases/latest/download/ipsum.lst"
+
+dl()
+{
+  # $1 - url
+  # $2 - file
+  # $3 - minsize
+  # $4 - maxsize
+  curl -L -H "Accept-Encoding: gzip" -k --fail --max-time 60 --connect-timeout 10 --retry 4 --max-filesize $4 -o "$TMPLIST" "$1" ||
+  {
+   echo list download failed : $1
+   exit 2
+  }
+  dlsize=$(LANG=C wc -c "$TMPLIST" | xargs | cut -f 1 -d ' ')
+  if test $dlsize -lt $3; then
+   echo list is too small : $dlsize bytes. can be bad.
+   exit 2
+  fi
+  # remove DOS EOL \r
+  zzcat "$TMPLIST" | tr -d '\015' | zz "$2"
+  rm -f "$TMPLIST"
+}
+
+getuser && {
+ [ "$DISABLE_IPV4" != "1" ] && {
+ 	dl "$URL" "$ZIPLIST" 32768 4194304
+ }
+}
+
+"$IPSET_DIR/create_ipset.sh"

nfq/Makefile

@@ -5,7 +5,11 @@ CFLAGS_MAC = -mmacosx-version-min=10.8
 CFLAGS_CYGWIN = -Wno-address-of-packed-member -static
 LIBS_LINUX = -lnetfilter_queue -lnfnetlink -lz
 LIBS_BSD = -lz
-LIBS_CYGWIN = -lz -Lwindivert -lwindivert -lwlanapi -lole32 -loleaut32 -luuid
+LIBS_CYGWIN = -lz -Lwindows/windivert -Iwindows -lwlanapi -lole32 -loleaut32 -luuid
+LIBS_CYGWIN32 = -lwindivert32
+LIBS_CYGWIN64 = -lwindivert64
+RES_CYGWIN32 = windows/res/32/winmanifest.o windows/res/32/winicon.o
+RES_CYGWIN64 = windows/res/64/winmanifest.o windows/res/64/winicon.o
 SRC_FILES = *.c crypto/*.c
 
 all: nfqws
@@ -23,8 +27,11 @@ mac: $(SRC_FILES)
 	lipo -create -output dvtws dvtwsx dvtwsa
 	rm -f dvtwsx dvtwsa
 
-cygwin:
-	$(CC) -s $(CFLAGS) $(CFLAGS_CYGWIN) -o winws $(SRC_FILES) $(LDFLAGS) $(LIBS_CYGWIN) winmanifest.o winicon.o
+cygwin64:
+	$(CC) -s $(CFLAGS) $(CFLAGS_CYGWIN) -o winws $(SRC_FILES) $(LDFLAGS) $(LIBS_CYGWIN) $(LIBS_CYGWIN64) $(RES_CYGWIN64)
+cygwin32:
+	$(CC) -s $(CFLAGS) $(CFLAGS_CYGWIN) -o winws $(SRC_FILES) $(LDFLAGS) $(LIBS_CYGWIN) $(LIBS_CYGWIN32) $(RES_CYGWIN32)
+cygwin: cygwin64
 
 clean:
 	rm -f nfqws dvtws winws.exe

nfq/conntrack.c

@@ -12,6 +12,29 @@ static void ut_oom_recover(void *elem)
 	oom = true;
 }
 
+const char *l7proto_str(t_l7proto l7)
+{
+	switch(l7)
+	{
+		case HTTP: return "http";
+		case TLS: return "tls";
+		case QUIC: return "quic";
+		case WIREGUARD: return "wireguard";
+		case DHT: return "dht";
+		default: return "unknown";
+	}
+}
+bool l7_proto_match(t_l7proto l7proto, uint32_t filter_l7)
+{
+	return  (l7proto==UNKNOWN && (filter_l7 & L7_PROTO_UNKNOWN)) ||
+		(l7proto==HTTP && (filter_l7 & L7_PROTO_HTTP)) ||
+		(l7proto==TLS && (filter_l7 & L7_PROTO_TLS)) ||
+		(l7proto==QUIC && (filter_l7 & L7_PROTO_QUIC)) ||
+		(l7proto==WIREGUARD && (filter_l7 & L7_PROTO_WIREGUARD)) ||
+		(l7proto==DHT && (filter_l7 & L7_PROTO_DHT));
+}
+
+
 static const char *connstate_s[]={"SYN","ESTABLISHED","FIN"};
 
 static void connswap(const t_conn *c, t_conn *c2)
@@ -316,18 +339,6 @@ static void taddr2str(uint8_t l3proto, const t_addr *a, char *buf, size_t bufsiz
 	if (!inet_ntop(family_from_proto(l3proto), a, buf, bufsize) && bufsize) *buf=0;
 }
 
-static const char *ConntrackProtoName(t_l7proto proto)
-{
-	switch(proto)
-	{
-		case HTTP: return "HTTP";
-		case TLS: return "TLS";
-		case QUIC: return "QUIC";
-		case WIREGUARD: return "WIREGUARD";
-		case DHT: return "DHT";
-		default: return "UNKNOWN";
-	}
-}
 void ConntrackPoolDump(const t_conntrack *p)
 {
 	t_conntrack_pool *t, *tmp;
@@ -354,7 +365,7 @@ void ConntrackPoolDump(const t_conntrack *p)
 				t->track.seq_last, t->track.pos_orig,
 				t->track.ack_last, t->track.pos_reply);
 		printf(" req_retrans=%u cutoff=%u wss_cutoff=%u d_cutoff=%u hostname=%s l7proto=%s\n",
-			t->track.req_retrans_counter, t->track.b_cutoff, t->track.b_wssize_cutoff, t->track.b_desync_cutoff, t->track.hostname, ConntrackProtoName(t->track.l7proto));
+			t->track.req_retrans_counter, t->track.b_cutoff, t->track.b_wssize_cutoff, t->track.b_desync_cutoff, t->track.hostname, l7proto_str(t->track.l7proto));
 	};
 }
 

nfq/conntrack.h

@@ -52,12 +52,23 @@ typedef struct {
 // ESTABLISHED - any except SYN or SYN/ACK received
 // FIN - FIN or RST received
 typedef enum {SYN=0, ESTABLISHED, FIN} t_connstate;
+
 typedef enum {UNKNOWN=0, HTTP, TLS, QUIC, WIREGUARD, DHT} t_l7proto;
+#define L7_PROTO_HTTP		0x00000001
+#define L7_PROTO_TLS		0x00000002
+#define L7_PROTO_QUIC		0x00000004
+#define L7_PROTO_WIREGUARD	0x00000008
+#define L7_PROTO_DHT		0x00000010
+#define L7_PROTO_UNKNOWN	0x80000000
+const char *l7proto_str(t_l7proto l7);
+bool l7_proto_match(t_l7proto l7proto, uint32_t filter_l7);
+
 typedef struct
 {
+	bool bCheckDone, bCheckResult, bCheckExcluded; // hostlist check result cache
+
 	struct desync_profile *dp;		// desync profile cache
 	bool dp_search_complete;
-	bool bCheckDone, bCheckResult, bCheckExcluded; // hostlist check result cache
 
 	// common state
 	time_t t_start, t_last;
@@ -76,12 +87,13 @@ typedef struct
 	bool req_seq_present,req_seq_finalized,req_seq_abandoned;
 	uint32_t req_seq_start,req_seq_end;	// sequence interval of the request (to track retransmissions)
 
-	uint8_t autottl;
+	uint8_t incoming_ttl, autottl;
 
 	bool b_cutoff;				// mark for deletion
 	bool b_wssize_cutoff, b_desync_cutoff;
 
 	t_l7proto l7proto;
+	bool l7proto_discovered;
 	char *hostname;
 	bool hostname_ah_check;			// should perform autohostlist checks
 	

nfq/darkmagic.c

@@ -22,6 +22,11 @@
 #ifdef __CYGWIN__
 #include <wlanapi.h>
 #include <netlistmgr.h>
+
+#ifndef ERROR_INVALID_IMAGE_HASH
+#define ERROR_INVALID_IMAGE_HASH __MSABI_LONG(577)
+#endif
+
 #endif
 
 uint32_t net32_add(uint32_t netorder_value, uint32_t cpuorder_increment)

nfq/desync.c

@@ -5,6 +5,7 @@
 #include "params.h"
 #include "helpers.h"
 #include "hostlist.h"
+#include "ipset.h"
 #include "conntrack.h"
 
 #include <string.h>
@@ -145,20 +146,32 @@ enum dpi_desync_mode desync_mode_from_string(const char *s)
 	return DESYNC_INVALID;
 }
 
-static bool dp_match_l3l4(struct desync_profile *dp, bool ipv6, uint16_t tcp_port, uint16_t udp_port)
+static bool dp_match_l3l4(struct desync_profile *dp, uint8_t l3proto, const struct sockaddr *dest)
 {
-	return \
-		((!ipv6 && dp->filter_ipv4) || (ipv6 && dp->filter_ipv6)) &&
-		(!tcp_port || pf_in_range(tcp_port,&dp->pf_tcp)) &&
-		(!udp_port || pf_in_range(udp_port,&dp->pf_udp));
+	return  ((dest->sa_family==AF_INET && dp->filter_ipv4) || (dest->sa_family==AF_INET6 && dp->filter_ipv6)) &&
+		(l3proto==IPPROTO_TCP && pf_in_range(saport(dest), &dp->pf_tcp) || l3proto==IPPROTO_UDP && pf_in_range(saport(dest), &dp->pf_udp)) &&
+		IpsetCheck(dp, dest->sa_family==AF_INET ? &((struct sockaddr_in*)dest)->sin_addr : NULL, dest->sa_family==AF_INET6 ? &((struct sockaddr_in6*)dest)->sin6_addr : NULL);
 }
+static bool dp_impossible(struct desync_profile *dp, const char *hostname, t_l7proto l7proto)
+{
+	return	!PROFILE_IPSETS_EMPTY(dp) &&
+		((dp->filter_l7 && !l7_proto_match(l7proto, dp->filter_l7)) || (!*dp->hostlist_auto_filename && !hostname && (dp->hostlist || dp->hostlist_exclude)));
+}
+
 static bool dp_match(
-	struct desync_profile *dp, bool ipv6, uint16_t tcp_port, uint16_t udp_port, const char *hostname,
+	struct desync_profile *dp,
+	uint8_t l3proto, const struct sockaddr *dest, const char *hostname, t_l7proto l7proto,
 	bool *bCheckDone, bool *bCheckResult, bool *bExcluded)
 {
 	if (bCheckDone) *bCheckDone = false;
-	if (dp_match_l3l4(dp,ipv6,tcp_port,udp_port))
+	// impossible case, hard filter
+	// impossible check avoids relatively slow ipset search
+	if (!dp_impossible(dp,hostname,l7proto) && dp_match_l3l4(dp,l3proto,dest))
 	{
+		// soft filter
+		if (dp->filter_l7 && !l7_proto_match(l7proto, dp->filter_l7))
+			return false;
+
 		// autohostlist profile matching l3/l4 filter always win
 		if (*dp->hostlist_auto_filename) return true;
 
@@ -181,15 +194,21 @@ static bool dp_match(
 	return false;
 }
 static struct desync_profile *dp_find(
-	struct desync_profile_list_head *head, bool ipv6, uint16_t tcp_port, uint16_t udp_port, const char *hostname,
+	struct desync_profile_list_head *head,
+	uint8_t l3proto, const struct sockaddr *dest, const char *hostname, t_l7proto l7proto,
 	bool *bCheckDone, bool *bCheckResult, bool *bExcluded)
 {
 	struct desync_profile_list *dpl;
-	DLOG("desync profile search for hostname='%s' ipv6=%u tcp_port=%u udp_port=%u\n", hostname ? hostname : "", ipv6, tcp_port, udp_port);
+	if (params.debug)
+	{
+		char ip_port[48];
+		ntop46_port(dest, ip_port,sizeof(ip_port));
+		DLOG("desync profile search for %s target=%s l7proto=%s hostname='%s'\n", proto_name(l3proto), ip_port, l7proto_str(l7proto), hostname ? hostname : "");
+	}
 	if (bCheckDone) *bCheckDone = false;
 	LIST_FOREACH(dpl, head, next)
 	{
-		if (dp_match(&dpl->dp,ipv6,tcp_port,udp_port,hostname,bCheckDone,bCheckResult,bExcluded))
+		if (dp_match(&dpl->dp,l3proto,dest,hostname,l7proto,bCheckDone,bCheckResult,bExcluded))
 		{
 			DLOG("desync profile %d matches\n",dpl->dp.n);
 			return &dpl->dp;
@@ -272,7 +291,7 @@ static void ctrack_stop_retrans_counter(t_ctrack *ctrack)
 	}
 }
 
-static void auto_hostlist_reset_fail_counter(struct desync_profile *dp, const char *hostname)
+static void auto_hostlist_reset_fail_counter(struct desync_profile *dp, const char *hostname, const char *client_ip_port, t_l7proto l7proto)
 {
 	if (hostname)
 	{
@@ -283,13 +302,13 @@ static void auto_hostlist_reset_fail_counter(struct desync_profile *dp, const ch
 		{
 			HostFailPoolDel(&dp->hostlist_auto_fail_counters, fail_counter);
 			DLOG("auto hostlist (profile %d) : %s : fail counter reset. website is working.\n", dp->n, hostname);
-			HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : fail counter reset. website is working.", hostname, dp->n);
+			HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : client %s : proto %s : fail counter reset. website is working.", hostname, dp->n, client_ip_port, l7proto_str(l7proto));
 		}
 	}
 }
 
 // return true if retrans trigger fires
-static bool auto_hostlist_retrans(t_ctrack *ctrack, uint8_t l4proto, int threshold)
+static bool auto_hostlist_retrans(t_ctrack *ctrack, uint8_t l4proto, int threshold, const char *client_ip_port, t_l7proto l7proto)
 {
 	if (ctrack && ctrack->dp && ctrack->hostname_ah_check && ctrack->req_retrans_counter!=RETRANS_COUNTER_STOP)
 	{
@@ -301,7 +320,7 @@ static bool auto_hostlist_retrans(t_ctrack *ctrack, uint8_t l4proto, int thresho
 			{
 				DLOG("req retrans : tcp seq %u not within the req range %u-%u. stop tracking.\n", ctrack->seq_last, ctrack->req_seq_start, ctrack->req_seq_end);
 				ctrack_stop_retrans_counter(ctrack);
-				auto_hostlist_reset_fail_counter(ctrack->dp, ctrack->hostname);
+				auto_hostlist_reset_fail_counter(ctrack->dp, ctrack->hostname, client_ip_port, l7proto);
 				return false;
 			}
 		}
@@ -316,7 +335,7 @@ static bool auto_hostlist_retrans(t_ctrack *ctrack, uint8_t l4proto, int thresho
 	}
 	return false;
 }
-static void auto_hostlist_failed(struct desync_profile *dp, const char *hostname)
+static void auto_hostlist_failed(struct desync_profile *dp, const char *hostname, const char *client_ip_port, t_l7proto l7proto)
 {
 	hostfail_pool *fail_counter;
 	
@@ -326,13 +345,13 @@ static void auto_hostlist_failed(struct desync_profile *dp, const char *hostname
 		fail_counter = HostFailPoolAdd(&dp->hostlist_auto_fail_counters, hostname, dp->hostlist_auto_fail_time);
 		if (!fail_counter)
 		{
-			fprintf(stderr, "HostFailPoolAdd: out of memory\n");
+			DLOG_ERR("HostFailPoolAdd: out of memory\n");
 			return;
 		}
 	}
 	fail_counter->counter++;
 	DLOG("auto hostlist (profile %d) : %s : fail counter %d/%d\n", dp->n, hostname, fail_counter->counter, dp->hostlist_auto_fail_threshold);
-	HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : fail counter %d/%d", hostname, dp->n, fail_counter->counter, dp->hostlist_auto_fail_threshold);
+	HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : client %s : proto %s : fail counter %d/%d", hostname, dp->n, client_ip_port, l7proto_str(l7proto), fail_counter->counter, dp->hostlist_auto_fail_threshold);
 	if (fail_counter->counter >= dp->hostlist_auto_fail_threshold)
 	{
 		DLOG("auto hostlist (profile %d) : fail threshold reached. about to add %s to auto hostlist\n", dp->n, hostname);
@@ -343,10 +362,10 @@ static void auto_hostlist_failed(struct desync_profile *dp, const char *hostname
 		if (!HostlistCheck(dp, hostname, &bExcluded) && !bExcluded)
 		{
 			DLOG("auto hostlist (profile %d) : adding %s to %s\n", dp->n, hostname, dp->hostlist_auto_filename);
-			HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : adding to %s", hostname, dp->n, dp->hostlist_auto_filename);
+			HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : client %s : proto %s : adding to %s", hostname, dp->n, client_ip_port, l7proto_str(l7proto), dp->hostlist_auto_filename);
 			if (!StrPoolAddStr(&dp->hostlist, hostname))
 			{
-				fprintf(stderr, "StrPoolAddStr out of memory\n");
+				DLOG_ERR("StrPoolAddStr out of memory\n");
 				return;
 			}
 			if (!append_to_list_file(dp->hostlist_auto_filename, hostname))
@@ -359,17 +378,22 @@ static void auto_hostlist_failed(struct desync_profile *dp, const char *hostname
 		else
 		{
 			DLOG("auto hostlist (profile %d) : NOT adding %s\n", dp->n, hostname);
-			HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : NOT adding, duplicate detected", hostname, dp->n);
+			HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : client %s : proto %s : NOT adding, duplicate detected", hostname, dp->n, client_ip_port, l7proto_str(l7proto));
 		}
 	}
 }
 
-static void process_retrans_fail(t_ctrack *ctrack, uint8_t proto)
+static void process_retrans_fail(t_ctrack *ctrack, uint8_t proto, const struct sockaddr *client)
 {
-	if (ctrack && ctrack->dp && ctrack->hostname && auto_hostlist_retrans(ctrack, proto, ctrack->dp->hostlist_auto_retrans_threshold))
+	char client_ip_port[48];
+	if (*params.hostlist_auto_debuglog)
+		ntop46_port((struct sockaddr*)client,client_ip_port,sizeof(client_ip_port));
+	else
+		*client_ip_port=0;
+	if (ctrack && ctrack->dp && ctrack->hostname && auto_hostlist_retrans(ctrack, proto, ctrack->dp->hostlist_auto_retrans_threshold, client_ip_port, ctrack->l7proto))
 	{
-		HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : tcp retrans threshold reached", ctrack->hostname, ctrack->dp->n);
-		auto_hostlist_failed(ctrack->dp, ctrack->hostname);
+		HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : client %s : proto %s : retrans threshold reached", ctrack->hostname, ctrack->dp->n, client_ip_port, l7proto_str(ctrack->l7proto));
+		auto_hostlist_failed(ctrack->dp, ctrack->hostname, client_ip_port, ctrack->l7proto);
 	}
 }
 
@@ -575,6 +599,23 @@ static size_t pos_normalize(size_t split_pos, size_t reasm_offset, size_t len_pa
 	return split_pos;
 }
 
+static void autottl_discover(t_ctrack *ctrack, bool bIpv6)
+{
+	if (ctrack && ctrack->incoming_ttl)
+	{
+		autottl *attl = bIpv6 ? &ctrack->dp->desync_autottl6 : &ctrack->dp->desync_autottl;
+		if (AUTOTTL_ENABLED(*attl))
+		{
+			ctrack->autottl = autottl_guess(ctrack->incoming_ttl, attl);
+			if (ctrack->autottl)
+				DLOG("autottl: guessed %u\n",ctrack->autottl);
+			else
+				DLOG("autottl: could not guess\n");
+		}
+		else
+			ctrack->autottl = 0;
+	}
+}
 
 static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint32_t fwmark, const char *ifout, uint8_t *data_pkt, size_t *len_pkt, struct ip *ip, struct ip6_hdr *ip6hdr, struct tcphdr *tcphdr, size_t transport_len, uint8_t *data_payload, size_t len_payload)
 {
@@ -593,10 +634,10 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 	size_t pkt1_len, pkt2_len;
 	uint8_t ttl_orig,ttl_fake,flags_orig,scale_factor;
 	uint32_t *timestamps;
-	t_l7proto l7proto = UNKNOWN;
 
 	ttl_orig = ip ? ip->ip_ttl : ip6hdr->ip6_ctlun.ip6_un1.ip6_un1_hlim;
 	uint32_t desync_fwmark = fwmark | params.desync_fwmark;
+	extract_endpoints(ip, ip6hdr, tcphdr, NULL, &src, &dst);
 	
 	if (replay)
 	{
@@ -611,10 +652,9 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 			DLOG("using cached desync profile %d\n",dp->n);
 		else if (!ctrack_replay->dp_search_complete)
 		{
-			dp = ctrack_replay->dp = dp_find(&params.desync_profiles, !!ip6hdr, ntohs(bReverse ? tcphdr->th_sport : tcphdr->th_dport), 0, ctrack_replay->hostname, NULL, NULL, NULL);
+			dp = ctrack_replay->dp = dp_find(&params.desync_profiles, IPPROTO_TCP, (struct sockaddr *)&dst, ctrack_replay->hostname, ctrack_replay->l7proto, NULL, NULL, NULL);
 			ctrack_replay->dp_search_complete = true;
 		}
-
 		if (!dp)
 		{
 			DLOG("matching desync profile not found\n");
@@ -635,7 +675,7 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 			DLOG("using cached desync profile %d\n",dp->n);
 		else if (!ctrack || !ctrack->dp_search_complete)
 		{
-			dp = dp_find(&params.desync_profiles, !!ip6hdr, ntohs(bReverse ? tcphdr->th_sport : tcphdr->th_dport), 0, ctrack ? ctrack->hostname : NULL, NULL, NULL, NULL);
+			dp = dp_find(&params.desync_profiles, IPPROTO_TCP, (struct sockaddr *)&dst, ctrack ? ctrack->hostname : NULL, ctrack ? ctrack->l7proto : UNKNOWN, NULL, NULL, NULL);
 			if (ctrack)
 			{
 				ctrack->dp = dp;
@@ -661,17 +701,14 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 
 		if (bReverse)
 		{
-			if (ctrack && !ctrack->autottl && ctrack->pcounter_reply==1)
+			if (ctrack)
 			{
-				autottl *attl = ip ? &dp->desync_autottl : &dp->desync_autottl6;
-				if (AUTOTTL_ENABLED(*attl))
+				if (!ctrack->incoming_ttl)
 				{
-					ctrack->autottl = autottl_guess(ttl_orig, attl);
-					if (ctrack->autottl)
-						DLOG("autottl: guessed %u\n",ctrack->autottl);
-					else
-						DLOG("autottl: could not guess\n");
+					DLOG("incoming TTL %u\n",ttl_orig);
+					ctrack->incoming_ttl = ttl_orig;
 				}
+				if (!ctrack->autottl) autottl_discover(ctrack,!!ip6hdr);
 			}
 
 			// process reply packets for auto hostlist mode
@@ -680,10 +717,17 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 			if (ctrack && ctrack->hostname && ctrack->hostname_ah_check && (ctrack->ack_last-ctrack->ack0)==1)
 			{
 				bool bFail=false;
+
+				char client_ip_port[48];
+				if (*params.hostlist_auto_debuglog)
+					ntop46_port((struct sockaddr*)&dst,client_ip_port,sizeof(client_ip_port));
+				else
+					*client_ip_port=0;
+
 				if (tcphdr->th_flags & TH_RST)
 				{
 					DLOG("incoming RST detected for hostname %s\n", ctrack->hostname);
-					HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : incoming RST", ctrack->hostname, ctrack->dp->n);
+					HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : client %s : proto %s : incoming RST", ctrack->hostname, ctrack->dp->n, client_ip_port, l7proto_str(ctrack->l7proto));
 					bFail = true;
 				}
 				else if (len_payload && ctrack->l7proto==HTTP)
@@ -695,7 +739,7 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 						if (bFail)
 						{
 							DLOG("redirect to another domain detected. possibly DPI redirect.\n");
-							HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : redirect to another domain", ctrack->hostname, ctrack->dp->n);
+							HOSTLIST_DEBUGLOG_APPEND("%s : profile %d : client %s : proto %s : redirect to another domain", ctrack->hostname, ctrack->dp->n, client_ip_port, l7proto_str(ctrack->l7proto));
 						}
 						else
 							DLOG("local or in-domain redirect detected. it's not a DPI redirect.\n");
@@ -707,10 +751,10 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 					}
 				}
 				if (bFail)
-					auto_hostlist_failed(dp, ctrack->hostname);
+					auto_hostlist_failed(dp, ctrack->hostname, client_ip_port, ctrack->l7proto);
 				else
 					if (len_payload)
-						auto_hostlist_reset_fail_counter(dp, ctrack->hostname);
+						auto_hostlist_reset_fail_counter(dp, ctrack->hostname, client_ip_port, ctrack->l7proto);
 				if (tcphdr->th_flags & TH_RST)
 					ConntrackClearHostname(ctrack); // do not react to further dup RSTs
 			}
@@ -744,10 +788,12 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 	flags_orig = *((uint8_t*)tcphdr+13);
 	scale_factor = tcp_find_scale_factor(tcphdr);
 	timestamps = tcp_find_timestamps(tcphdr);
-	extract_endpoints(ip, ip6hdr, tcphdr, NULL, &src, &dst);
 
 	if (!replay)
 	{
+		// start and cutoff limiters
+		if (!process_desync_interval(dp, ctrack)) return verdict;
+
 		if (tcp_syn_segment(tcphdr))
 		{
 			switch (dp->desync_mode0)
@@ -797,8 +843,6 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 			return verdict;
 		}
 
-		// start and cutoff limiters
-		if (!process_desync_interval(dp, ctrack)) return verdict;
 	} // !replay
 	
 	if (!(tcphdr->th_flags & TH_SYN) && len_payload)
@@ -811,6 +855,7 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 		const uint8_t *rdata_payload = data_payload;
 		size_t rlen_payload = len_payload;
 		size_t split_pos;
+		t_l7proto l7proto = UNKNOWN;
 
 		if (replay)
 		{
@@ -823,13 +868,13 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 			rlen_payload = ctrack->reasm_orig.size_present;
 		}
 
-		process_retrans_fail(ctrack, IPPROTO_TCP);
+		process_retrans_fail(ctrack, IPPROTO_TCP, (struct sockaddr*)&src);
 
 		if (IsHttp(rdata_payload,rlen_payload))
 		{
 			DLOG("packet contains HTTP request\n");
 			l7proto = HTTP;
-			if (ctrack && !ctrack->l7proto) ctrack->l7proto = l7proto;
+			if (ctrack && ctrack->l7proto==UNKNOWN) ctrack->l7proto = l7proto;
 
 			// we do not reassemble http
 			reasm_orig_cancel(ctrack);
@@ -874,7 +919,6 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 						reasm_orig_cancel(ctrack);
 						return verdict;
 					}
-					
 				}
 				if (!ctrack->req_seq_finalized)
 				{
@@ -901,7 +945,7 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 					}
 					else
 					{
-						fprintf(stderr, "rawpacket_queue failed !'\n");
+						DLOG_ERR("rawpacket_queue failed !\n");
 						reasm_orig_cancel(ctrack);
 						return verdict;
 					}
@@ -929,70 +973,97 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 			if (dseq>=0x1000000 && !(dseq & 0x80000000)) ctrack->req_seq_abandoned=true;
 		}
 
-		if (bHaveHost)
+		if (bHaveHost) DLOG("hostname: %s\n",host);
+
+		bool bDiscoveredL7;
+		if (ctrack_replay)
 		{
-			bool bCheckDone=false, bCheckResult=false, bCheckExcluded=false;
-			DLOG("hostname: %s\n",host);
+			bDiscoveredL7 = !ctrack_replay->l7proto_discovered && ctrack_replay->l7proto!=UNKNOWN;
+			ctrack_replay->l7proto_discovered=true;
+		}
+		else
+			bDiscoveredL7 = !ctrack_replay && l7proto!=UNKNOWN;
+		if (bDiscoveredL7) DLOG("discovered l7 protocol\n");
+
+		bool bDiscoveredHostname = bHaveHost && !(ctrack_replay && ctrack_replay->hostname);
+		if (bDiscoveredHostname)
+		{
+			DLOG("discovered hostname\n");
 			if (ctrack_replay)
 			{
+				ctrack_replay->hostname=strdup(host);
 				if (!ctrack_replay->hostname)
 				{
-					ctrack_replay->hostname=strdup(host);
-					if (!ctrack_replay->hostname)
-					{
-						DLOG_ERR("hostname dup : out of memory");
-						reasm_orig_cancel(ctrack);
-						return verdict;
-					}
-					DLOG("we have hostname now. searching desync profile again.\n");
-					struct desync_profile *dp_prev = dp;
-					dp = ctrack_replay->dp = dp_find(&params.desync_profiles, !!ip6hdr, ntohs(bReverse ? tcphdr->th_sport : tcphdr->th_dport), 0, ctrack_replay->hostname, &ctrack_replay->bCheckDone, &ctrack_replay->bCheckResult, &ctrack_replay->bCheckExcluded);
-					ctrack_replay->dp_search_complete = true;
-					if (!dp)
-					{
-						reasm_orig_cancel(ctrack);
-						return verdict;
-					}
-					if (dp!=dp_prev)
-					{
-						DLOG("desync profile changed by revealed hostname !\n");
-						// re-evaluate start/cutoff limiters
-						if (!replay)
-						{
-							maybe_cutoff(ctrack, IPPROTO_TCP);
-							if (!process_desync_interval(dp, ctrack))
-							{
-								reasm_orig_cancel(ctrack);
-								return verdict;
-							}
-						}
-					}
-				}
-				bCheckDone = ctrack_replay->bCheckDone;
-				bCheckResult = ctrack_replay->bCheckResult;
-				bCheckExcluded = ctrack_replay->bCheckExcluded;
-			}
-			if (dp->hostlist || dp->hostlist_exclude)
-			{
-				if (!bCheckDone)
-					bCheckResult = HostlistCheck(dp, host, &bCheckExcluded);
-				if (bCheckResult)
-					ctrack_stop_retrans_counter(ctrack_replay);
-				else
-				{
-					if (ctrack_replay)
-					{
-						ctrack_replay->hostname_ah_check = *dp->hostlist_auto_filename && !bCheckExcluded;
-						if (!ctrack_replay->hostname_ah_check)
-							ctrack_stop_retrans_counter(ctrack_replay);
-					}
-					DLOG("not applying tampering to this request\n");
+					DLOG_ERR("hostname dup : out of memory");
 					reasm_orig_cancel(ctrack);
 					return verdict;
 				}
 			}
 		}
 
+		bool bCheckDone=false, bCheckResult=false, bCheckExcluded=false;
+		if (bDiscoveredL7 || bDiscoveredHostname)
+		{
+			struct desync_profile *dp_prev = dp;
+
+			dp = dp_find(&params.desync_profiles, IPPROTO_TCP, (struct sockaddr *)&dst, ctrack_replay ? ctrack_replay->hostname : host, ctrack_replay ? ctrack_replay->l7proto : l7proto, &bCheckDone, &bCheckResult, &bCheckExcluded);
+			if (ctrack_replay)
+			{
+				ctrack_replay->dp = dp;
+				ctrack_replay->dp_search_complete = true;
+				ctrack_replay->bCheckDone = bCheckDone;
+				ctrack_replay->bCheckResult = bCheckResult;
+				ctrack_replay->bCheckExcluded = bCheckExcluded;
+			}
+			if (!dp)
+			{
+				reasm_orig_cancel(ctrack);
+				return verdict;
+			}
+			if (dp!=dp_prev)
+			{
+				DLOG("desync profile changed by revealed l7 protocol or hostname !\n");
+				// rediscover autottl
+				autottl_discover(ctrack_replay,!!ip6hdr);
+				// re-evaluate start/cutoff limiters
+				if (!replay)
+				{
+					maybe_cutoff(ctrack, IPPROTO_TCP);
+					if (!process_desync_interval(dp, ctrack))
+					{
+						reasm_orig_cancel(ctrack);
+						return verdict;
+					}
+				}
+			}
+		}
+		else if (ctrack_replay)
+		{
+			bCheckDone = ctrack_replay->bCheckDone;
+			bCheckResult = ctrack_replay->bCheckResult;
+			bCheckExcluded = ctrack_replay->bCheckExcluded;
+		}
+
+		if (bHaveHost && (dp->hostlist || dp->hostlist_exclude))
+		{
+			if (!bCheckDone)
+				bCheckResult = HostlistCheck(dp, host, &bCheckExcluded);
+			if (bCheckResult)
+				ctrack_stop_retrans_counter(ctrack_replay);
+			else
+			{
+				if (ctrack_replay)
+				{
+					ctrack_replay->hostname_ah_check = *dp->hostlist_auto_filename && !bCheckExcluded;
+					if (!ctrack_replay->hostname_ah_check)
+						ctrack_stop_retrans_counter(ctrack_replay);
+				}
+				DLOG("not applying tampering to this request\n");
+				reasm_orig_cancel(ctrack);
+				return verdict;
+			}
+		}
+
 		// desync profile may have changed after hostname was revealed
 		switch(l7proto)
 		{
@@ -1019,24 +1090,28 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 
 		if (l7proto==UNKNOWN)
 		{
-			if (!dp->desync_any_proto) return verdict;
+			if (!dp->desync_any_proto)
+			{
+				DLOG("not applying tampering to unknown protocol\n");
+				return verdict;
+			}
 			DLOG("applying tampering to unknown protocol\n");
 		}
 
 		ttl_fake = (ctrack_replay && ctrack_replay->autottl) ? ctrack_replay->autottl : (ip6hdr ? (dp->desync_ttl6 ? dp->desync_ttl6 : ttl_orig) : (dp->desync_ttl ? dp->desync_ttl : ttl_orig));
 
-		if ((l7proto == HTTP) && (dp->hostcase || dp->hostnospace || dp->domcase) && (phost = (uint8_t*)memmem(data_payload, len_payload, "\r\nHost: ", 8)))
+		if ((l7proto == HTTP) && (dp->hostcase || dp->hostnospace || dp->domcase) && HttpFindHost(&phost,data_payload,len_payload))
 		{
 			if (dp->hostcase)
 			{
 				DLOG("modifying Host: => %c%c%c%c:\n", dp->hostspell[0], dp->hostspell[1], dp->hostspell[2], dp->hostspell[3]);
-				memcpy(phost + 2, dp->hostspell, 4);
+				memcpy(phost, dp->hostspell, 4);
 				verdict=VERDICT_MODIFY;
 			}
 			if (dp->domcase)
 			{
 				DLOG("mixing domain case\n");
-				for (p = phost+7; p < (data_payload + len_payload) && *p != '\r' && *p != '\n'; p++)
+				for (p = phost+5; p < (data_payload + len_payload) && *p != '\r' && *p != '\n'; p++)
 					*p = (((size_t)p) & 1) ? tolower(*p) : toupper(*p);
 				verdict=VERDICT_MODIFY;
 			}
@@ -1048,12 +1123,12 @@ static uint8_t dpi_desync_tcp_packet_play(bool replay, size_t reasm_offset, uint
 				DLOG("removing space after Host: and adding it to User-Agent:\n");
 				if (pua > phost)
 				{
-					memmove(phost + 7, phost + 8, pua - phost - 8);
-					phost[pua - phost - 1] = ' ';
+					memmove(phost + 5, phost + 6, pua - phost - 6);
+					pua[-1]=' ';
 				}
 				else
 				{
-					memmove(pua + 1, pua, phost - pua + 7);
+					memmove(pua + 1, pua, phost - pua + 5);
 					*pua = ' ';
 				}
 				verdict=VERDICT_MODIFY;
@@ -1404,6 +1479,9 @@ static uint8_t dpi_desync_udp_packet_play(bool replay, size_t reasm_offset, uint
 	uint8_t ttl_orig,ttl_fake;
 	t_l7proto l7proto = UNKNOWN;
 
+	ttl_orig = ip ? ip->ip_ttl : ip6hdr->ip6_ctlun.ip6_un1.ip6_un1_hlim;
+	extract_endpoints(ip, ip6hdr, NULL, udphdr, &src, &dst);
+
 	if (replay)
 	{
 		// in replay mode conntrack_replay is not NULL and ctrack is NULL
@@ -1417,7 +1495,7 @@ static uint8_t dpi_desync_udp_packet_play(bool replay, size_t reasm_offset, uint
 			DLOG("using cached desync profile %d\n",dp->n);
 		else if (!ctrack_replay->dp_search_complete)
 		{
-			dp = ctrack_replay->dp = dp_find(&params.desync_profiles, !!ip6hdr, 0, ntohs(bReverse ? udphdr->uh_sport : udphdr->uh_dport), ctrack_replay->hostname, NULL, NULL, NULL);
+			dp = ctrack_replay->dp = dp_find(&params.desync_profiles, IPPROTO_UDP, (struct sockaddr *)&dst, ctrack_replay->hostname, ctrack_replay->l7proto, NULL, NULL, NULL);
 			ctrack_replay->dp_search_complete = true;
 		}
 		if (!dp)
@@ -1440,7 +1518,7 @@ static uint8_t dpi_desync_udp_packet_play(bool replay, size_t reasm_offset, uint
 			DLOG("using cached desync profile %d\n",dp->n);
 		else if (!ctrack || !ctrack->dp_search_complete)
 		{
-			dp = dp_find(&params.desync_profiles, !!ip6hdr, 0, ntohs(bReverse ? udphdr->uh_sport : udphdr->uh_dport), ctrack ? ctrack->hostname : NULL, NULL, NULL, NULL);
+			dp = dp_find(&params.desync_profiles, IPPROTO_UDP, (struct sockaddr *)&dst, ctrack ? ctrack->hostname : NULL, ctrack ? ctrack->l7proto : UNKNOWN, NULL, NULL, NULL);
 			if (ctrack)
 			{
 				ctrack->dp = dp;
@@ -1458,15 +1536,21 @@ static uint8_t dpi_desync_udp_packet_play(bool replay, size_t reasm_offset, uint
 		//ConntrackPoolDump(&params.conntrack);
 	}
 
-	if (bReverse) return verdict; // nothing to do. do not waste cpu
+	if (bReverse && ctrack)
+	{
+		if (!ctrack->incoming_ttl)
+		{
+			DLOG("incoming TTL %u\n",ttl_orig);
+			ctrack->incoming_ttl = ttl_orig;
+		}
+		if (!ctrack->autottl) autottl_discover(ctrack,!!ip6hdr);
+		return verdict; // nothing to do. do not waste cpu
+	}
 
 	// start and cutoff limiters
 	if (!replay && !process_desync_interval(dp, ctrack)) return verdict;
 
 	uint32_t desync_fwmark = fwmark | params.desync_fwmark;
-	ttl_orig = ip ? ip->ip_ttl : ip6hdr->ip6_ctlun.ip6_un1.ip6_un1_hlim;
-	ttl_fake = ip6hdr ? dp->desync_ttl6 ? dp->desync_ttl6 : ttl_orig : dp->desync_ttl ? dp->desync_ttl : ttl_orig;
-	extract_endpoints(ip, ip6hdr, NULL, udphdr, &src, &dst);
 
 	if (len_payload)
 	{
@@ -1480,7 +1564,7 @@ static uint8_t dpi_desync_udp_packet_play(bool replay, size_t reasm_offset, uint
 		{
 			DLOG("packet contains QUIC initial\n");
 			l7proto = QUIC;
-			if (ctrack && !ctrack->l7proto) ctrack->l7proto = l7proto;
+			if (ctrack && ctrack->l7proto==UNKNOWN) ctrack->l7proto = l7proto;
 
 			uint8_t clean[16384], *pclean;
 			size_t clean_len;
@@ -1542,7 +1626,7 @@ static uint8_t dpi_desync_udp_packet_play(bool replay, size_t reasm_offset, uint
 							}
 							else
 							{
-								fprintf(stderr, "rawpacket_queue failed !'\n");
+								DLOG_ERR("rawpacket_queue failed !\n");
 								reasm_orig_cancel(ctrack);
 								return verdict;
 							}
@@ -1593,80 +1677,114 @@ static uint8_t dpi_desync_udp_packet_play(bool replay, size_t reasm_offset, uint
 			{
 				DLOG("packet contains wireguard handshake initiation\n");
 				l7proto = WIREGUARD;
-				if (ctrack && !ctrack->l7proto) ctrack->l7proto = l7proto;
+				if (ctrack && ctrack->l7proto==UNKNOWN) ctrack->l7proto = l7proto;
 			}
 			else if (IsDhtD1(data_payload,len_payload))
 			{
 				DLOG("packet contains DHT d1...e\n");
 				l7proto = DHT;
-				if (ctrack && !ctrack->l7proto) ctrack->l7proto = l7proto;
+				if (ctrack && ctrack->l7proto==UNKNOWN) ctrack->l7proto = l7proto;
 			}
 			else
 			{
-				if (!dp->desync_any_proto) return verdict;
+				if (!dp->desync_any_proto)
+				{
+					DLOG("not applying tampering to unknown protocol\n");
+					return verdict;
+				}
 				DLOG("applying tampering to unknown protocol\n");
 			}
 		}
 
-		if (bHaveHost)
+		if (bHaveHost) DLOG("hostname: %s\n",host);
+
+		bool bDiscoveredL7;
+		if (ctrack_replay)
 		{
-			bool bCheckDone=false, bCheckResult=false, bCheckExcluded=false;
-			DLOG("hostname: %s\n",host);
+			bDiscoveredL7 = !ctrack_replay->l7proto_discovered && ctrack_replay->l7proto!=UNKNOWN;
+			ctrack_replay->l7proto_discovered=true;
+		}
+		else
+			bDiscoveredL7 = !ctrack_replay && l7proto!=UNKNOWN;
+		if (bDiscoveredL7) DLOG("discovered l7 protocol\n");
+
+		bool bDiscoveredHostname = bHaveHost && !(ctrack_replay && ctrack_replay->hostname);
+		if (bDiscoveredHostname)
+		{
+			DLOG("discovered hostname\n");
 			if (ctrack_replay)
 			{
+				ctrack_replay->hostname=strdup(host);
 				if (!ctrack_replay->hostname)
 				{
-					ctrack_replay->hostname=strdup(host);
-					if (!ctrack_replay->hostname)
-					{
-						DLOG_ERR("hostname dup : out of memory");
-						return verdict;
-					}
-					DLOG("we have hostname now. searching desync profile again.\n");
-					struct desync_profile *dp_prev = dp;
-					dp = ctrack_replay->dp = dp_find(&params.desync_profiles, !!ip6hdr, 0, ntohs(bReverse ? udphdr->uh_sport : udphdr->uh_dport), ctrack_replay->hostname, &ctrack_replay->bCheckDone, &ctrack_replay->bCheckResult, &ctrack_replay->bCheckExcluded);
-					ctrack_replay->dp_search_complete = true;
-					if (!dp) return verdict;
-					if (dp!=dp_prev)
-					{
-						DLOG("desync profile changed by reavealed hostname !\n");
-						// re-evaluate start/cutoff limiters
-						if (!replay)
-						{
-							maybe_cutoff(ctrack, IPPROTO_UDP);
-							if (!process_desync_interval(dp, ctrack)) return verdict;
-						}
-					}
-				}
-				bCheckDone = ctrack_replay->bCheckDone;
-				bCheckResult = ctrack_replay->bCheckResult;
-				bCheckExcluded = ctrack_replay->bCheckExcluded;
-			}
-			if (dp->hostlist || dp->hostlist_exclude)
-			{
-				bool bCheckExcluded;
-				if (!bCheckDone)
-					bCheckResult = HostlistCheck(dp, host, &bCheckExcluded);
-				if (!bCheckResult)
-				{
-					if (ctrack_replay)
-					{
-						ctrack_replay->hostname_ah_check = *dp->hostlist_auto_filename && !bCheckExcluded;
-						if (ctrack_replay->hostname_ah_check)
-						{
-							// first request is not retrans
-							if (ctrack_replay->hostname)
-								process_retrans_fail(ctrack_replay, IPPROTO_UDP);
-							else
-								ctrack_replay->hostname=strdup(host);
-						}
-					}
-					DLOG("not applying tampering to this request\n");
+					DLOG_ERR("hostname dup : out of memory");
 					return verdict;
 				}
 			}
 		}
 
+		bool bCheckDone=false, bCheckResult=false, bCheckExcluded=false;
+		if (bDiscoveredL7 || bDiscoveredHostname)
+		{
+			struct desync_profile *dp_prev = dp;
+
+			dp = dp_find(&params.desync_profiles, IPPROTO_UDP, (struct sockaddr *)&dst, ctrack_replay ? ctrack_replay->hostname : host, ctrack_replay ? ctrack_replay->l7proto : l7proto, &bCheckDone, &bCheckResult, &bCheckExcluded);
+			if (ctrack_replay)
+			{
+				ctrack_replay->dp = dp;
+				ctrack_replay->dp_search_complete = true;
+				ctrack_replay->bCheckDone = bCheckDone;
+				ctrack_replay->bCheckResult = bCheckResult;
+				ctrack_replay->bCheckExcluded = bCheckExcluded;
+			}
+			if (!dp)
+			{
+				reasm_orig_cancel(ctrack);
+				return verdict;
+			}
+			if (dp!=dp_prev)
+			{
+				DLOG("desync profile changed by revealed l7 protocol or hostname !\n");
+				// rediscover autottl
+				autottl_discover(ctrack_replay,!!ip6hdr);
+				// re-evaluate start/cutoff limiters
+				if (!replay)
+				{
+					maybe_cutoff(ctrack, IPPROTO_UDP);
+					if (!process_desync_interval(dp, ctrack)) return verdict;
+				}
+			}
+		}
+		else if (ctrack_replay)
+		{
+			bCheckDone = ctrack_replay->bCheckDone;
+			bCheckResult = ctrack_replay->bCheckResult;
+			bCheckExcluded = ctrack_replay->bCheckExcluded;
+		}
+
+		if (bHaveHost && (dp->hostlist || dp->hostlist_exclude))
+		{
+			if (!bCheckDone)
+				bCheckResult = HostlistCheck(dp, host, &bCheckExcluded);
+			if (bCheckResult)
+				ctrack_stop_retrans_counter(ctrack_replay);
+			else
+			{
+				if (ctrack_replay)
+				{
+					ctrack_replay->hostname_ah_check = *dp->hostlist_auto_filename && !bCheckExcluded;
+					if (ctrack_replay->hostname_ah_check)
+					{
+						// first request is not retrans
+						if (!bDiscoveredHostname)
+							process_retrans_fail(ctrack_replay, IPPROTO_UDP, (struct sockaddr*)&src);
+					}
+				}
+				DLOG("not applying tampering to this request\n");
+				return verdict;
+			}
+		}
+
 		// desync profile may have changed after hostname was revealed
 		switch(l7proto)
 		{
@@ -1687,7 +1805,8 @@ static uint8_t dpi_desync_udp_packet_play(bool replay, size_t reasm_offset, uint
 				fake_size = dp->fake_unknown_udp_size;
 				break;
 		}
-		ttl_fake = ip6hdr ? dp->desync_ttl6 ? dp->desync_ttl6 : ttl_orig : dp->desync_ttl ? dp->desync_ttl : ttl_orig;
+
+		ttl_fake = (ctrack_replay && ctrack_replay->autottl) ? ctrack_replay->autottl : (ip6hdr ? (dp->desync_ttl6 ? dp->desync_ttl6 : ttl_orig) : (dp->desync_ttl ? dp->desync_ttl : ttl_orig));
 
 		enum dpi_desync_mode desync_mode = dp->desync_mode;
 		uint32_t fooling_orig = FOOL_NONE;

nfq/helpers.c

@@ -11,6 +11,12 @@
 
 #include "params.h"
 
+void rtrim(char *s)
+{
+	if (s)
+		for (char *p = s + strlen(s) - 1; p >= s && (*p == '\n' || *p == '\r'); p--) *p = '\0';
+}
+
 void hexdump_limited_dlog(const uint8_t *data, size_t size, size_t limit)
 {
 	size_t k;
@@ -181,6 +187,11 @@ bool pton6_port(const char *s, struct sockaddr_in6 *sa)
 	return true;
 }
 
+uint16_t saport(const struct sockaddr *sa)
+{
+	return htons(sa->sa_family==AF_INET ? ((struct sockaddr_in*)sa)->sin_port :
+		     sa->sa_family==AF_INET6 ? ((struct sockaddr_in6*)sa)->sin6_port : 0);
+}
 
 void dbgprint_socket_buffers(int fd)
 {
@@ -385,3 +396,99 @@ bool cd_to_exe_dir(const char *argv0)
 	}
 	return bOK;
 }
+
+
+static void mask_from_preflen6_make(uint8_t plen, struct in6_addr *a)
+{
+	if (plen >= 128)
+		memset(a->s6_addr,0xFF,16);
+	else
+	{
+		uint8_t n = plen >> 3;
+		memset(a->s6_addr,0xFF,n);
+		memset(a->s6_addr+n,0x00,16-n);
+		a->s6_addr[n] = (uint8_t)(0xFF00 >> (plen & 7));
+	}
+}
+struct in6_addr ip6_mask[129];
+void mask_from_preflen6_prepare(void)
+{
+	for (int plen=0;plen<=128;plen++) mask_from_preflen6_make(plen, ip6_mask+plen);
+}
+
+#if defined(__GNUC__) && !defined(__llvm__)
+__attribute__((optimize ("no-strict-aliasing")))
+#endif
+void ip6_and(const struct in6_addr * restrict a, const struct in6_addr * restrict b, struct in6_addr * restrict result)
+{
+	// int128 requires 16-bit alignment. in struct sockaddr_in6.sin6_addr is 8-byte aligned.
+	// it causes segfault on x64 arch with latest compiler. it can cause misalign slowdown on other archs
+	// use 64-bit AND
+	((uint64_t*)result->s6_addr)[0] = ((uint64_t*)a->s6_addr)[0] & ((uint64_t*)b->s6_addr)[0];
+	((uint64_t*)result->s6_addr)[1] = ((uint64_t*)a->s6_addr)[1] & ((uint64_t*)b->s6_addr)[1];
+}
+
+void str_cidr4(char *s, size_t s_len, const struct cidr4 *cidr)
+{
+	char s_ip[16];
+	*s_ip=0;
+	inet_ntop(AF_INET, &cidr->addr, s_ip, sizeof(s_ip));
+	snprintf(s,s_len,cidr->preflen<32 ? "%s/%u" : "%s", s_ip, cidr->preflen);
+}
+void print_cidr4(const struct cidr4 *cidr)
+{
+	char s[19];
+	str_cidr4(s,sizeof(s),cidr);
+	printf("%s",s);
+}
+void str_cidr6(char *s, size_t s_len, const struct cidr6 *cidr)
+{
+	char s_ip[40];
+	*s_ip=0;
+	inet_ntop(AF_INET6, &cidr->addr, s_ip, sizeof(s_ip));
+	snprintf(s,s_len,cidr->preflen<128 ? "%s/%u" : "%s", s_ip, cidr->preflen);
+}
+void print_cidr6(const struct cidr6 *cidr)
+{
+	char s[44];
+	str_cidr6(s,sizeof(s),cidr);
+	printf("%s",s);
+}
+bool parse_cidr4(char *s, struct cidr4 *cidr)
+{
+	char *p,d;
+	bool b;
+	unsigned int plen;
+
+	if ((p = strchr(s, '/')))
+	{
+		if (sscanf(p + 1, "%u", &plen)!=1 || plen>32)
+			return false;
+		cidr->preflen = (uint8_t)plen;
+		d=*p; *p=0; // backup char
+	}
+	else
+		cidr->preflen = 32;
+	b = (inet_pton(AF_INET, s, &cidr->addr)==1);
+	if (p) *p=d; // restore char
+	return b;
+}
+bool parse_cidr6(char *s, struct cidr6 *cidr)
+{
+	char *p,d;
+	bool b;
+	unsigned int plen;
+
+	if ((p = strchr(s, '/')))
+	{
+		if (sscanf(p + 1, "%u", &plen)!=1 || plen>128)
+			return false;
+		cidr->preflen = (uint8_t)plen;
+		d=*p; *p=0; // backup char
+	}
+	else
+		cidr->preflen = 128;
+	b = (inet_pton(AF_INET6, s, &cidr->addr)==1);
+	if (p) *p=d; // restore char
+	return b;
+}

nfq/helpers.h

@@ -9,6 +9,16 @@
 #include <stdio.h>
 #include <time.h>
 
+// this saves memory. sockaddr_storage is larger than required. it can be 128 bytes. sockaddr_in6 is 28 bytes.
+typedef union
+{
+	struct sockaddr_in sa4;		// size 16
+	struct sockaddr_in6 sa6;	// size 28
+	char _align[32];		// force 16-byte alignment for ip6_and int128 ops
+} sockaddr_in46;
+
+void rtrim(char *s);
+
 void hexdump_limited_dlog(const uint8_t *data, size_t size, size_t limit);
 char *strncasestr(const char *s,const char *find, size_t slen);
 bool load_file(const char *filename,void *buffer,size_t *buffer_size);
@@ -22,6 +32,8 @@ void ntop46_port(const struct sockaddr *sa, char *str, size_t len);
 bool pton4_port(const char *s, struct sockaddr_in *sa);
 bool pton6_port(const char *s, struct sockaddr_in6 *sa);
 
+uint16_t saport(const struct sockaddr *sa);
+
 bool seq_within(uint32_t s, uint32_t s1, uint32_t s2);
 
 void dbgprint_socket_buffers(int fd);
@@ -64,3 +76,33 @@ void fill_random_az(uint8_t *p,size_t sz);
 void fill_random_az09(uint8_t *p,size_t sz);
 
 bool cd_to_exe_dir(const char *argv0);
+
+
+struct cidr4
+{
+	struct in_addr addr;
+	uint8_t	preflen;
+};
+struct cidr6
+{
+	struct in6_addr addr;
+	uint8_t	preflen;
+};
+void str_cidr4(char *s, size_t s_len, const struct cidr4 *cidr);
+void print_cidr4(const struct cidr4 *cidr);
+void str_cidr6(char *s, size_t s_len, const struct cidr6 *cidr);
+void print_cidr6(const struct cidr6 *cidr);
+bool parse_cidr4(char *s, struct cidr4 *cidr);
+bool parse_cidr6(char *s, struct cidr6 *cidr);
+
+static inline uint32_t mask_from_preflen(uint32_t preflen)
+{
+	return preflen ? preflen<32 ? ~((1 << (32-preflen)) - 1) : 0xFFFFFFFF : 0;
+}
+void ip6_and(const struct in6_addr * restrict a, const struct in6_addr * restrict b, struct in6_addr * restrict result);
+extern struct in6_addr ip6_mask[129];
+void mask_from_preflen6_prepare(void);
+static inline const struct in6_addr *mask_from_preflen6(uint8_t preflen)
+{
+	return ip6_mask+preflen;
+}

nfq/hostlist.c

@@ -4,17 +4,27 @@
 #include "helpers.h"
 
 // inplace tolower() and add to pool
-static bool addpool(strpool **hostlist, char **s, const char *end)
+static bool addpool(strpool **hostlist, char **s, const char *end, int *ct)
 {
-	char *p;
+	char *p=*s;
 
-	// advance until eol lowering all chars
-	for (p = *s; p<end && *p && *p!='\r' && *p != '\n'; p++) *p=tolower(*p);
-	if (!StrPoolAddStrLen(hostlist, *s, p-*s))
+	// comment line
+	if ( *p == '#' || *p == ';' || *p == '/' || *p == '\r' || *p == '\n')
 	{
-		StrPoolDestroy(hostlist);
-		*hostlist = NULL;
-		return false;
+		// advance until eol
+		for (; p<end && *p && *p!='\r' && *p != '\n'; p++);
+	}
+	else
+	{
+		// advance until eol lowering all chars
+		for (; p<end && *p && *p!='\r' && *p != '\n'; p++) *p=tolower(*p);
+		if (!StrPoolAddStrLen(hostlist, *s, p-*s))
+		{
+			StrPoolDestroy(hostlist);
+			*hostlist = NULL;
+			return false;
+		}
+		(*ct)++;
 	}
 	// advance to the next line
 	for (; p<end && (!*p || *p=='\r' || *p=='\n') ; p++);
@@ -22,7 +32,7 @@ static bool addpool(strpool **hostlist, char **s, const char *end)
 	return true;
 }
 
-bool AppendHostList(strpool **hostlist, char *filename)
+bool AppendHostList(strpool **hostlist, const char *filename)
 {
 	char *p, *e, s[256], *zbuf;
 	size_t zsize;
@@ -50,14 +60,12 @@ bool AppendHostList(strpool **hostlist, char *filename)
 			e = zbuf + zsize;
 			while(p<e)
 			{
-				if ( *p == '#' || *p == ';' || *p == '/' || *p == '\n' ) continue;
-				if (!addpool(hostlist,&p,e))
+				if (!addpool(hostlist,&p,e,&ct))
 				{
 					DLOG_ERR("Not enough memory to store host list : %s\n", filename);
 					free(zbuf);
 					return false;
 				}
-				ct++;
 			}
 			free(zbuf);
 		}
@@ -71,17 +79,15 @@ bool AppendHostList(strpool **hostlist, char *filename)
 	{
 		DLOG_CONDUP("loading plain text list\n");
 
-		while (fgets(s, 256, F))
+		while (fgets(s, sizeof(s), F))
 		{
 			p = s;
-			if ( *p == '#' || *p == ';' || *p == '/' || *p == '\n' ) continue;
-			if (!addpool(hostlist,&p,p+strlen(p)))
+			if (!addpool(hostlist,&p,p+strlen(p),&ct))
 			{
 				DLOG_ERR("Not enough memory to store host list : %s\n", filename);
 				fclose(F);
 				return false;
 			}
-			ct++;
 		}
 		fclose(F);
 	}
@@ -168,7 +174,7 @@ static bool LoadIncludeHostListsForProfile(struct desync_profile *dp)
 // return : true = apply fooling, false = do not apply
 bool HostlistCheck(struct desync_profile *dp, const char *host, bool *excluded)
 {
-	DLOG("* Hostlist check for profile %d\n",dp->n);
+	DLOG("* hostlist check for profile %d\n",dp->n);
 	if (*dp->hostlist_auto_filename)
 	{
 		time_t t = file_mod_time(dp->hostlist_auto_filename);

nfq/hostlist.h

@@ -4,7 +4,7 @@
 #include "pools.h"
 #include "params.h"
 
-bool AppendHostList(strpool **hostlist, char *filename);
+bool AppendHostList(strpool **hostlist, const char *filename);
 bool LoadHostLists(strpool **hostlist, struct str_list_head *file_list);
 bool LoadIncludeHostLists();
 bool LoadExcludeHostLists();

nfq/ipset.c

@@ -0,0 +1,195 @@
+#include <stdio.h>
+#include "ipset.h"
+#include "gzip.h"
+#include "helpers.h"
+
+// inplace tolower() and add to pool
+static bool addpool(ipset *ips, char **s, const char *end, int *ct)
+{
+	char *p, cidr[128];
+	size_t l;
+	struct cidr4 c4;
+	struct cidr6 c6;
+
+	// advance until eol
+	for (p=*s; p<end && *p && *p!='\r' && *p != '\n'; p++);
+
+	// comment line
+	if (!(**s == '#' || **s == ';' || **s == '/' || **s == '\r' || **s == '\n' ))
+	{
+		l = p-*s;
+		if (l>=sizeof(cidr)) l=sizeof(cidr)-1;
+		memcpy(cidr,*s,l);
+		cidr[l]=0;
+		rtrim(cidr);
+
+		if (parse_cidr4(cidr,&c4))
+		{
+			if (!ipset4AddCidr(&ips->ips4, &c4))
+			{
+				ipsetDestroy(ips);
+				return false;
+			}
+			(*ct)++;
+		}
+		else if (parse_cidr6(cidr,&c6))
+		{
+			if (!ipset6AddCidr(&ips->ips6, &c6))
+			{
+				ipsetDestroy(ips);
+				return false;
+			}
+			(*ct)++;
+		}
+		else
+			DLOG_ERR("bad ip or subnet : %s\n",cidr);
+	}
+
+	// advance to the next line
+	for (; p<end && (!*p || *p=='\r' || *p=='\n') ; p++);
+	*s = p;
+	return true;
+
+}
+
+static bool AppendIpset(ipset *ips, const char *filename)
+{
+	char *p, *e, s[256], *zbuf;
+	size_t zsize;
+	int ct = 0;
+	FILE *F;
+	int r;
+
+	DLOG_CONDUP("Loading ipset %s\n",filename);
+
+	if (!(F = fopen(filename, "rb")))
+	{
+		DLOG_ERR("Could not open %s\n", filename);
+		return false;
+	}
+
+	if (is_gzip(F))
+	{
+		r = z_readfile(F,&zbuf,&zsize);
+		fclose(F);
+		if (r==Z_OK)
+		{
+			DLOG_CONDUP("zlib compression detected. uncompressed size : %zu\n", zsize);
+
+			p = zbuf;
+			e = zbuf + zsize;
+			while(p<e)
+			{
+				if (!addpool(ips,&p,e,&ct))
+				{
+					DLOG_ERR("Not enough memory to store ipset : %s\n", filename);
+					free(zbuf);
+					return false;
+				}
+			}
+			free(zbuf);
+		}
+		else
+		{
+			DLOG_ERR("zlib decompression failed : result %d\n",r);
+			return false;
+		}
+	}
+	else
+	{
+		DLOG_CONDUP("loading plain text list\n");
+
+		while (fgets(s, sizeof(s)-1, F))
+		{
+			p = s;
+			if (!addpool(ips,&p,p+strlen(p),&ct))
+			{
+				DLOG_ERR("Not enough memory to store ipset : %s\n", filename);
+				fclose(F);
+				return false;
+			}
+		}
+		fclose(F);
+	}
+
+	DLOG_CONDUP("Loaded %d ip/subnets from %s\n", ct, filename);
+	return true;
+}
+
+static bool LoadIpsets(ipset *ips, struct str_list_head *file_list)
+{
+	struct str_list *file;
+
+	ipsetDestroy(ips);
+
+	LIST_FOREACH(file, file_list, next)
+	{
+		if (!AppendIpset(ips, file->str)) return false;
+	}
+	return true;
+}
+
+bool LoadIncludeIpsets()
+{
+	struct desync_profile_list *dpl;
+	LIST_FOREACH(dpl, &params.desync_profiles, next)
+		if (!LoadIpsets(&dpl->dp.ips, &dpl->dp.ipset_files))
+			return false;
+	return true;
+}
+bool LoadExcludeIpsets()
+{
+	struct desync_profile_list *dpl;
+	LIST_FOREACH(dpl, &params.desync_profiles, next)
+		if (!LoadIpsets(&dpl->dp.ips_exclude, &dpl->dp.ipset_exclude_files))
+			return false;
+	return true;
+}
+
+bool SearchIpset(const ipset *ips, const struct in_addr *ipv4, const struct in6_addr *ipv6)
+{
+	char s_ip[40];
+	bool bInSet=false;
+
+	if (!!ipv4 != !!ipv6)
+	{
+		*s_ip=0;
+		if (ipv4)
+		{
+			if (params.debug) inet_ntop(AF_INET, ipv4, s_ip, sizeof(s_ip));
+			if (ips->ips4) bInSet = ipset4Check(ips->ips4, ipv4, 32);
+		}
+		if (ipv6)
+		{
+			if (params.debug) inet_ntop(AF_INET6, ipv6, s_ip, sizeof(s_ip));
+			if (ips->ips6) bInSet = ipset6Check(ips->ips6, ipv6, 128);
+		}
+		DLOG("ipset check for %s : %s\n", s_ip, bInSet ? "positive" : "negative");
+	}
+	else
+		// ipv4 and ipv6 are both empty or non-empty
+		DLOG("ipset check error !!!!!!!! ipv4=%p ipv6=%p\n",ipv4,ipv6);
+	return bInSet;
+}
+
+static bool IpsetCheck_(const ipset *ips, const ipset *ips_exclude, const struct in_addr *ipv4, const struct in6_addr *ipv6)
+{
+	if (!IPSET_EMPTY(ips_exclude))
+	{
+		DLOG("exclude ");
+		if (SearchIpset(ips_exclude, ipv4, ipv6))
+			return false;
+	}
+	if (!IPSET_EMPTY(ips))
+	{
+		DLOG("include ");
+		return SearchIpset(ips, ipv4, ipv6);
+	}
+	return true;
+}
+
+bool IpsetCheck(struct desync_profile *dp, const struct in_addr *ipv4, const struct in6_addr *ipv6)
+{
+	if (!PROFILE_IPSETS_EMPTY(dp)) DLOG("* ipset check for profile %d\n",dp->n);
+	return IpsetCheck_(&dp->ips,&dp->ips_exclude,ipv4,ipv6);
+}

nfq/ipset.h

@@ -0,0 +1,11 @@
+#pragma once
+
+#include <stdbool.h>
+#include <arpa/inet.h>
+#include "params.h"
+#include "pools.h"
+
+bool LoadIncludeIpsets();
+bool LoadExcludeIpsets();
+bool SearchIpset(const ipset *ips, const struct in_addr *ipv4, const struct in6_addr *ipv6);
+bool IpsetCheck(struct desync_profile *dp, const struct in_addr *ipv4, const struct in6_addr *ipv6);

nfq/nfqws.c

@@ -8,6 +8,7 @@
 #include "params.h"
 #include "protocol.h"
 #include "hostlist.h"
+#include "ipset.h"
 #include "gzip.h"
 #include "pools.h"
 
@@ -54,7 +55,7 @@ static bool bHup = false;
 static void onhup(int sig)
 {
 	printf("HUP received !\n");
-	printf("Will reload hostlist on next request (if any)\n");
+	printf("Will reload hostlists and ipsets on next request (if any)\n");
 	bHup = true;
 }
 // should be called in normal execution
@@ -62,7 +63,7 @@ static void dohup(void)
 {
 	if (bHup)
 	{
-		if (!LoadIncludeHostLists() || !LoadExcludeHostLists())
+		if (!LoadIncludeHostLists() || !LoadExcludeHostLists() || !LoadIncludeIpsets() || !LoadExcludeIpsets())
 		{
 			// what will we do without hostlist ?? sure, gonna die
 			exit(1);
@@ -490,6 +491,7 @@ static int win_main(const char *windivert_filter)
 				win_dark_deinit();
 				return w_win32_error;
 			}
+
 			*ifout=0;
 			if (wa.Outbound) snprintf(ifout,sizeof(ifout),"%u.%u", wa.Network.IfIdx, wa.Network.SubIfIdx);
 			DLOG("packet: id=%u len=%zu %s IPv6=%u IPChecksum=%u TCPChecksum=%u UDPChecksum=%u IfIdx=%u.%u\n", id, len, wa.Outbound ? "outbound" : "inbound", wa.IPv6, wa.IPChecksum, wa.TCPChecksum, wa.UDPChecksum, wa.Network.IfIdx, wa.Network.SubIfIdx);
@@ -505,6 +507,8 @@ static int win_main(const char *windivert_filter)
 			}
 			else
 			{
+				dohup();
+
 				mark=0;
 				// pseudo interface id IfIdx.SubIfIdx
 				verdict = processPacketData(&mark, ifout, packet, &len);
@@ -621,7 +625,7 @@ static void load_file_or_exit(const char *filename, void *buf, size_t *size)
 	}
 }
 
-bool parse_autottl(const char *s, autottl *t)
+static bool parse_autottl(const char *s, autottl *t)
 {
 	unsigned int delta,min,max;
 	AUTOTTL_SET_DEFAULT(*t);
@@ -647,6 +651,42 @@ bool parse_autottl(const char *s, autottl *t)
 	return true;
 }
 
+static bool parse_l7_list(char *opt, uint32_t *l7)
+{
+	char *e,*p,c;
+
+	for (p=opt,*l7=0 ; p ; )
+	{
+		if ((e = strchr(p,',')))
+		{
+			c=*e;
+			*e=0;
+		}
+
+		if (!strcmp(p,"http"))
+			*l7 |= L7_PROTO_HTTP;
+		else if (!strcmp(p,"tls"))
+			*l7 |= L7_PROTO_TLS;
+		else if (!strcmp(p,"quic"))
+			*l7 |= L7_PROTO_QUIC;
+		else if (!strcmp(p,"wireguard"))
+			*l7 |= L7_PROTO_WIREGUARD;
+		else if (!strcmp(p,"dht"))
+			*l7 |= L7_PROTO_DHT;
+		else if (!strcmp(p,"unknown"))
+			*l7 |= L7_PROTO_UNKNOWN;
+		else return false;
+
+		if (e)
+		{
+			*e++=c;
+		}
+		p = e;
+	}
+	return true;
+}
+
+
 static bool wf_make_l3(char *opt, bool *ipv4, bool *ipv6)
 {
 	char *e,*p,c;
@@ -673,6 +713,7 @@ static bool wf_make_l3(char *opt, bool *ipv4, bool *ipv6)
 	}
 	return true;
 }
+
 #ifdef __CYGWIN__
 static bool wf_make_pf(char *opt, const char *l4, const char *portname, char *buf, size_t len)
 {
@@ -831,6 +872,9 @@ static void exithelp(void)
 		" --filter-l3=ipv4|ipv6\t\t\t\t; L3 protocol filter. multiple comma separated values allowed.\n"
 		" --filter-tcp=[~]port1[-port2]\t\t\t; TCP port filter. ~ means negation. setting tcp and not setting udp filter denies udp.\n"
 		" --filter-udp=[~]port1[-port2]\t\t\t; UDP port filter. ~ means negation. setting udp and not setting tcp filter denies tcp.\n"
+		" --filter-l7=[http|tls|quic|wireguard|dht|unknown] ; L6-L7 protocol filter. multiple comma separated values allowed.\n"
+		" --ipset=<filename>\t\t\t\t; ipset include filter (one ip/CIDR per line, ipv4 and ipv6 accepted, gzip supported, multiple ipsets allowed)\n"
+		" --ipset-exclude=<filename>\t\t\t; ipset exclude filter (one ip/CIDR per line, ipv4 and ipv6 accepted, gzip supported, multiple ipsets allowed)\n"
 		"\nHOSTLIST FILTER:\n"
 		" --hostlist=<filename>\t\t\t\t; apply dpi desync only to the listed hosts (one host per line, subdomains auto apply, gzip supported, multiple hostlists allowed)\n"
 		" --hostlist-exclude=<filename>\t\t\t; do not apply dpi desync to the listed hosts (one host per line, subdomains auto apply, gzip supported, multiple hostlists allowed)\n"
@@ -945,6 +989,7 @@ int main(int argc, char **argv)
 #endif
 
 	srandom(time(NULL));
+	mask_from_preflen6_prepare();
 
 	memset(&params, 0, sizeof(params));
 	*pidfile = 0;
@@ -1056,19 +1101,22 @@ int main(int argc, char **argv)
 		{"filter-l3",required_argument,0,0},	// optidx=53
 		{"filter-tcp",required_argument,0,0},	// optidx=54
 		{"filter-udp",required_argument,0,0},	// optidx=55
+		{"filter-l7",required_argument,0,0},	// optidx=56
+		{"ipset",required_argument,0,0},	// optidx=57
+		{"ipset-exclude",required_argument,0,0},// optidx=58
 #ifdef __linux__
-		{"bind-fix4",no_argument,0,0},		// optidx=56
-		{"bind-fix6",no_argument,0,0},		// optidx=57
+		{"bind-fix4",no_argument,0,0},		// optidx=59
+		{"bind-fix6",no_argument,0,0},		// optidx=60
 #elif defined(__CYGWIN__)
-		{"wf-iface",required_argument,0,0},	// optidx=56
-		{"wf-l3",required_argument,0,0},	// optidx=57
-		{"wf-tcp",required_argument,0,0},	// optidx=58
-		{"wf-udp",required_argument,0,0},	// optidx=59
-		{"wf-raw",required_argument,0,0},	// optidx=60
-		{"wf-save",required_argument,0,0},	// optidx=61
-		{"ssid-filter",required_argument,0,0},	// optidx=62
-		{"nlm-filter",required_argument,0,0},	// optidx=63
-		{"nlm-list",optional_argument,0,0},	// optidx=64
+		{"wf-iface",required_argument,0,0},	// optidx=59
+		{"wf-l3",required_argument,0,0},	// optidx=60
+		{"wf-tcp",required_argument,0,0},	// optidx=61
+		{"wf-udp",required_argument,0,0},	// optidx=62
+		{"wf-raw",required_argument,0,0},	// optidx=63
+		{"wf-save",required_argument,0,0},	// optidx=64
+		{"ssid-filter",required_argument,0,0},	// optidx=65
+		{"nlm-filter",required_argument,0,0},	// optidx=66
+		{"nlm-list",optional_argument,0,0},	// optidx=67
 #endif
 		{NULL,0,NULL,0}
 	};
@@ -1596,30 +1644,53 @@ int main(int argc, char **argv)
 			// deny tcp if not set
 			if (pf_is_empty(&dp->pf_tcp)) dp->pf_tcp.neg=true;
 			break;
+		case 56: /* filter-l7 */
+			if (!parse_l7_list(optarg,&dp->filter_l7))
+			{
+				DLOG_ERR("Invalid l7 filter : %s\n",optarg);
+				exit_clean(1);
+			}
+			break;
+		case 57: /* ipset */
+			if (!strlist_add(&dp->ipset_files, optarg))
+			{
+				DLOG_ERR("strlist_add failed\n");
+				exit_clean(1);
+			}
+			break;
+		case 58: /* ipset-exclude */
+			if (!strlist_add(&dp->ipset_exclude_files, optarg))
+			{
+				DLOG_ERR("strlist_add failed\n");
+				exit_clean(1);
+			}
+			break;
+
+
 
 #ifdef __linux__
-		case 56: /* bind-fix4 */
+		case 59: /* bind-fix4 */
 			params.bind_fix4 = true;
 			break;
-		case 57: /* bind-fix6 */
+		case 60: /* bind-fix6 */
 			params.bind_fix6 = true;
 			break;
 #elif defined(__CYGWIN__)
-		case 56: /* wf-iface */
+		case 59: /* wf-iface */
 			if (!sscanf(optarg,"%u.%u",&IfIdx,&SubIfIdx))
 			{
 				DLOG_ERR("bad value for --wf-iface\n");
 				exit_clean(1);
 			}
 			break;
-		case 57: /* wf-l3 */
+		case 60: /* wf-l3 */
 			if (!wf_make_l3(optarg,&wf_ipv4,&wf_ipv6))
 			{
 				DLOG_ERR("bad value for --wf-l3\n");
 				exit_clean(1);
 			}
 			break;
-		case 58: /* wf-tcp */
+		case 61: /* wf-tcp */
 			hash_wf_tcp=hash_jen(optarg,strlen(optarg));
 			if (!wf_make_pf(optarg,"tcp","SrcPort",wf_pf_tcp_src,sizeof(wf_pf_tcp_src)) ||
 				!wf_make_pf(optarg,"tcp","DstPort",wf_pf_tcp_dst,sizeof(wf_pf_tcp_dst)))
@@ -1628,7 +1699,7 @@ int main(int argc, char **argv)
 				exit_clean(1);
 			}
 			break;
-		case 59: /* wf-udp */
+		case 62: /* wf-udp */
 			hash_wf_udp=hash_jen(optarg,strlen(optarg));
 			if (!wf_make_pf(optarg,"udp","SrcPort",wf_pf_udp_src,sizeof(wf_pf_udp_src)) ||
 				!wf_make_pf(optarg,"udp","DstPort",wf_pf_udp_dst,sizeof(wf_pf_udp_dst)))
@@ -1637,7 +1708,7 @@ int main(int argc, char **argv)
 				exit_clean(1);
 			}
 			break;
-		case 60: /* wf-raw */
+		case 63: /* wf-raw */
 			hash_wf_raw=hash_jen(optarg,strlen(optarg));
 			if (optarg[0]=='@')
 			{
@@ -1651,11 +1722,11 @@ int main(int argc, char **argv)
 				windivert_filter[sizeof(windivert_filter) - 1] = '\0';
 			}
 			break;
-		case 61: /* wf-save */
+		case 64: /* wf-save */
 			strncpy(wf_save_file, optarg, sizeof(wf_save_file));
 			wf_save_file[sizeof(wf_save_file) - 1] = '\0';
 			break;
-		case 62: /* ssid-filter */
+		case 65: /* ssid-filter */
 			hash_ssid_filter=hash_jen(optarg,strlen(optarg));
 			{
 				char *e,*p = optarg;
@@ -1673,7 +1744,7 @@ int main(int argc, char **argv)
 				}
 			}
 			break;
-		case 63: /* nlm-filter */
+		case 66: /* nlm-filter */
 			hash_nlm_filter=hash_jen(optarg,strlen(optarg));
 			{
 				char *e,*p = optarg;
@@ -1691,7 +1762,7 @@ int main(int argc, char **argv)
 				}
 			}
 			break;
-		case 64: /* nlm-list */
+		case 67: /* nlm-list */
 			if (!nlm_list(optarg && !strcmp(optarg,"all")))
 			{
 				DLOG_ERR("could not get list of NLM networks\n");
@@ -1776,9 +1847,9 @@ int main(int argc, char **argv)
 		if (dp->desync_ttl6 == 0xFF) dp->desync_ttl6=dp->desync_ttl;
 		if (!AUTOTTL_ENABLED(dp->desync_autottl6)) dp->desync_autottl6 = dp->desync_autottl;
 		if (AUTOTTL_ENABLED(dp->desync_autottl))
-			DLOG("[profile %d] autottl ipv4 %u:%u-%u\n",v,dp->desync_autottl.delta,dp->desync_autottl.min,dp->desync_autottl.max);
+			DLOG("[profile %d] autottl ipv4 %u:%u-%u\n",dp->n,dp->desync_autottl.delta,dp->desync_autottl.min,dp->desync_autottl.max);
 		if (AUTOTTL_ENABLED(dp->desync_autottl6))
-			DLOG("[profile %d] autottl ipv6 %u:%u-%u\n",v,dp->desync_autottl6.delta,dp->desync_autottl6.min,dp->desync_autottl6.max);
+			DLOG("[profile %d] autottl ipv6 %u:%u-%u\n",dp->n,dp->desync_autottl6.delta,dp->desync_autottl6.min,dp->desync_autottl6.max);
 		if (dp->desync_split_tls==tlspos_none && dp->desync_split_pos) dp->desync_split_tls=tlspos_pos;
 		if (dp->desync_split_http_req==httpreqpos_none && dp->desync_split_pos) dp->desync_split_http_req=httpreqpos_pos;
 	}
@@ -1793,6 +1864,16 @@ int main(int argc, char **argv)
 		DLOG_ERR("Exclude hostlists load failed\n");
 		exit_clean(1);
 	}
+	if (!LoadIncludeIpsets())
+	{
+		DLOG_ERR("Include ipset load failed\n");
+		exit_clean(1);
+	}
+	if (!LoadExcludeIpsets())
+	{
+		DLOG_ERR("Exclude ipset load failed\n");
+		exit_clean(1);
+	}
 	
 	if (daemon) daemonize();
 

nfq/params.c

@@ -207,8 +207,12 @@ static void dp_entry_destroy(struct desync_profile_list *entry)
 {
 	strlist_destroy(&entry->dp.hostlist_files);
 	strlist_destroy(&entry->dp.hostlist_exclude_files);
+	strlist_destroy(&entry->dp.ipset_files);
+	strlist_destroy(&entry->dp.ipset_exclude_files);
 	StrPoolDestroy(&entry->dp.hostlist_exclude);
 	StrPoolDestroy(&entry->dp.hostlist);
+	ipsetDestroy(&entry->dp.ips);
+	ipsetDestroy(&entry->dp.ips_exclude);
 	HostFailPoolDestroy(&entry->dp.hostlist_auto_fail_counters);
 	free(entry);
 }

nfq/params.h

@@ -66,6 +66,10 @@ struct desync_profile
 
 	bool filter_ipv4,filter_ipv6;
 	port_filter pf_tcp,pf_udp;
+	uint32_t filter_l7;	// L7_PROTO_* bits
+	ipset ips,ips_exclude;
+	struct str_list_head ipset_files, ipset_exclude_files;
+
 	strpool *hostlist, *hostlist_exclude;
 	struct str_list_head hostlist_files, hostlist_exclude_files;
 	char hostlist_auto_filename[PATH_MAX];
@@ -74,6 +78,8 @@ struct desync_profile
 	hostfail_pool *hostlist_auto_fail_counters;
 };
 
+#define PROFILE_IPSETS_EMPTY(dp) (IPSET_EMPTY(&dp->ips) && IPSET_EMPTY(&dp->ips_exclude))
+
 struct desync_profile_list {
 	struct desync_profile dp;
 	LIST_ENTRY(desync_profile_list) next;

nfq/pools.c

@@ -151,3 +151,127 @@ void strlist_destroy(struct str_list_head *head)
 		strlist_entry_destroy(entry);
 	}
 }
+
+
+
+void ipset4Destroy(ipset4 **ipset)
+{
+	ipset4 *elem, *tmp;
+	HASH_ITER(hh, *ipset, elem, tmp)
+	{
+		HASH_DEL(*ipset, elem);
+		free(elem);
+	}
+}
+bool ipset4Check(ipset4 *ipset, const struct in_addr *a, uint8_t preflen)
+{
+	uint32_t ip = ntohl(a->s_addr);
+	struct cidr4 cidr;
+	ipset4 *ips_found;
+
+	// zero alignment bytes
+	memset(&cidr,0,sizeof(cidr));
+	cidr.preflen = preflen+1;
+	do
+	{
+		cidr.preflen--;
+		cidr.addr.s_addr = htonl(ip & mask_from_preflen(cidr.preflen));
+		HASH_FIND(hh, ipset, &cidr, sizeof(cidr), ips_found);
+		if (ips_found) return true;
+	} while(cidr.preflen);
+
+	return false;
+}
+bool ipset4Add(ipset4 **ipset, const struct in_addr *a, uint8_t preflen)
+{
+	if (preflen>32) return false;
+
+	// avoid dups
+	if (ipset4Check(*ipset, a, preflen)) return true; // already included
+
+	struct ipset4 *entry = calloc(1,sizeof(ipset4));
+	if (!entry) return false;
+
+	entry->cidr.addr.s_addr = htonl(ntohl(a->s_addr) & mask_from_preflen(preflen));
+	entry->cidr.preflen = preflen;
+	oom = false;
+	HASH_ADD(hh, *ipset, cidr, sizeof(entry->cidr), entry);
+	if (oom) { free(entry); return false; }
+
+	return true;
+}
+void ipset4Print(ipset4 *ipset)
+{
+	ipset4 *ips, *tmp;
+	HASH_ITER(hh, ipset , ips, tmp)
+	{
+		print_cidr4(&ips->cidr);
+		printf("\n");
+	}
+}
+
+void ipset6Destroy(ipset6 **ipset)
+{
+	ipset6 *elem, *tmp;
+	HASH_ITER(hh, *ipset, elem, tmp)
+	{
+		HASH_DEL(*ipset, elem);
+		free(elem);
+	}
+}
+bool ipset6Check(ipset6 *ipset, const struct in6_addr *a, uint8_t preflen)
+{
+	struct cidr6 cidr;
+	ipset6 *ips_found;
+
+	// zero alignment bytes
+	memset(&cidr,0,sizeof(cidr));
+	cidr.preflen = preflen+1;
+	do
+	{
+		cidr.preflen--;
+		ip6_and(a, mask_from_preflen6(cidr.preflen), &cidr.addr);
+		HASH_FIND(hh, ipset, &cidr, sizeof(cidr), ips_found);
+		if (ips_found) return true;
+	} while(cidr.preflen);
+
+	return false;
+}
+bool ipset6Add(ipset6 **ipset, const struct in6_addr *a, uint8_t preflen)
+{
+	if (preflen>128) return false;
+
+	// avoid dups
+	if (ipset6Check(*ipset, a, preflen)) return true; // already included
+
+	struct ipset6 *entry = calloc(1,sizeof(ipset6));
+	if (!entry) return false;
+
+	ip6_and(a, mask_from_preflen6(preflen), &entry->cidr.addr);
+	entry->cidr.preflen = preflen;
+	oom = false;
+	HASH_ADD(hh, *ipset, cidr, sizeof(entry->cidr), entry);
+	if (oom) { free(entry); return false; }
+
+	return true;
+}
+void ipset6Print(ipset6 *ipset)
+{
+	ipset6 *ips, *tmp;
+	HASH_ITER(hh, ipset , ips, tmp)
+	{
+		print_cidr6(&ips->cidr);
+		printf("\n");
+	}
+}
+
+void ipsetDestroy(ipset *ipset)
+{
+	ipset4Destroy(&ipset->ips4);
+	ipset6Destroy(&ipset->ips6);
+}
+void ipsetPrint(ipset *ipset)
+{
+	ipset4Print(ipset->ips4);
+	ipset6Print(ipset->ips6);
+}

nfq/pools.h

@@ -5,6 +5,8 @@
 #include <sys/queue.h>
 #include <time.h>
 
+#include "helpers.h"
+
 //#define HASH_BLOOM 20
 #define HASH_NONFATAL_OOM 1
 #define HASH_FUNCTION HASH_BER
@@ -43,3 +45,41 @@ void HostFailPoolDump(hostfail_pool *p);
 
 bool strlist_add(struct str_list_head *head, const char *filename);
 void strlist_destroy(struct str_list_head *head);
+
+
+typedef struct ipset4 {
+	struct cidr4 cidr;	/* key */
+	UT_hash_handle hh;	/* makes this structure hashable */
+} ipset4;
+typedef struct ipset6 {
+	struct cidr6 cidr;	/* key */
+	UT_hash_handle hh;	/* makes this structure hashable */
+} ipset6;
+// combined ipset ipv4 and ipv6
+typedef struct ipset {
+	ipset4 *ips4;
+	ipset6 *ips6;
+} ipset;
+
+#define IPSET_EMPTY(ips) (!(ips)->ips4 && !(ips)->ips6)
+
+void ipset4Destroy(ipset4 **ipset);
+bool ipset4Add(ipset4 **ipset, const struct in_addr *a, uint8_t preflen);
+static inline bool ipset4AddCidr(ipset4 **ipset, const struct cidr4 *cidr)
+{
+	return ipset4Add(ipset,&cidr->addr,cidr->preflen);
+}
+bool ipset4Check(ipset4 *ipset, const struct in_addr *a, uint8_t preflen);
+void ipset4Print(ipset4 *ipset);
+
+void ipset6Destroy(ipset6 **ipset);
+bool ipset6Add(ipset6 **ipset, const struct in6_addr *a, uint8_t preflen);
+static inline bool ipset6AddCidr(ipset6 **ipset, const struct cidr6 *cidr)
+{
+	return ipset6Add(ipset,&cidr->addr,cidr->preflen);
+}
+bool ipset6Check(ipset6 *ipset, const struct in6_addr *a, uint8_t preflen);
+void ipset6Print(ipset6 *ipset);
+
+void ipsetDestroy(ipset *ipset);
+void ipsetPrint(ipset *ipset);