分类目录归档：心得总结

眼见不为实，curl | bash 带来的安全问题

发表评论

之前在 timeline 上看到一篇 2016 年的老文章 Detecting the use of “curl | bash” server side（档案馆备份），指出从服务器端可以检测出客户端是在用 curl 拉脚本还是在用 curl | bash 边拉边执行。如果检测到后者，可以返回不同脚本的内容以达到 “加料” 的效果。整个 blog 都干货满满，就是很久没更新了，站点开了 HSTS，（2023 年 3 月 12 日后）还不更新证书，正好让我学到了 Chrome（v111）在证书错误且不能跳过的警告界面盲敲 “thisisunsafe” 就可以强制跳过…

HTTP 是被 TCP 一块儿一块儿驮着在服务器端和客户端之间传输的，服务器端和客户端各有一块缓冲区，这里服务器端得先把己方发送缓冲区固定住。脚本的第一行可以用一条比较耗（客户端的）时的命令如 ping 、 find 等，文章 demo 的 py 脚本中以 sleep 3 为例，在此之后立即输出一大堆 NUL 空字符给客户端（使用 NUL 的原因是不会把命令行或浏览器弄得乱糟糟，但是可以被抓包或 curl --output 看到），每个 chunk 都与当前 Linux 系统的发送缓冲区大小相当，此时：

  • 如果客户端是在用 curl 拉脚本，由于缓冲区大小被定住了，那么每个 chunk 的发送间隔应该差不多，因为不管脚本里面写了什么，curl 只是当文本拉下来；
  • 如果客户端在用 curl 边拉边交给 bash 执行，由于 bash 执行东西是一行一行的，上面的 sleep 3 被拉下来交给 bash 执行要停止传输 3 秒，服务器端就会检测到有那么一个 chunk 传输间隔时间明显超出其他 chunk 。

因为要排除网络波动的原因，demo 脚本中还使用了 numpy 库中的 std 求标准差的方法来进行统计运算，当找到那个偏离平均值很大的传输间隔时则认为客户端在用 curl | bash 。文中也指出客户端可以使用 curl | (sleep 3; cat) 来反制服务器端的上述行为。其实 curl 或 wget 拉下来看清楚再在本地执行就可以应对以上问题。

又是一个连自己的眼睛都不能相信的案例。

NAT 二三事

发表评论

本篇着实算不上科普或教程，只能算是心得或随笔吧。

二〇〇几年家里刚通宽带的时候，内网两台电脑（台式机、笔记本）要同时上网。没买路由器之前，台式机在用两块网卡进行连接共享，把入户宽带共享给笔记本。后来购置了路由器，很快就学会了端口映射，想把笔记本的文件通过 FTP 共享到公网，只需在路由器中设置端口映射，将公网 IP 地址的 21 端口映射到内网笔记本 IP 地址的对应端口即可。那时候也不太懂转发的概念，只知道此时 “公网 IP 的某端口等价于内网 IP 某端口” 。

eMule 也可以通过以上方法来把内网 IP 的两个端口暴露到公网来获取 HighID 。但是另一些 p2p 软件可能会通过 UPnP 功能来自动完成以上步骤。 PnP（即插即用）在当时对我来说就是 windows 插上 USB 设备无需装驱动即可正常使用的概念，那么我就联想到 UPnP（通用即插即用）就是内网设备自动向路由器申请开通一些上述端口的映射规则，直到今天（2022 年）都在大量使用，几乎是家用路由器的标配。

就这样过了很长时间，在近几年家用游戏机流行后，我突然在网上了解到 “NAT1” 的概念，也就是家用主机在内网运行时和其他玩家直接建立连接的困难程度。 ipv4 年代大家基本上都在 NAT 后面上网，加之绝大多数游戏都是基于 UDP，那么在自家 NAT 后面和同样在 NAT 后面的其他人建立连接竟然变成了一件有点复杂的事，涉及到 “UDP 打洞” 。下载 NatTypeTester 工具一试，家里的 Merlin 固件路由器带来的 NAT type 竟然是最无趣 “Symmetric”，而 padavan 固件就提供选项可以把 NAT type 设最宽松的 type “full cone”（RFC 3489 标准，最新的 RFC 5780 标准搞得愈发复杂也没什么人用）

我认为这篇博文把 NAT type 讲得很清楚，还说明了利用生日攻击去碰撞端口的方法，很有意思。我对 STUN NAT type 的理解是这样：

假设内网的 src_lan_ip:src_lan_port 欲向公网 dest_ip:dest_port 发送 UDP 包，发到 NAT 网关处，NAT 执行 SNAT 改写，挑一个可用端口 src_wan_port，在公网以 src_wan_ip:src_wan_port 发向 dest_ip:dest_port 。

  • full cone：在 NAT 处存在 src_lan_ip:src_lan_port 到 src_wan_ip:src_wan_port 的映射之后，src_lan_ip:src_lan_port 发往任意别处 dest 的数据都会从原始 src_wan_ip:src_wan_port 出去。这样由点（原始映射）到面（任意公网目标），用几何图形来形容就像一个圆锥，因此称为全锥形 NAT 。此后，在这个映射关系的生命周期内公网上的任何 ip:port 都可以反过来向 src_wan_ip:src_wan_port 发包，会被转回 src_lan_ip:src_lan_port 。
  • Restricted cone：原始 src_lan_ip:src_lan_port 发往任意别处 dest 的数据都会从原始 src_wan_ip:src_wan_port 出去。但是，该映射的生命周期内，只有 dest_ip（端口不限）才能向 src_wan_ip:src_wan_port 发包，会被转回 src_lan_ip:src_lan_port 。（与 full cone 相比，限制了外部 IP）
  • Port Restricted cone：原始 src_lan_ip:src_lan_port 发往任意别处 dest 的数据都会从原始 src_wan_ip:src_wan_port 出去。但是，该映射的生命周期内，只有 dest_ip:dest_port 才能向 src_wan_ip:src_wan_port 发包，会被转回 src_lan_ip:src_lan_port 。（与 Restricted cone 相比限制了 port，与 full cone 相比限制了 IP+port）
  • Symmetric： 原始 src_lan_ip:src_lan_port 发往 dest1 的包会被映射为 src_wan_ip:src_wan_port1，发往 dest2 的包会被映射为 src_wan_ip:src_wan_port2，以此类推（此处以单 WAN 口为例，如果是多个 WAN 口，一定不会出现同 ip:port 的情况）。每一个不同的目的地，都会在 wan 上出现一个新的端口连出去。这样看 WAN 内外部的 UDP 连接像是以 NAT 网关为轴 “对称” 的，所以称为 “对称型 Symmetric”NAT 。且对返回包策略与 Port Restricted 一致，严格限制 ip+port 。

从上到下，规则越来越严格，NAT 打洞也越来越困难。因为 STUN 打洞需要一个第三方服务器，为同在 NAT 后面的通信双方打洞建立连接，STUN 服务器和其中一方一定不会是同一 ip 或 port，从而被严格 NAT 的另一方以 “来源不同” 拒绝连接，所以严格的 NAT 策略会给打洞带来很大的困难。

最近在使用 tailscale 的时候，发现他们的博客 How NAT traversal works 写得非常详尽，连双方都是 CGNAT 这样令人头秃的情况也考虑到了，非常推荐一读。中文译文

tailscale 的思路比较明确，先把 UPnP 列为最优先的打洞方式，直接向 NAT 网关申请端口，省去了后面所有的麻烦。顺便，除了 UPnP，我还在命令行 tailscale netcheck 里学到了，UPnP 在发现阶段之后，通过 xml 文档向 NAT 网关申请端口映射。与 UPnP 类似的技术还有：NAT-PMP 和 PCP，NAT-PMP 由 Apple 开发，PCP 则是 NAT-PMP 的高级演化版，以基于 UDP 的通信来向 NAT 网关申请端口映射规则。