Dass manche DNS-Anfragen schneller gehen liegt einfach am DNS-Cache. Wenn eine Domain bereits aufgelöst ist und das TTL noch valide ist, braucht die Domain nicht neu aufgelöst werden.

Dass du Port 22, der Standardmäßig für SSH/SFTP vom SSH-Deamon geführt wird, entfernst, hat keinerlei Auswirkungen.

Wie schnell ist deine Internetleitung? Vielleicht spielt dies genauso eine Rolle. Die Frage ist auch, ob du nicht irgendwo einen Named Loop drin hast, der erst versucht wird, aufzulösen. Dann wird so lange gewartet, bis eine Antwort kommt. Als einfaches Beispiel wäre hier "localhost". Jedes Gerät besitzt diesen - Ob deine FRITZ!Box, deine Verbundgeräte oder eben das Gerät der PiHole.

Kannst du mal ein Traceroute machen? Das wäre zunächst das sinnvollste. Dann siehst du, Step-by-Step, wie die Domain auflöst. Den Traceroute auf allen Geräten ausführen, sprich, einmal auf deinem Verbundgerät, dann einmal das PiHole-Gerät über Shell und dann auch auf der FRITZ!Box, sofern sie dies unterstützt.

Dann prüfe auch mal bitte generell dein Netzwerk. Wird ipv4 UND ipv6 unterstützt? Wenn unter ipv4 nichts zu bekommen ist, weicht der auch mal gerne auf ipv6 aus, sofern beides betrieben wird (hier hast du auch eine genaue Beschreibung dazu: https://pi-hole.net/2018/02/02/why-some-pages-load-slow-when-using-pi-hole-and-how-to-fix-it/)