Hi,
vielleicht noch ein weiterer Ansatz als Ergänzung zu den Punkten von Jan:
Was passiert vor dem TTFB:

1. DNS lookup: Mach mal intern einen DNS Lookup von einer ungecacheten Maschine und schau ob vielleicht Euer DNS intern aktuell Probleme macht. Dies würde sich wahrscheinlich aber noch auf weitere Dinge auswirken in Eurem Netz
2. SSL handshake: Normalerweise unproblematisch aber wer weiß
3. Webserver-Verarbeitung: Nutzt Ihr Redis oder irgendwelche erweiterten Caches, die erst abgefragt und ausgelesen werden müssen. Wenn Ihr Redis benutzt und der hängt dann wartet er meines Wissens auf einen Redis-Timeout bevor der Webserver die Ergebnisse neu berechnet. Ich gehe mal davon aus Ihr habt mal den DB Server und Webserver und Diensteserver rebootet (sofern möglich)?
4. TCP Antwort: Die Übergabe der vom Webserver erzeugten Daten