Seite 3 von 6 ErsteErste 123456 LetzteLetzte
Ergebnis 31 bis 45 von 81

Thema: Wer macht das Forum so langsam?

  1. #31
    Registrierter Uses Avatar von fuchs87
    Registriert seit
    26.08.09
    Beiträge
    4.436
    Die 9% unknown traffic sind wohl vom Falken, oder?
    #KriegIstFrieden
    #FreiheitIstSklaverei
    #UnwissenheitIstStärke

  2. #32
    Registrierter Benutzer
    Registriert seit
    08.04.04
    Beiträge
    6.417
    Hoffentlich findet ihr bald eine Lösung. Hier für eine Story was zu posten, ist im Moment echt nervig.

  3. #33
    Registrierter Benutzer Avatar von klops
    Registriert seit
    20.05.16
    Ort
    Hannover
    Beiträge
    4.888
    Danke jedenfalls für den Einblick, Shakka.

    "fail2ban" Emoticon: aluhut

  4. #34
    Administrator
    Registriert seit
    20.08.04
    Beiträge
    8.964
    Die erste Vermutung waren China-Bots. Weil die werden immer mehr und fallen in den Logs auch auf. Dort scheint man sich darauf vorzubereiten, den Kunden im Ausland auch ohne Google vernünftige Suchergebnisse liefern zu können .



    Nach dieser Betrachtung habe ich die China-Bots aber ausgeschlossen:
    Zitat Zitat von Shakka Beitrag anzeigen
    Bild
    Wenn die Anfragen aus China nur 10% sind, dann würde es ja nur um 10% besser. Daran kann es ja nicht liegen?


    Das Problem tritt aber in Wellen auf. Der Server hat selten mehr als 60 Anfragen gleichzeitig. Und dann von einer Sekunde auf die andere plötzlich mehr als er verarbeiten kann.

    Ich habe die Anfragen mal genau beobachtet. In den Wellen waren auffallend viele Anfragen auf Forenindexe von Unterforen, die fast nie besucht werden (BE, Civ3,...) und dazu kaum Anfragen auf statische Ressourcen wie Bilder oder Scripts. Was in den normalen Phasen eher der Hauptteil der Anfragen ist.
    Und wenn man die Geolokation nur in diesen Phasen betrachtet, ist der China-Traffic fast 100%.

    Also sind die China-Bots doch das Problem.
    In der Vergangenheit waren viele Bots offensichtlich als Bot von z.B. Huawei erkenntlich. Diese Bots kommen aber mit irgendwelchen zusammengewürfelten User-Agent-Angaben: Firefox auf Win10, Opera9 auf Mac, Edge auf Win7(NT6.1?), IE auf iOS...

    Daher ist diese Lösung vielleicht doch das beste:
    Zitat Zitat von Kaiserin Uschi Beitrag anzeigen


    Zitat Zitat von Tiramisu Beitrag anzeigen
    Könnte man die Suchanfragen nicht vielleicht in verschiedene Prozesse stecken?
    Die Suchanfragen sind grundsätzlich sehr resourcenfressend. Aber hier absolut nicht das Problem. Die Anzahl der Verbindungen ist einfach zu hoch. Der Server hat selten nennenswert Last. Das Scoreboard des Apache füllt sich einfach schlagartig mit ganz vielen Anfragen.
    Verstand op nul, frituur op 180.

  5. #35
    Registrierter Benutzer Avatar von SvenBvBFan
    Registriert seit
    12.05.13
    Ort
    BaWü
    Beiträge
    6.885
    Kann man chinesiche IPs von nicht angemeldeten Usern ausschließen?

  6. #36
    starc und vil küene Avatar von Louis XV.
    Registriert seit
    01.09.02
    Ort
    Ze Wormez bî dem Rîne
    Beiträge
    16.214
    Als jemand, der selbst längere Zeit in Asien gelebt und schon damals immer geflucht hat, wenn irgendwelche Webseiten gesperrt waren, weil "IP-Adresse aus ihrer Region blockiert", halte ich eine generelle Blockierung von Adressen aus Land XY jedenfalls für keine ideale Lösung.

    Wer weiß schon, wer hier alles im Forum aktiv ist, aber eben gerade ein Auslandsjahr in Shanghai macht, ein Praktikum in Singapur oder oder bei der deutschen AHK in Saigon arbeitet...

  7. #37
    Administrator
    Registriert seit
    20.08.04
    Beiträge
    8.964
    Zitat Zitat von SvenBvBFan Beitrag anzeigen
    Kann man chinesiche IPs von nicht angemeldeten Usern ausschließen?
    Nein. Das würde nichts helfen.
    Um festzustellen, ob eine Anfrage von einem echten User kommt, muss die Verbindung erst aufgebaut werden um dann das cookie zu verifizieren. Es ist nur dann zielbringend, wenn man die ungewollten Anfragen vor dem Verbindungsaufbau abweist.
    Außerdem ist jeder User erst mal nicht angemeldet und kann sich erst danach anmelden.
    Verstand op nul, frituur op 180.

  8. #38
    Registrierter Benutzer Avatar von SvenBvBFan
    Registriert seit
    12.05.13
    Ort
    BaWü
    Beiträge
    6.885
    Kann man vielleicht eine neue Anmeldeseite anlegen, die man irgendwie vor google versteckt (oder mit geringer Priorität abgearbeitet wird) und über die sich chinesische User einloggen können?
    Ich bin Brian und meine Frau ist auch Brian!
    - Life of Brian 1979

    Zitat Zitat von Yttrium Beitrag anzeigen
    Einen fünften Teil [Civilization] wird es 100%ig nicht geben, User.
    - civforum.de 2001

  9. #39
    Wolf im Krokodilpelz Avatar von Mongke Khan
    Registriert seit
    25.06.11
    Ort
    KA
    Beiträge
    18.947
    Kann man die verklagen?

  10. #40
    Ausgetreten
    Gast
    Zitat Zitat von Louis XV. Beitrag anzeigen
    Als jemand, der selbst längere Zeit in Asien gelebt und schon damals immer geflucht hat, wenn irgendwelche Webseiten gesperrt waren, weil "IP-Adresse aus ihrer Region blockiert", halte ich eine generelle Blockierung von Adressen aus Land XY jedenfalls für keine ideale Lösung.

    Wer weiß schon, wer hier alles im Forum aktiv ist, aber eben gerade ein Auslandsjahr in Shanghai macht, ein Praktikum in Singapur oder oder bei der deutschen AHK in Saigon arbeitet...
    Dann könnte man die Verbindungen per GeoIP vielleicht limitieren. Das ein normaler User, der durchs Forum surft davon nicht (viel) mitbekommt, aber die Massenabfragen ausgebremst werden

  11. #41
    Administrator
    Registriert seit
    20.08.04
    Beiträge
    8.964
    Zitat Zitat von Kaiserin Uschi Beitrag anzeigen
    Dann könnte man die Verbindungen per GeoIP vielleicht limitieren. Das ein normaler User, der durchs Forum surft davon nicht (viel) mitbekommt, aber die Massenabfragen ausgebremst werden
    Ich weiß nicht, wie einfach das geht.
    Aber die Wahrscheinlichkeit wird gering sein, dass der Normalo zwischen den tausend Bots den einen Slot ins Forum bekommt.
    Verstand op nul, frituur op 180.

  12. #42
    Administrator
    Registriert seit
    20.08.04
    Beiträge
    8.964
    Die Bots hatten noch eine Gemeinsamkeit:
    Sie hängen an jede Anfrage in &s={32Zeichen} an.

    Solche Abfragen habe ich nun im Apache auf die Verbotsliste gesetzt. Damit grenzen wir auch "gute" Bots aus, die sich als Bot zu erkennen geben und die robots.txt beachten usw. Aber mal sehen, wie viel das bringt. Das ist ja eben nach dem Verbindungsaufbau. Und die vielen gleichzeitigen Verbindungsversuche sind ja eigentlich das Übel. Aber wenn die Verbindungen so schneller bearbeitet werden, mag das trotzdem was bringen
    Verstand op nul, frituur op 180.

  13. #43
    Administrator
    Registriert seit
    20.08.04
    Beiträge
    8.964
    Ich habe es nun so eingerichtet:

    Wer mit einem Request ankommt wo ein &s=[0-9a-z]{32} angehangen ist, kriegt einen Vermerk ins Klassenbuch: "Hat versucht, etwas verbotenes zu tun: Code 403".
    Wer innerhalb von 15 Minuten 3 Striche sammelt, kriegt 100 Minuten Hausarrest: In dieser Zeit werden alle Verbindungen mit dem Server abgewiesen.

    In den letzten 15 Minuten wurden so 1500 IPs gebannt.
    Hoffentlich keine echten User, die versehentlich irgendwo auf 403 stoßen.
    Verstand op nul, frituur op 180.

  14. #44
    Wolf im Krokodilpelz Avatar von Mongke Khan
    Registriert seit
    25.06.11
    Ort
    KA
    Beiträge
    18.947
    Emoticon: shakka
    Zitat Zitat von Ghaldak Beitrag anzeigen
    Wären die Beiträge der Admins alles, was zählt, dann wäre dieses Forum eine Geisterstadt mit Adventskalender.

  15. #45
    Administrator
    Registriert seit
    20.08.04
    Beiträge
    8.964
    Jetzt sind wir bei 2300 gebannten IPs.
    Verstand op nul, frituur op 180.

Seite 3 von 6 ErsteErste 123456 LetzteLetzte

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •