Betonme schrieb:

Hallo zusammen,

Viele haben vermutlich die Diskussion beim SerienRecorder und SeriesPlugin verfolgt.

Ich habe nun das offene Gespräch gesucht und es scheint, als können wir mit Wunschliste zu folgender Lösung kommen:

• Ein Proxy für alle Serien Plugins: SR, SP
  
• Nur der Proxy stellt die Requests
  
• Ein definierter User Agent: "Enigma2-Serienplugins"
  
• Prominente Nennung von wunschliste.de innerhalb des Plugins
  
• User des Plug-Ins sollen einen Account bei wunschliste.de registrieren
  
• Der Proxy kann nur von einem registrierten User verwendet werden (?)
  
• Mindestens einen Ansprechpartner für den Proxy
  
• Der Proxy unter Open Source (GitHub) verwalten (?)
  

Da wir im Vorfeld, durch die vielen Anfragen, den Betrieb bei
Wunschliste gestört haben und noch immer stören, forciere ich einen
möglichst schnellen Umstieg.

Ich möchte mich hier auch noch bei Wunschliste bedanken, dass Sie trotz allem noch kooperativ sind und uns unterstützen.

Mac Disein schrieb:

Wunschliste hat nicht von heute auf morgen abgeschaltet, wir haben deren Gegenmaßnahmen nur immer wieder überwunden, irgendwann wussten die sich nicht anders zu helfen. Aus meiner Sicht verständlich bei über 5 Millionen Zugriffen auf deren Server pro Monat von unseren beiden Plugins.


----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Also zum Proxy kann ich etwas schreiben:

Für den SerienRecorder hatten einfall und ich schon einen Proxy Server aufgesetzt - wir wollten die Daten aufbereitet auf dem Server speichern. Das hätte aber den Nachteil gehabt, dass nur bestimmte Daten hätten zwischengespeichert werden können - bzw. für jeden von Wunschliste gelieferten Datentyp hätte man etwas eigenes implementieren müssen. Zusätzlich hätte der SerienRecorder noch an einigen Stellen umgebaut werden müssen, da das Aufbereiten der Daten ja dann auf dem Server und nicht mehr im Plugin stattgefunden hätte.

Ich hatte im Vorfeld aber bereits Kontakt mit betonme und er hat sich um die Verhandlungen mit Wunschliste gekümmert. Als dann Wunschliste einverstanden war, dass wir über einen Proxy direkt Daten bei denen abrufen dürfen, und dieses möglichst schnell umsetzen sollten, haben wir den Plan mit der Datenaufbereitung auf dem Server erstmal zurückgestellt und stattdessen ein einfaches Proxy Skript (siehe auch einen früheren Beitrag von betonme) installiert, das die Daten so wie sie von Wunschliste kommen, zwischenspeichert.
Dies hat den Vorteil, dass an den Plugins selbst sehr wenig geändert werden muss, weil die Daten wie bisher beim Plugin ankommen, nur eben von einem anderen Server.

Der Server ist im Moment noch ein komplett kostenloser Server den einfalll bei einem großen Hoster "gebucht" hat. Lediglich für die Datenbank mussten wir einmalig 2,99 Euro entrichten. Es sind also im Moment noch nicht wirklich Kosten entstanden. Wir hoffen, dass der Server den Anfragen unserer beiden Plugins standhält - falls nicht, müssen wir vielleicht doch zu einer kostenpflichtigen Serverlösung wechseln.

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Ich habe gestern schon alles umgestellt - muss das aber erst noch testen, das mache ich heute - wenn alles gut läuft gibt es am Wochenende eine neue Releaseversion.
Wir müssen die alten Version ja so schnell wie möglich austauschen, damit wir den Wunschliste Server nicht weiter so stark belasten.

MacDisein (13.11.2015)


Unser Proxy ist ja jetzt schon ziemlich genau einen Monat in Betrieb und ich möchte die Gelegenheit nutzen mal ein paar Daten zu posten:


Grundsätzlich kann man sagen, dass der Proxy seine Arbeit hervorragend macht, auch wenn in der Anfangszeit noch die eine oder andere Kinderkrankheit behandelt werden musste. Jetzt ist es so, dass täglich nur noch rund 10% der Anfragen einen Seitenabruf bei Wunschliste auslösen, 90% kann der Proxy aus seiner eigenen Datenbank beantworten. Über den Monat gesehen liegt der Wert etwa bei 20/80 Prozent, aber der Proxy lernt ja jeden Tag dazu.
Im ersten Monat hat der Proxy etwas mehr als 3.000.000 Anfragen entgegen genommen. Der überwiegende Teil davon (75%) entfällt auf den SerienRecorder.
Die meisten Benutzer (30%) verwenden eine VU+ Duo2.


Mit der Version 3.2.2 des SerienRecorders ist ein erster Schritt zur zweiten Ausbaustufe des Proxies begonnen worden, daran arbeite ich im Moment hauptsächlich. Die URL der Cover wird in dieser Version bereits komplett vom Proxy ermittelt. Der SerienRecorder benötigt dafür jetzt nur noch minimale Rechenoperationen. Als nächstes werden jetzt die Serien-/Episodeninfos komplett auf dem Proxy verarbeitet und an das Plugin ausgeliefert, daran arbeite ich gerade. Zusätzlich habe ich für das Plugin von betonme auch eine Funktion geschrieben, sodass auch dort der Wechsel zum Proxy 2.0 begonnen hat. Es steckt noch viel Arbeit darin, leider muss nicht nur viel dem Proxy neu geschrieben werden, sondern auch am Plugin selbst, aber ich erhoffe mir einen deutlichen Geschwindigkeitsgewinn durch die Umstellung. Auch wenn jetzt zunächst erstmal die "unwichtigeren" Funktionen implementiert werden um erste Erfahrungen zu sammeln.

SerienRecorder - Unterstützung per Paypal: macdisein@gmx.de

MacDisein (09.12.2015)


Ja, von mir auch noch mal eine kurze Rückmeldung zum Thema.
Der Server kann leider die massiven Zugriffe nicht bewältigen, was michnur wundert ist, dass die Zugriffe eigentlich konstant hoch sind,
es also eigentlich schon länger Probleme hätte geben müssen.
Ich war gestern zum Geburtstag eingeladen und konnte dann nicht mehr genau analysieren - ich guck mal ob ich heute Abend dazu komme.
Im schlimmsten Fall müssen wir auf einen anderen Server umziehen.
er ich erhoffe mir einen deutlichen Geschwindigkeitsgewinn durch die Umstellung.
Auch wenn jetzt zunächst erstmal die "unwichtigeren" Funktionen implementiert werden um erste Erfahrungen zu sammeln.


Ursprünglich war 8 Uhr (Autocheck Voreinstellung) - aber als uns dann Wunschliste blockiert hat,
habe ich für die Version 3.2 (glaube ich) den Defaultwert auf 2 Uhr nachts geändert - jetzt tritt zu dieser Zeit die Hauptlast am Server auf.
Es hat aber meiner Meinung nach nichts damit zu tun, wir hatten schon seit Einrichtung des Proxy Server gleichbleibend viele Anfrage,
die Anzahl der gleichzeitigen Verbindungen zur Datenbank sind durch den Hoster auf 100 begrenzt - deswegen vermute ich eher,
dass ich irgendwo noch ein Speicherleck in meinem Code auf dem Proxy Server habe.
Ich guck mir das heute Abend noch mal an - parallel mietet betonme aber jetzt einen leistungsfähigeren Server auf dem wir dann die Werte für so etwas wie max. Verbindungen selber einstellen können.
Die Kosten für die Miete werden wir aufteilen.




SerienRecorder - Unterstützung per Paypal: macdisein@gmx.de

MacDisein (09.12.2015)



SerienRecorder 3.2.5-beta
Der Proxy Server ist jetzt teilweise umgezogen, @betonme hat gute Arbeit geleistet, deswegen gibt es eine neue Version auf github. Der Auto-Check sollte wieder funktionieren.
FOLGENDES GEHT NOCH NICHT: Serien-Suche, Cover

Ich bin morgen geschäftlich unterwegs und Freitagabend Weihnachtsfeier, falls es morgen nicht zu spät wird mache ich noch eine Releaseversion ansonsten kommt die am Samstag.





SerienRecorder - Unterstützung per Paypal: macdisein@gmx.de