Descentforum.DE Forum Index Descentforum.DE
Search | FAQ | Memberlist | Usergroups | Newsfeed Newsfeed  Register
Profile | Log in to check your private messages | Log in 
Chat | D3-Tactics | Downloads | Map | Links | Serverlist | Teamspeak 

D3Stats Aufteilen

 
Post new topic   Reply to topic    Descentforum.DE Forum Index -> STATS - Project - Forum
View previous topic :: View next topic  
Author Message
Derick
Forum-Nutzer


Joined: 19 Nov 2002
Posts: 497
Location: Berlin

PostPosted: 26.06.2008, 12:25    Post subject: Reply with quote

aus aktuellem Anlass habe ich mich mit der Problematik der fehlenden Rechenkapazität nocheinmal auseinander gesetzt.

Eventuell ist ein anderer Weg nicht so schwierig bzw. kompliziert umzusetzen, die Stats wieder online zu bringen.

Warum überlassen wir nicht den beteiligten D3 Serverhosts die Berechnung der jeweiligen stats selber?
Man könnte das ganze System als ein "Netzwerk" betreiben und die Rescoucen somit aufteilen.

Es ist sehr schade. Jedes Projekt in D3 hat ausreichend Rescoucen frei aber da wo sie am dringensten gebraucht werden ist keine mehr frei Traurig

und so könnte es aussehen:

Jeder Serverhost bekommt eine modifizierte, etwas abgespreckte Version des d3stats scripts. Diese wird installiert und von den jeweiligen Servern selber ausgerechnet. Die bereits ausgerechneten Daten werden an d3stats.de übermittelt, wo ein Script gebaut werden müsste das diese Daten zusammenfast.

Das würde das bisherige System erweitern da man sich nun anschauen kann wer der KingKong auf den einzelnen Servern ist, indem man das statssystem des jeweiligen Serverhosts aufruft und man könnte den absoluten KingKong sehen wenn man die Liste bei d3stats.de aufruft.

So könnte man das bisherige Script weitestgehen lassen wie es ist, denn von den Details her ist es doch schon fast perfekt.
Back to top
View user's profile Send private message Send e-mail
Do_Checkor
Administrator


Joined: 19 Nov 2000
Posts: 7768
Location: Oldenburg (Oldb.)

PostPosted: 26.06.2008, 15:29    Post subject: Reply with quote

Abgespalten aus dem anderen Thema, weil es ein ganz neues & anderes Thema ist.

Meine Meinung in kurzer Kurzform: Ist Unsinn und nicht möglich für dieses Projekt weil man die gesamten Altdaten zur berechnung braucht.
Back to top
View user's profile Send private message
Derick
Forum-Nutzer


Joined: 19 Nov 2002
Posts: 497
Location: Berlin

PostPosted: 26.06.2008, 16:12    Post subject: Reply with quote

die Altdaten vom db habe ich alle als backup, seit anno schlagmichdod..

vielleicht könnten Kinglo und cent helfen, die beiden haben ja auch nach Alternativen gesucht.


Last edited by Derick on 26.06.2008, 16:15; edited 2 times in total
Back to top
View user's profile Send private message Send e-mail
Munk
Forum-Nutzer


Joined: 30 Jun 2001
Posts: 2140
Location: Herzogenrath

PostPosted: 26.06.2008, 19:38    Post subject: Reply with quote

Ein netter Gedanke, aber die Berechnung läßt sich nicht "faktorisieren" (also unabhängig voneinander berechnen).

Es ist keine Buchseite, wo man jeden Satz einem anderen Übersetzer geben kann, und der übersetzt das dann in eine andere Sprache (unst selbst dort ist klar, daß das nicht funkioniert, weil der Übersetzer den Zusammenhang der Sätze nicht kennt).

Es ist so, daß jeder Rechenschritt die Ergebnisse _aller_ vorherigen Rechenschritte kennen muss, um ausgeführt werden zu können. Jeder einzelne Rechenschritt an sich ist trivial, das Problem ist die pure Masse.

Das also verteilt rechnen zu müssen endet darin, daß alle verteilten Rechner exakt dieselben Berechnungen durchführen müssen. Und das nunmal keinen Sinn.
Back to top
View user's profile Send private message Send e-mail
Derick
Forum-Nutzer


Joined: 19 Nov 2002
Posts: 497
Location: Berlin

PostPosted: 26.06.2008, 20:38    Post subject: Reply with quote

ok, dann wären wir wieder beim scoresproblem.
Auf diesem Wege wären Scores undenkbar, aber lässt man sie weg und nimmt die puren Daten, also Kills, Death, Flaggen etc. könnte es gehn weil man die werte ja nur addieren lassen müsste oder?
Back to top
View user's profile Send private message Send e-mail
Munk
Forum-Nutzer


Joined: 30 Jun 2001
Posts: 2140
Location: Herzogenrath

PostPosted: 26.06.2008, 21:00    Post subject: Reply with quote

Ja das würde gehen, also daß jeder Server ne Spielerliste mit summierten Sachen liefert, die man dann nur hinterher summieren muss.

Allerdings ists damit nur für die generellen Sachen getan (also die Daten der Übersichtsseite). Für alle Detailseiten muss man in der Datenbank wieder herumsuchen. Allerdings ist die Übersichtsseite nicht wirklich rechenintensiv, als daß es sich lohnen würde das zu splitten.

Lohnt sich der Aufwand des Entwickelns, Testen, Verteilen, Supporten für eine Sache, die hinterher großen Kommunikationsbedarf zwischen den Servern erzeugt, andererseits aber auch in <30 Sekunden einfach gerechnet werden kann ?
Back to top
View user's profile Send private message Send e-mail
Wormaus
Forum-Nutzer


Joined: 26 Jul 2001
Posts: 381
Location: Germany - Stroga / Großenhain

PostPosted: 29.06.2008, 02:35    Post subject: Reply with quote

Ich hatte ja schon mehrfach versucht zu frage, um welche Rechenkapazitäten es sich
handelt, die benötigt werden würden, ddamit die Stats "sauber" weiterlaufen können.

Kann dazu eine konkrete Aussage gemacht werden?
Rechenleistung / Vergleichswerte / Datenbankgrösse- und Durchsatz?
Viel HD Platz wirds nicht brauchen, denke ich, aber sehr viel RAM zum cachen der DB
beim durchrechnen dieser und entsprechend CPU.Power dazu.

Eine weitere Idee wäre, Server-Cluster zum berechnen zusammen zu schliessen, falls
Jemand von einem Cluster-Backend Ahnung hat. Ich denke, das wäre durchaus machbar.

(Hab Zugriff z.Bsp. auf nen Server mit 2 "Intel quad core" CPUs und 8 GB RAM. Nur mal
so nebenbei gesagt, nicht dass wir aneinander vorrbei reden, wenn wir von "Preformance"-
Sachen sprechen ^^ Dieser könnte evtl. unter Umständen dafür "herhalten" dürfen.)

_________________
Worm+Maus das bin ick, Wormaus.
Back to top
View user's profile Send private message
Wormaus
Forum-Nutzer


Joined: 26 Jul 2001
Posts: 381
Location: Germany - Stroga / Großenhain

PostPosted: 29.06.2008, 18:21    Post subject: Reply with quote

Naja, keine Antwort ist auch eien Antwort. ...

Munk, willst Du die d3Stats.de garnicht mehr beleben? Wenn das so ist, dann sage das
bitte klar , deutlich und unmissverständlich.

Ansonsten ... hab ich einfach nicht lang genug auf eine Antwort gewartet. Dann muss
ich mich in etwas Geduld üben. ^^

_________________
Worm+Maus das bin ick, Wormaus.
Back to top
View user's profile Send private message
Munk
Forum-Nutzer


Joined: 30 Jun 2001
Posts: 2140
Location: Herzogenrath

PostPosted: 29.06.2008, 18:45    Post subject: Reply with quote

Wenn Du Fragen stellst, zu der es schwer Antworten gibt ("nötige Rechenleistung", "Vergleichswerte", "Datenbankdurchsatz") dann kann ich auch nur schwer antworten.

Nötige Rechenleistung: Je schneller desto schneller. Eine Mindestleistung gibt es nicht, weil es kein Live-System ist. Die Rechenleistung wird gebraucht, um die Daten aufzubereiten, welche dann einen Cache füllen aus dem der Webserver die Anfragen bedient.

Vergleichswerte: Es gibt nur eine konkrete Implementierung. Das ist keine .exe-Datei die man mal ebend auf verschiedene Rechner kopiert und ausprobiert.

Datenbankdurchsatz: k.A. was Du damit meinst.
Datenbankgröße: Das System ist nicht online, es gibt also auch keine gefüllte Datenbank, dessen Größe ich dir sagen könnte. Beste Schätzung (zum damaligen Zeitpunkt: 400MB).
Plattenplatz: Das hab ich gerade mal nachgeschaut, das Verzeichnis belegt (exklusive Datenbank) 960 MB.
Davon fallen der Großteil auf das Stats-Archiv (815MB), der Rest sind die Arbeitsverzeichnisse der Server.
Falls Plattenplatz kritisch ist, läßt sich das Archiv packen, die Packrate sollte ziemlich gut liegen (ca. 80-90%).

Jetzt frag ich Dich, was Dir diese Daten helfen, als daß man nach gerade mal 16h schon ungeduldig wird.

Wenn Du dich fragst, was an dem Projekt fehlt daß es weiter geht: engagierte Leute mit Sachverstand und Zeit, die es weiterführen wollen.
Back to top
View user's profile Send private message Send e-mail
Wormaus
Forum-Nutzer


Joined: 26 Jul 2001
Posts: 381
Location: Germany - Stroga / Großenhain

PostPosted: 29.06.2008, 19:57    Post subject: Reply with quote

Ja, okay, ich war zu ungeduldig .. ^^ Mit den Augen rollen Idee

Ahh , okay. Ich bin bisher davon ausgegangen, dass es primär an fehlenden Kapazitäten seitens des Servers liegt.

Deine aufgetzählten Sachen sagen mir:
Bei den "durchzuarbeitenden" Datenmengen sind doch schon Minumum 1 GB RAM im Server und "etwas" mehr
Rechenpower erforderlich. Also z.Bsp. der "charlie" würde das gerade so noch "hinbekommen".
(Ich hatte mit einem wesentlioch grösseren Umfang an benötigten Kapazitäten gerechnet.)

Gut, wenn es an interessierten, fähigen Leuten liegt, die dieses Projekt mit Taten unterstützen könnten, davon haben
wir einige. Nur bei Denen (wie auch bei mir) ist meist die aufzuwendende zeit der primäre Knackpunkt.

Dann wollen wir mal schauen, ob wir ein paar fähige Leute finden, die sich in d3stats.de einarbeiten können und
dieses Projekt wieder aufarbeiten und richtig "online" bringen.

(btw: ich hab gesehen, der Server hat ein relativ veraltetes "setup". (scheinbar)
Ich will Dir um Gottes willen nicht in irgendetwas reinreden, es ist mir halt nur nebenbei aufgefallen,
... apache 1.3.xx & co z.Bsp. Inzwischen kommt schon bald der Apache 3.xy ; SQL 6.xy und PHP 6.xy raus Winken )
(PHP 5.3.x wurde zu PHP 6 "umbenannt" , ein 5.3 wird es nicht mehr geben, wie es aussieht.)

_________________
Worm+Maus das bin ick, Wormaus.
Back to top
View user's profile Send private message
Munk
Forum-Nutzer


Joined: 30 Jun 2001
Posts: 2140
Location: Herzogenrath

PostPosted: 29.06.2008, 20:39    Post subject: Reply with quote

Ich weiß nicht, woher Du annimmst daß Apache 1.3 laufen würde.


@Leistung: Ja, Leistung war damals das Problem für das Erliegen gewesen.
Dann war die Idee, die "Scores", also der rechenintensivste Teil, auf z.B. nur 300 Tage (oder 100?) zu beschränken, was ja das Leistungsproblem beheben würde.
Nur ist zwischenzeitlch das ganze Projekt auf nen anderen Server gezogen (um den VEX-Gameserver damit nicht zu belasten). Jetzt fehlt halt jemand (bzw. mir die Zeit), das ganze an das geänderte Umfeld anzupassen (andere Versionen von Datenbank, Webserver etc.)


Last edited by Munk on 29.06.2008, 20:44; edited 1 time in total
Back to top
View user's profile Send private message Send e-mail
Derick
Forum-Nutzer


Joined: 19 Nov 2002
Posts: 497
Location: Berlin

PostPosted: 29.06.2008, 21:39    Post subject: Reply with quote

Munk wrote:
das geänderte Umfeld anzupassen (andere Versionen von Datenbank, Webserver etc.)


*handheb
Hatte dir bereits dazu eine PM geschrieben, alles was fehlt wäre dein Zutun.

Aber vorab die Frage: Hast du das 300 Tage Limit schon drinne? bzw. liegt es nur noch an der Anpassung?

Warte sehnsuchtsvoll auf eine AntwortPM Winken
Back to top
View user's profile Send private message Send e-mail
Wormaus
Forum-Nutzer


Joined: 26 Jul 2001
Posts: 381
Location: Germany - Stroga / Großenhain

PostPosted: 29.06.2008, 21:59    Post subject: Reply with quote

Munk wrote:
Ich weiß nicht, woher Du annimmst daß Apache 1.3 laufen würde.


=> d3stats.de => 81.169.145.89 => (reverse) w89.rzone.de
=> HTTP/1.1 200 OK..Date: Sun, 29 Jun 2008 19:55:30 GMT..Server: Apache/1.3.37 (Unix)..Last-Modified: Wed, 22 Sep 2004 15:30:14 GM ...

Beim Charlie zum Vergleich:
=> HTTP/1.1 302 Found..Date: Sun, 29 Jun 2008 19:58:30 GMT..Server: Apache/2.0.53 (Linux/SUSE)..X-Powered-By: PHP/5.2.6..Location: ...

Zumindest meidet deiner nen Apache 1.3.37 zurück. Ob das gemodded wurde, damit er die alte Version zurückmeldet , oder ob da wirklich nen 1.3.x apacheläuft kann ich natürlich nicht sehen ...

_________________
Worm+Maus das bin ick, Wormaus.
Back to top
View user's profile Send private message
Floyd
Forum-Orakel


Joined: 20 Mar 2001
Posts: 2912
Location: Dresden, Germany

PostPosted: 29.06.2008, 22:09    Post subject: Reply with quote

gehört das zum thema, ob da einen apache 1.3 läuft?
Back to top
View user's profile Send private message
Wormaus
Forum-Nutzer


Joined: 26 Jul 2001
Posts: 381
Location: Germany - Stroga / Großenhain

PostPosted: 29.06.2008, 22:16    Post subject: Reply with quote

Ja. Es geht u.A. auch um Ideen, um die Preformance zu verbessern / optimnieren.
... und als grober Umriss, auf welcher Umgebung das ganze Aufgebaut ist.
(Das hilft natürlich dabei, sinnvolle von sionnlosen Alternativen / Möglichkeiten zu trennen.)

_________________
Worm+Maus das bin ick, Wormaus.
Back to top
View user's profile Send private message
Munk
Forum-Nutzer


Joined: 30 Jun 2001
Posts: 2140
Location: Herzogenrath

PostPosted: 29.06.2008, 23:30    Post subject: Reply with quote

Ein http://www.d3stats.de/michgibsnich liefert ein "Apache/2.2.3 (Debian) PHP/4.4.4-9 Server at www.vex-server.de Port 80".

Eventuell spielt Dir da etwas dazwischen, was Neu-Sprech Domain-Umleitung heißt.

Die Domain ist eine von Strato, die per Strato-Domain-Umleitung auf den VEX-Server umgemünzt ist.
Ich weiß nicht, wie die Strato-Domain-Umleitung technisch realisiert ist, per DNS jedenfalls nicht. Kann sein daß es im Prinzip wie ein Proxy funktioniert, und du deswegen den HTTP-Header nicht vom originalen Server bekommst.

Oder anders gesagt:
Code:

sebastian@maya:~$ wget -S www.d3stats.de
--23:35:32--  http://www.d3stats.de/
           => `index.html'
Resolving www.d3stats.de... 81.169.145.89
Connecting to www.d3stats.de|81.169.145.89|:80... connected.
HTTP request sent, awaiting response...
  HTTP/1.1 200 OK
  Date: Sun, 29 Jun 2008 21:33:57 GMT
  Server: Apache/2.2.3 (Debian) PHP/4.4.4-9
  X-Powered-By: PHP/4.4.4-9
  Content-Type: text/html
  X-Cache: MISS from www.d3stats.de
  Connection: close
Length: unspecified [text/html]



Last edited by Munk on 29.06.2008, 23:34; edited 1 time in total
Back to top
View user's profile Send private message Send e-mail
Display posts from previous:   
Post new topic   Reply to topic    Descentforum.DE Forum Index -> STATS - Project - Forum All times are GMT + 2 Hours
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
You cannot attach files in this forum
You can download files in this forum
PayPal


Descent is a trademark of Interplay Productions.
Descent, Descent II are © Parallax Software Corporation.
Descent III is © Outrage Entertainment.
Descentforum.DE and Descentforum.NET is © by Martin "Do_Checkor" Timmermann.
Powered by phpBB © 2001-2008 phpBB Group