Technik

[Homerclon]

Es gibt zwar verschiedene 3050er, mit teils recht erheblichen Leistungsunterschied. Aber ja, das ist eine GPU (jede davon) für FullHD und nicht höher.

[Schappi]

Gibt es hier im Forum Datenbank-Experten und ich meine nicht Access

[dAb]

Kommt auf die Frage an.

[Dr. Zoidberg]

Kommt auf die Frage an.

Das trifft es ganz gut

[Schappi]

Performance, Cluster, Bigdata

MySQL und ggf. Nicht SQL

[Schappi]

Hintergrund:

Beim AJFM gibt es zwei riesige Tabellen mit mehreren Millionen und gar Milliarden Einträgen.

Ich frage mich, ob es da nicht bessere und schnellere Alternativen für die Speicherung und Abfrage gibt als (My)SQL.

[merfis]

Hintergrund:

Beim AJFM gibt es zwei riesige Tabellen mit mehreren Millionen und gar Milliarden Einträgen.

Ich frage mich, ob es da nicht bessere und schnellere Alternativen für die Speicherung und Abfrage gibt als (My)SQL.

Was genau ist das Problem?

Dauern die Anfragen zu lange? Hast du die Spalten auch ordentlich indexiert? Machst du irgendwelche komplizierte Joins? Mysql hat auch EXPLAIN für die SELECT-Statements, hast du damit probiert?

Oracle ist vielleicht die bessere und schnellere Alternative

[Schappi]

Gibt es Oracle kostenlos?

Probleme? Ja, teilweise langsame Abfragen. Mag durchaus sein, dass nicht alles richtig durchgeindext ist. Normalisiert ist auch nicht alles. Und es gibt sehr komplexe Joins, ja.
Und die beiden großen Tabellen sind halt auch nicht im Backup.

Was meinst Du mit dem "Explain ausprobiert"?

[merfis]

Gibt es Oracle kostenlos?

Du hast nicht gesagt, dass es kostenlos sein muss (War aber auch nicht ganz ernst gemeint)

Probleme? Ja, teilweise langsame Abfragen. Mag durchaus sein, dass nicht alles richtig durchgeindext ist. Normalisiert ist auch nicht alles. Und es gibt sehr komplexe Joins, ja.
Und die beiden großen Tabellen sind halt auch nicht im Backup.

Was ist für dich langsam? Minuten? Sekunden? Vor einigen Jahren hab ich mit Indexieren etwa Faktor 300 rausgeholt. Es gab allerdings deutlich weniger Daten als bei dir (einige hundert Tausend Einträge von etwa 5 Minuten runter auf unter 1 Sekunde).

Was meinst Du mit dem "Explain ausprobiert"?

Explain for dem select statement auf der mysql-Konsole schreiben.

Code Auswählen Erweitern

EXPLAIN SELECT ...
Hab schon länger keine MysqlAdmin benutzt, aber wenn ich mich richtig erinnere gab es da auch Explain.

Kannst sonst die Schemas von den Tabellen und die SQL-Abfragen posten, und ich guck mir das an. Oder frag bei Stackoverflow, da lesen genug schlaue Leute mit.

[dAb]

Es gab früher immer eine kostenlose Expressversion von Oracle.
Keine Ahnung, ob die noch existent ist. Ist halt aber auch eingeschränkt.
Leider lässt sich  Oracle aber sonst auch alles lizensieren. Aber dafür gibt es halt auch noch Sachen wie Partitioning etc., mit denen man so Sachen tunen kann.

Aber wie merfis sagt, man muss sich das anschauen. Explain Plans sind der erste Schritt. Die sagen dir was jeder einzelne Befehl kostet und ob ein Index dafür genutzt wird oder zum Beispiel ein Full Table Scan gemacht wird, der dementsprechend teuer sein kann.

[Schappi]

Muss ich mal in Ruhe raussuchen.

Aber mich stört zum beispiel, dass die Spielberechnung, die viele Inserts beinhaltet, recht lange dauert. pro Spiel ca. 30 Sekunden, wenn ich mich recht erinnere. Das muss doch schneller gehen.

ALs Beispiel:

Jedes Spiel hat 542 Spielzüge.
Jeder Spieler hat 1 Werteeintrag pro Spielzug = 11 * 2 * 542 = 11924 Werteeinträge pro Spiel.
Jeder Spieler muss nach dem Spiel aktualisiert werden. 22 Spieler/Mensch Updates.

Dazu kommen noch eine Handvoll anderer Inserts, die aber vernachlässigbar sind.

Ich glaube, die Spielzüge sind gesammelt in *einem* Insert-Statement. DIe Werteeinträge sind auch gesammelt, aber ich glaube, 100 oder 1000 Values pro Insert.

Während der DB-Aktivitäten am Ende der Berechnung eines Spiels ist die Auslastung des Containers bei 100%. Da es in der Regel viele Spiele parallel sind, entsprechend auch lange. In der Zeit ist dann auch die Webseite natürlich recht langsam.

[merfis]

Worüber du vielleicht auch nachdenken könntest, ist die Daten aus den vorherigen Saisons in eine andere Tabelle (oder gar in eine andere DB) zu schieben. Wenn du nur die aktuelle Saison in der Tabelle vorhältst, dann sind das am Ende "nur" 71,5 Mios Einträge (ich hab mit 6000 Spielen pro Saison gerechnet, nachdem ich kurz die Ligen überflogen hab).

Vielleicht kann man mit der Statement-Optimierung was rausholen, aber wenn so viele Inserts kommen, wird das auch irgendwann gefühlt zu langsam.

Eine andere Lösung wäre das Problem mit der Hardware zu erschlagen, z.B. einen separaten Container nur für die DB, der ordentlich Bums hat.

[Schappi]

Der AJFM hat schon seinen eigenen Container mit eigener MySQL Instanz

[merfis]

Dann hat er nicht genug Bums

[Schappi]

Aber was heißt "mehr Bums"?