Hi to all !

Ist mal wieder fällig.

Engine              ELO-1-CPU / games  ELO-4-CPU / games  Differenz
Houdini 1.5 x64          3234 / 3800        3334 / 2498     +100
Rybka 4.0 x64            3176 / 5442        3262 / 3700     + 86
Stockfish 2.0 / 2.01 x64 3130 / 2200        3237 / 2400     +107
Critter 0.90 x64         3090 / 2400        3182 / 3000     + 92
Naum 4.2 x64             3032 / 5640        3160 / 3500     +128
Spike 1.4 w32            2977 / 3820        3111 / 2700     +134 (!)
Deep Shredder 12 x64     3003 / 7538        3097 / 3700     + 94
Spark 1.0 x64            2979 / 2720        3093 / 3000     +114
Hiarcs 13.1 w32          2949 / 6600        3076 / 3200     +127
Deep Fritz 11 w32        2929 / 2700        3070 / 4250     +141 (!)
Deep Junior 12 x64       2891 / 3000        3040 / 2600     +149 (!)
Zappa Mexico II x64      2890 / 4840        3036 / 6450     +146 (!)
Deep Onno 1.2.70 x64     2881 / 3250        3017 / 3000     +136 (!)
Thinker 5.4D x64 Inert   2931 / 2700        3015 / 4250     + 84
Deep Sjeng 3.0 x64       2881 / 4338        2991 / 4600     +110
Loop M1 x64              2815 / 1400        2938 / 5000     +123

Der Zuwachs von 1- auf 4-CPU schwankt also von +84 bis +149 Punkten.
Dies sind immerhin 65 Punkte Unterschied und somit verschieben sich auch
die Reihungen der Engines untereinander in beiden "Listen" erheblich.
Es ist also durchaus nicht so, dass sich die Programme im selben Masse
steigern bei Verwendung mehrerer Cores ! Deshalb ist das Testen mit 4-CPU
auch sinnvoll und nicht, wie oftmals behauptet, lediglich mit einer
"gedachten" Bedenkzeitsteigerung gleichzusetzen ! Durch die sehr grosse
Datenbasis ist gewährleistet, dass die Messungen äusserst genau sind und
max. im Bereich von +-10 Punkten schwanken können.

Viele Grüsse,
G.S.

Moin,

Gerhard Sonnabend schrieb:

Der Zuwachs von 1- auf 4-CPU schwankt also von +84 bis +149 Punkten.
Dies sind immerhin 65 Punkte Unterschied und somit verschieben sich auch
die Reihungen der Engines untereinander in beiden "Listen" erheblich.
Es ist also durchaus nicht so, dass sich die Programme im selben Masse
steigern bei Verwendung mehrerer Cores ! Deshalb ist das Testen mit 4-CPU
auch sinnvoll und nicht, wie oftmals behauptet, lediglich mit einer
"gedachten" Bedenkzeitsteigerung gleichzusetzen ! Durch die sehr grosse
Datenbasis ist gewährleistet, dass die Messungen äusserst genau sind und
max. im Bereich von +-10 Punkten schwanken können.

Das ist eine mögliche Sichtweise. Hier eine andere:

Leider ist nicht mehr der Zuwachs von 1 auf 2 Cores angegeben. Ohne das zu überprüfen gehe ich davon aus das einige Engines von 2 auf 4 mehr zugelegt haben als von 1 auf 2. Theoretisch wird der Verwaltungsaufwand der Kerne größer, die Zunamme an Elo müßte also kleiner werden, abflachen (Wenngleich verschieden schnell, aber immer kleiner werdend!). Das ist aber nicht bei allen Engines der Fall. Ergo muß die Fehlerquote größer sein.
Weiterinh schaut man sich die 40/20 der CEGT an werden die Abstände der Mehrkernversionen schon kleiner und zwar mehr als bei den Singleversionen.
Das Elosystem und dazu Elostat, bzw Bayes gehen von reproduzierbaren Ergebnissen aus. Bei MP ist das aber weit weniger der Fall als bei Singleengines. Ich gehe davon aus, das man bei MP Test deutlich mehr Partien braucht. Sollten Bücher verwendet werden ist der induzierte Fehler noch größer.

Kurz, da sind alle möglichen Unwägbarkeiten im Spiel. Ich gehe weiterhin so über den Daumen bei der ersten Verdopplung von 50-60 Elo aus, bei der zweiten von 40-50 (meinetwegen auch 40-60 und 30-50). Damit wäre eine Enigne bei +70 Elo, die andere bei + 110. Sicherlich können auch da leicht andere Reihungen passieren, eine 'neue Liga erreicht keiner der obigen Engines. Zumindestens nicht mehr bei der 40/20 und länger. (Theoretisch muß der Zuwach sebi doppelten Kernen kleiner sien als bei doppelter Bedenkzeit. Für doppelte Bedenkzeit nimmt man wie viel Elo an, 60,70?! Deep Junior würde da schon durch 2 Kerne oder einen gut geschätzten Faktor 1.8 mehr erreichen als bei doppelter Bedenkzeit. Auch das scheint mir fraglich.

Also Gerhard, wie sieht die diese Liste für die 40/20 aus. Identische Abstände oder schnurrt das ganze zusammen und wenn die Abstände kürzer werden ist die Frage warum? Liegt es and der erhöhten Bedenkzeit? Unwahrscheinlich, da bei Singleengines mit mehr Zeit nichts, oder nur sehr wenig, passiert. Wenn das aber nicht so ist, warum dann bei MP?

Ein anderer Ansatz wäre die große Datenbank zu nehmen und nur Gegner zu werten die beide (1 und 4 oder auch 2 Core Engines) identisch gespielt haben. Dann nur dann hat man gleiches verglichen (Natürlich möglichst keine Bücher, verschiedene Leute die etwas einspielen sind auch nicht hilfreich für eine klare Aussage ...)

Also, das erste ist eine Sichtweise, das zweite eine andere. Ich will nur darauf hinweisen das es mit MP unendlich viel komplexer wird. Ich beiße mir seit Monaten die Zähne daran aus die MP Fähigkeiten verschiedener CPUs BEI gleichzeitiger Benutzung mehrer Engines irgendwie zu messen. Nicht mal vernünftige Durchschnittswerte bekomme ich hin. Die gegenwärtige Methodiken zum messen von MP-Stärke sind meiner Meinnung nach nicht ausreichend durchdacht und definiert. Jeder spielt ein bischen was, dann werfen wir es in einen Topf und rühren, wird schon stimmen!? Eine Idee zum wirklichen Abgleich hat keiner. Das etwas nicht stimmen kann ist meiner Meinung nach mit dem seltsamen Verhalten von 1 auf 2 auf 4 Kerne hinreichend klar.


Gruß
Ingo

Hi Ingo !

Ich sehe das alles pragmatischer.
Für mich ist die einzig logische Erklärung der oben aufgeführten Fakten die, dass
die unterschiedlichen Einbindungen/Umsetzungen der MP-Dinge verantwortlich ist.
Je besser diese Einbindung ist, desto mehr profitiert die Engine von mehreren Cores.
Oder anders herum: wenn alles nur Standardmässig umgesetzt/eingebaut wird, dann
ist die Steigerungen eben entsprechend kleiner.
MP-Einbindungen/Umsetzungen gibt es deren viele und hier liegt mit Sicherheit noch
sehr viel Potential brach um "recht einfach" relativ grosse Sprünge machen zu können.

Viele Grüsse,
G.S.

Hallo Gerhard,

Das die Merhcpufähigkeit bei manchen besser implementiert ist als bei anderen ist unstrittig, auch das da noch Potential ist glaube ich gerne. Alleine die Tatsache, dass die Elogewinnkurve bei mehreren CPU abflachen muß (bei manchen schneller als bei anderen), bei euch aber bei vielen Engines ansteigt, zeigt mir, dass das Thema komplexer ist und sich mit der bisherigen Testmethodik nicht recht fassen läßt.

Ich glaube alle Listen die Single- UND MehrCPUEngnies testen haben das Problem das sie zu viele Variablen in ihrer Methodik haben. Bei Single geht das noch, bei MP kippt es und ergibt offfensichtlich unsinnige Werte (siehe erster Absatz).

Nach deiner Liste hätte z.B. Naum auf schneller Hardware mit R3 (zeitgleiche Engines) gleich ziehen müssen. Hat er aber auf Playchess nie und die HW Freaks hätten das rausgefunden ...

Dein Spitzenreiter J12 hat 149 Elo+ von 1 auf 4 Kernen, bei der 40/20 sind es noch 116 und die 12.5 hat sogar nur 106 ... ist die neue Version schlechter (Obwohl Ban sagte das sie Wert auf bessere Parallelisierung gelegt haben?) oder wird Junior gar mit mehr Bedenkzeit schlechter ... normalerweise höre ich immer etwas anderes. Ich will nur sagen das dier Test nicht ganz konsistent und in sich schlüssig ist.

Gruß
Ingo

Hi Ingo !

Ich verstehe Deine Bedenken und Einwände durchaus.
Auch habe ich selbstredend keinerlei Beweise.

Messungen mit sehr grosser und auch sehr breiter Basis jedoch,
zeigen kaum einmal bedeutende Fehler.
Und, dies ist der springende Punkt aus meiner Sicht, haben wir
schon lange herausgefunden, dass längere/kürzere Bedenkzeit kaum
eine Rolle spielt.
Und genau deshalb war und ist es einfach falsch, 1CPU, 2CPU
und 4CPU ... lediglich als Beschleunigung abzutun. Dann nämlich
wären die Unterschiede viel geringer.
(Viel) mehr will ich damit eigentlich nicht sagen wollen, dies war/
ist mein Anliegen in dieser Sache.

Es gibt eine Handvoll "Flachbürsten", die das alles immer und immer
wieder abstreiten, ohne überhaupt einen Schimmer davon zu haben
resp. sich damit befasst zu haben.

Übrigens, dass Naum (4.2 ?) hätte mit Rybka 3.0 x64 gleichziehen
"müssen" sehe ich nicht so. Bei der CEGT-Blitz sind beide Versionen,
siehe Ursprungsposting, noch immerhin 73 Punkte auseinander. Und
das bei 40/3+... Auf diesem komischen Server wird i.d.R. lediglich
3+0 gespielt. Klar, mit wesentlich stärkerer Hardware, jedoch...

Viele Grüsse,
G.S.

IWB schrieb:

...snip...
Leider ist nicht mehr der Zuwachs von 1 auf 2 Cores angegeben
....snip...

Hier noch mal die Aufstellung, diesmal jedoch ergänzt um die 2-CPU-Versionen.
Es muss beachtet werden, dass viele der 2-CPU-Versionen lediglich 1000 Spiele absolviert haben,
2 Engine fehlen sogar komplett.

                          ELO-1-CPU     ELO-2-CPU          ELO-4-CPU    Differenzen
Engine                     / games       / games            / games
Houdini 1.5 x64          3234 / 3800   3287 / 1000  +53   3334 / 2498   + 47 / +100
Rybka 4.0 x64            3176 / 5442   3213 / 1496  +37   3262 / 3700   + 49 / + 86
Stockfish 2.0/2.01 x64   3130 / 2200   3194 / 1000  +64   3237 / 2400   + 43 / +107
Critter 0.90 x64         3090 / 2400       n/a            3182 / 3000    n/a / + 92
Naum 4.2 x64             3032 / 5640   3109 / 1500  +77   3160 / 3500   + 51 / +128
Spike 1.4 w32            2977 / 3820   3041 / 2400  +64   3111 / 2700   + 70 / +134
Deep Shredder 12 x64     3003 / 7538   3050 / 1900  +47   3097 / 3700   + 47 / + 94
Spark 1.0 x64            2979 / 2720   3034 / 1000  +55   3093 / 3000   + 59 / +114
Hiarcs 13.1 w32          2949 / 6600   3001 / 1992  +52   3076 / 3200   + 75 / +127
Deep Fritz 11 w32        2929 / 2700   2998 / 3860  +69   3070 / 4250   + 72 / +141
Deep Junior 12 x64       2891 / 3000       n/a            3040 / 2600    n/a / +149
Zappa Mexico II x64      2890 / 4840   2962 / 4994  +72   3036 / 6450   + 74 / +146
Deep Onno 1.2.70 x64     2881 / 3250   2958 / 1000  +77   3017 / 3000   + 59 / +136
Thinker 5.4D x64 Inert   2931 / 2700   2985 / 1801  +54   3015 / 4250   + 30 / + 84
Deep Sjeng 3.0 x64       2881 / 4338   2938 / 1302  +57   2991 / 4600   + 53 / +110
Loop M1 x64              2815 / 1400   2893 / 1556  +78   2938 / 5000   + 45 / +123

Best wishes,
G.S.

Moinm Gerhard

sag mal auf welcher BAsis wurden die 1, 2 und 4 CPU Listen erstellt?
Alles auf vergleichbaren Maschinen, Büchern, settings etc.?
Will nix "madig" machen, bin nur neugierig. Finde Den thread sehr intressant.
HAbe ja früher schon sehr Zeitaufwändige scaling testserien durchgeführt. DAmals hauptsächlich um die 1a skalierung von ClusterToga nachzuweisen.
Auch Damals zeigte sich schon das zB ZAppa oder fritz sehr gut skalieren, auch noch von 4 auf 8 cores.

Gruß, Clemens

Gerhard Sonnabend schrieb:

IWB schrieb:

...snip...
Leider ist nicht mehr der Zuwachs von 1 auf 2 Cores angegeben
....snip...

Hier noch mal die Aufstellung, diesmal jedoch ergänzt um die 2-CPU-Versionen.
Es muss beachtet werden, dass viele der 2-CPU-Versionen lediglich 1000 Spiele absolviert haben,
2 Engine fehlen sogar komplett.

                          ELO-1-CPU     ELO-2-CPU          ELO-4-CPU    Differenzen
Engine                     / games       / games            / games
Houdini 1.5 x64          3234 / 3800   3287 / 1000  +53   3334 / 2498   + 47 / +100
Rybka 4.0 x64            3176 / 5442   3213 / 1496  +37   3262 / 3700   + 49 / + 86
Stockfish 2.0/2.01 x64   3130 / 2200   3194 / 1000  +64   3237 / 2400   + 43 / +107
Critter 0.90 x64         3090 / 2400       n/a            3182 / 3000    n/a / + 92
Naum 4.2 x64             3032 / 5640   3109 / 1500  +77   3160 / 3500   + 51 / +128
Spike 1.4 w32            2977 / 3820   3041 / 2400  +64   3111 / 2700   + 70 / +134
Deep Shredder 12 x64     3003 / 7538   3050 / 1900  +47   3097 / 3700   + 47 / + 94
Spark 1.0 x64            2979 / 2720   3034 / 1000  +55   3093 / 3000   + 59 / +114
Hiarcs 13.1 w32          2949 / 6600   3001 / 1992  +52   3076 / 3200   + 75 / +127
Deep Fritz 11 w32        2929 / 2700   2998 / 3860  +69   3070 / 4250   + 72 / +141
Deep Junior 12 x64       2891 / 3000       n/a            3040 / 2600    n/a / +149
Zappa Mexico II x64      2890 / 4840   2962 / 4994  +72   3036 / 6450   + 74 / +146
Deep Onno 1.2.70 x64     2881 / 3250   2958 / 1000  +77   3017 / 3000   + 59 / +136
Thinker 5.4D x64 Inert   2931 / 2700   2985 / 1801  +54   3015 / 4250   + 30 / + 84
Deep Sjeng 3.0 x64       2881 / 4338   2938 / 1302  +57   2991 / 4600   + 53 / +110
Loop M1 x64              2815 / 1400   2893 / 1556  +78   2938 / 5000   + 45 / +123

Best wishes,
G.S.

Hi Clemens !

Die Bedingungen sind durchaus vergleichbar, lediglich in Bezug auf
Vorgabestellungen resp. Kurzbuch unterschiedlich. Dies jedoch macht
i.d.R. kaum etwas aus und ist auch nicht messbar, so man denn
genügend Spiele (mind. 1500, besser mehr als 2000) erzeugt.

Viele Grüsse,
G.S.