Computerschach-Board
Würden Sie gerne auf diese Nachricht reagieren? Erstellen Sie einen Account in wenigen Klicks oder loggen Sie sich ein, um fortzufahren.

Computerschach-Board

Ratinglisten, Enginematches, Statistiken und mehr.
 
StartseiteStartseite  SuchenSuchen  Neueste BilderNeueste Bilder  AnmeldenAnmelden  LoginLogin  Impressum  

Teilen | 
 

 Vergleich zw. IPON, SWCR, CEGT und CCRL

Vorheriges Thema anzeigen Nächstes Thema anzeigen Nach unten 
AutorNachricht
IWB

IWB

Anzahl der Beiträge : 43
Anmeldedatum : 17.01.11

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeSo Apr 24, 2011 11:14 am

Hello

Ich habe meine 23 Top Engines mit den anderen Listen verglichen. Es gibt eine kleine Ausnahmen; Strelka habe ich rausgelassen weil die IPON die einzige Liste ist, die die Engine führt. Da ist ein Vergleich ... schwierig. Ersetzt wurde die Engine durch Toga II 1.4 b5c.

Vergleich zw. IPON, SWCR, CEGT und CCRL Compiscc

Kurz ein paar Details:

Die rot markierten Engines sind die größten Ausreißer - allerdings ist nicht einer dieser Ausreißer ausserhalb beider Errormargins. Das die beiden schlimmsten Abweichler in der serben Liste liegen spricht Bände! Trotzallem dürfte der Vergleich zur SWCR am schwächsten sein, da sich dort nur 16 übereinstimmende Engines finden lassen um eine durchschnittliche abweichung zu berechnen, während die CCRL immerhin 20, die CEGT sogar 21 gleiche Einträge hat.

Die Liste steigt in der Bedenkzeit auf. Erst die IPON, dann die SWCR, CEGT und zum Schluß die CCRL.
Was auffällt ist, dass trotz deutlich länger werdender Bedenkzeit nicht eine Engine dermaßen besser wird das sie aus den Errorbars rauswandert. Schön zu sehen an Zappa, die Engine gibt es sehr lange, praktisch jede Liste hat also eine ordentliche Anzahl an Spielen mit ihr ... Die Konsequenz ist, das keine Engine (zumindest von den hier geführten) mit mehr Bedenkzeit deutlicher zulegt als der Rest ...

Wenn jemand Interesse am vollen Spreadsheet hat (Ich habe ein paar Spalten der Übersichtlichkeit ausgeblendet), kurze PM an mich, ich schicke das dann rüber.

Gruß
Ingo

PS: ich hoffe ich habe mich nicht wieder verrechnet - wie das letzte mal, da wurde mir aber hervoragend von HW geholfen, Danke nochmal!
Nach oben Nach unten
http://www.inwoba.de
Gerhard Sonnabend

Gerhard Sonnabend

Anzahl der Beiträge : 123
Anmeldedatum : 17.01.11
Alter : 62
Ort : Stuttgart

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeMo Apr 25, 2011 7:02 am

Hi Ingo !

Vielen Dank für diese ausführliche Aufstellung.
Wenn man bedenkt, dass alle genannten Listen unter leicht
unterschiedlichen Bedingungen bezüglich:
Hardware, Bedenkzeit, Bücher/Stellungen, PB=on/off, ...
laufen, so ist das Gesamtergebnis, bis auf einige wenige
Ausreisser, doch recht homogen.

Viele Grüsse,
G.S.
Nach oben Nach unten
http://www.pcschach.de
IWB

IWB

Anzahl der Beiträge : 43
Anmeldedatum : 17.01.11

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeMo Apr 25, 2011 8:48 am

Hallo Gerhard,

Hier noch die aktuelle Version:


Vergleich zw. IPON, SWCR, CEGT und CCRL Compiscc

Na ja, Critter muß ich im Auge behalten. Alles immer noch in den Errorbars (die auch nur mathematisch korrekt sind bei einer wiederholung bei GLEICHEN Bedinungen, was wir hier ja nicht haben), aber wenn zwei Listen übereinstimmend sagen das die IPON zu hoch ist behalte ich das auf jeden Fall im Auge.
Es ist nicht das SSE 4.2, dafür ist der Unterschied zu groß, ich dachte kurz es könnte einfach sein das die 50 Stellungen Critter liegen, das halte ich aber für unwahrscheinlich. Rybka, der auch überall so 15/16 Elo tiefer liegt als bei mir wird durch Houdini wiederlegt, der sich völlig unauffällig verhält. Das halte ich für statistisches Rauschen.
J12.5 hätte ich gerne noch mehr Meßpunkte, aber weder die CCRL noch Franks Liste führen den im Moment als Einkerner. Eigentlich erstaunt mich das Verhalten von Junior schon ein wenig, weil die Engine diejenige ist, die bei meinen Hardwarebench am besten mit den AMDs zurechtkommt! Das sollte sich eher 2,3 Elo FÜR Junior auswirken.

Na ja, eigentlich alles im grünen Bereich. Wenn ich dann noch die Anzahl an Spielen sehe, gehe ich davon aus das sich die Abweichler eher an die IPON als die IPON an die anderen Listen angleicht.

Ein bischen peinlich für dich ist, das die CEGT keinen Loop 2007 als Single in der Liste hat! Tststs!

Übrigens: Die SWCR weicht nur 0.14 Elo ab, die kann man praktisch 1:1 in die IPON übernehmen, die CEGT hat 182 Elo Differenz, falls jemand die MP Engines der CEGT in die IPON übertragen will und die CCRL hat 260 ELo

Am meisten freut mich, das gerade bei Zappa der ja mit mehr Zeit deutlich besser werden soll NICHTS tut! Was wiederum die Frage aufwirft, warum man Strom mit lange Bedenkzeiten verschwenden soll um eine Rangliste zu erstellen.

Gruß
Ingo
Nach oben Nach unten
http://www.inwoba.de
IWB

IWB

Anzahl der Beiträge : 43
Anmeldedatum : 17.01.11

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeMo Apr 25, 2011 9:31 am

Mist, im Moment geht mir ja auf das die CEGT die einzige Liste ist die noch Elostat nutzt.

Die Vergleichswerte, insbesondere am oberen Ende der CEGT, sind also mit Vorsicht zu genießen!

Gruß
Ingo
Nach oben Nach unten
http://www.inwoba.de
Gerhard Sonnabend

Gerhard Sonnabend

Anzahl der Beiträge : 123
Anmeldedatum : 17.01.11
Alter : 62
Ort : Stuttgart

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeDi Apr 26, 2011 12:43 am

Hi Ingo !

IWB schrieb:

[...snip...]
Ein bischen peinlich für dich ist, das die CEGT keinen Loop 2007 als Single in der Liste hat! Tststs!

Weshalb peinlich für mich ?
Ich teste in den letzten Jahren ausschliesslich für die CEGT-Blitz-Liste,
welche für mich persönlich ohnehin die wichtigste Liste im Netz ist.
Ich kann die Jungs der 40/20 Liste jedoch sehr gut verstehen wenn sie
Loop 2007 nicht einbeziehen in die Tests, da diese Version baugleich
mit der 13.6 ist.

Zum Ranglisten-Thema:
die Unterschiede welche sich bei den Berechnungen zwischen ELO-Stat
und Bayesian ergeben sind derart marginal, dass es für Deine Gesamtauswertung
kaum eine Rolle spielt. Hier mal ein Punkt weniger, dort mal ein Punkt mehr ...
Viel besser ist es so viele Partien als möglich spielen zu lassen, wenn man schon
versucht der "Wahrheit" möglichst nahe zu kommen.

Viele Grüsse,
G.S.
Nach oben Nach unten
http://www.pcschach.de
FaQ

FaQ

Anzahl der Beiträge : 31
Anmeldedatum : 17.01.11
Alter : 57
Ort : Trier

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeDi Apr 26, 2011 7:43 am

Übrigens: Die SWCR weicht nur 0.14 Elo ab, die kann man praktisch 1:1 in die IPON übernehmen, die CEGT hat 182 Elo Differenz, falls jemand die MP Engines der CEGT in die IPON übertragen will und die CCRL hat 260 ELo

Am meisten freut mich, das gerade bei Zappa der ja mit mehr Zeit deutlich besser werden soll NICHTS tut! Was wiederum die Frage aufwirft, warum man Strom mit lange Bedenkzeiten verschwenden soll um eine Rangliste zu erstellen.

Nehme mir mal die Zeit für ein paar längere Ausführungen!

Hallo Ingo,

weiß jetzt gar nicht welche ELOs Du für den Vergleich genommen hast. Derzeit werden 14 Engines in der SWCR getestet. Critter legt z. B. immer noch ein bissel zu, ca. 650 Partien gespielt und GullChess nähert sich immer mehr Deinen Wert an.

Bei Spike 1.4 Turin kannst Du ja mal die Konfiguration mit Deiner vergleichen. Meine Konfigurationen liegen in meinem Download-Bereich. Da bei Spike schon über 1.500 Partien gespielt werden schaut das ein wenig komisch aus aber so groß ist der Unterschied nicht.

Zu Deinen Kommentaren:
Reitest ja gerne darauf rum, das sich bei den Engines und mehr Bedenkzeit kaum etwas verändert. Reitest auch gerne darauf rum, das viele Partien notwendig sind. Ist doch merkwürdig nach dieser, Deiner These, das die SWCR so Nahe an IPON drann ist wenn in der SWCR keine unnötigen Partien mehr gespielt werden, oder? Aus dem 1/52 Fall wurde mittlerweile ein 1/54 Fall. Das heißt, dass nach meinen Statistiken eine von 54 getesteten Engines nach ca. 560 Partien um mehr als 20 ELO zu einem Ergebnis nach oben offen abweicht. Kommt vor, kam in der SWCR auch schon 3x vor (jeweils knapp über 20 ELO) und hat sich 2x schon von selbst bereinigt. Bei der dritten Engines lasse ich später einfach mal ein paar Partien mehr spielen.

Und zu der These das mit mehr oder weniger Zeit die Leistung zu oder abnimmt.
Bei unseren Listen wirds nicht so ganz deutlich, weil ich ca. nur die doppelte Zeit verwende als jetzt Du bei IPON. Denke es macht bei sehr wenigen Engines (wirklich Ausnahmen) vielleicht bis zu 30 ELO aus. Bei einem Vergleich unserer Listen sind es dann vielleicht 5-10 ELO und wir können das nicht erkennen bzw. maximal dann wenn eine Engine in mehrere Versionen vorliegt und sich unsere Werte dann immer um ca. 10 unterscheiden (z. B. bei Junior).

Trotz der vielen Partien der verschiedenen Ratinglistenbetreiber kann sich niemand wirklich sicher sein. Wahrscheinlich ist es wirklich so, dass sehr wenige Engines betroffen sind.

Selbst pflege ich auch einen solchen Vergleich wie von Dir dargestellt (etwas umfangreicher) aber nur noch mit IPON und CEGT. IPON ist näher an die SWCR gerückt also umgekehr SWCR näher an IPON nach meinen Statistiken der letzten Monate. IPON liegt auch etwas näher an SWCR als CEGT (war vor ca. 6 Monaten noch anders herum). Selbst vergleiche ich alle Ergebnisse, auch die der älteren Versionen. Nach dem SWCR Oldie-Mix Turnier ca. im Juli 2011 werde ich meinen Vergleich mal öffentlich stellen, vielleicht auch erst am Ende des Jahres.

Aber wie dem auch ist, auch die CEGT liegt sehr nahe an den von mir ermittelten Ergebnissen. Schön, zwei Listen zu haben mit denen verglichen werden kann um festzustellen ... muss ich vielleicht bei Engine A oder B noch Partien spielen lassen oder liegt der Fehler vielleicht bei der anderen Liste. Wenn genug Partien vorliegen, warum ist das so? Das Reizthema, Sinn und Zweck von solchen Vergleichen.

Muss zugeben dass ich die CEGT sehr viel mehr schätze als einst, meine den Zeitpunkt vor dem Start der SWCR. Offenbar machen die Tester trotz "durcheinander testen" eine irgendwie strukturierte Arbeit. Das Gruppenprinzip scheint zu funktionieren, die Ergebnisse sind nicht nur glaubhaft sondern sehr aussagekräftig auch wenn mal weniger Partien vorliegen.

Was ich bei Ipon nicht verstehe ist, dass so viele unsinnige Partien gespielt werden. x-tausend Partien sind nicht notwendig. Es wäre sehr viel interessanter wenn mehr Engines in der IPON auftauchen würden. Viele TOP-30 Programme fehlen einfach oder z. B. wird Toga getestet ... Mittelklasse Fruit-Clone. Da ist der Fruit vom Nachfolgeprogrammierer oder Cyclone deutlich spielstärker. Ktulu fehlt, Smarthink fehlt, Thinker fehlt, IvanHoe fehlt, auch ChessTiger würde ich gerne in IPON sehen etc..

Die These:
Je mehr engines gegen eine spielen desto weniger Partien sind notwendig. Also 30 Gegner, bei 40 Partien pro Match und 1.200 Partien pro Round-Robin ist nach meiner Verlaufskurve besser als 16 Gegner und die doppelte Partiemenge.

Wie dem auch ist ...
Die CEGT ist nach wie vor sehr gut ausgeklügelt, läuft, liefert gute Werte ist sehr breit gefächert.
IPON natürlich auch und ist sehr aktuell, sehr schnell.
SWCR ist behäbiger, verfolgt aber stur strukturiert einen klaren Testablauf und liefert meines Erachtens auch sehr gute Ergebnisse ... Minimalistisch ... mit dem geringsten Aufwand an Partien den größtmöglichen Erfolg ...

Gruß
Frank
Nach oben Nach unten
http://www.amateurschach.de
FaQ

FaQ

Anzahl der Beiträge : 31
Anmeldedatum : 17.01.11
Alter : 57
Ort : Trier

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeDi Apr 26, 2011 7:57 am

Ich teste in den letzten Jahren ausschließlich für die CEGT-Blitz-Liste,
welche für mich persönlich ohnehin die wichtigste Liste im Netz ist.


Hallo Gerhard,

nicht nur für Dich sondern auch für viele andere Computerschächler. Das hat einfache und schlichte Gründe. Blitz-Resultate können viele anhand eigener Resultate mit weniger Hardware schnell reproduzieren. Auch spielen die meisten Computerschächler bei Engine-Engine Vergleichen Blitz. Gründe wie, weniger Hardware steht zur Verfügung, möchte ein schnelles Ergebnis, will nicht lange auf Ergebnisse warten, denn sonst steht schon wieder die nächste Version an spielen da eine große Rolle.

Glaube ich hätte in der Zeit in der die SWCR läuft ca. 700.000 Blitz-Partien spielen können, vergleichbar mit den den Bedingungen der CEGT Blitz. Aber das Problem ist vielmehr, zusehen macht mir dabei keinen Spaß. Ich kann nicht mit fiebern, mit rechnen, denn die Partie ist ja schon zu Ende wenn ich beginne mal einen besseren Zug in einer laufenden Partie zu suchen. 40 in 10 (SWCR) ist schon krass und sehr hart an der Schmerzgrenze, hinsichtlich versuchen mit zuspielen.

Auch sind bei so schnellen Bedenkzeiten deutlich mehr Partien pro Engine notwendig. Das habe ich selbst anhand der einstigen SWCR Blitz-Ratingliste (schon länger eingestellt) verfolgen können. Anstatt bei 40 in 10 dann ca. 600 Partien für ein Ergebnis +-10 sind es bei CEGT Blitzbedingungen schon ca. 850 Partien. Ich hatte hier grobe Abweichungen und keinesfalls den 1/52 Fall bei 560 Partien. Das ärgerte mich und ich beendete diese Liste.

Sicherlich reizvoll viele Partien zu generieren und eine schöne Ratingliste ins Leben zu berufen. Und wie gesagt, ich denke schon das die CEGT Blitz wirklich eine Ratingliste ist, auf die sehr oft geschaut wird, aber eher von dem knallharten Computerschächler, der selbst ermittelt und vergleichen möchte, siehe weiter oben.

Was uns fehlt ist eine 40 in 20 Liste mit Ponder. Also ca. doppelte Bedenkzeit als SWCR und CEGT 40 in 20 ohne Ponder mit älterer Vergleichs-Hardware. Wäre sehr interessant eine solche Liste in die Vergleiche mit aufzunehmen. Wenn ich meine Hardware mal ändere und eine neue Liste starte werde ich die Zeit verdoppeln, wenn ich das mache ...

Gruß
Frank
Nach oben Nach unten
http://www.amateurschach.de
Gerhard Sonnabend

Gerhard Sonnabend

Anzahl der Beiträge : 123
Anmeldedatum : 17.01.11
Alter : 62
Ort : Stuttgart

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeDi Apr 26, 2011 8:28 am

Hi Frank !

Also ich persönlich brauche keine neue Liste um etwas festzustellen, was ich bereits
durch die CEGT-Blitz-Liste erfahren habe. Ich glaube übrigens auch nicht, dass man für
Blitz mehr Partien benötigt als unter längeren Bedenkzeiten. Allerdings glaube ich,
und hier liegt der Unterschied begründet, dass man egal welche Bedenkzeit zur Anwendung
kommt deutlich mehr als 1000 Games benötigt für ein einigermassen genaues Rating.

PB=on/off, Bedenkzeiten, Hardware etc. etc. sind allesamt lediglich Randerscheinungen
und für die eigentliche Messung von untergeordneter Bedeutung.

Vor langer langer Zeit habe ich mal eine sehr ausführliche Testserie durchgeführt:
die eine auf einem AMD K6-350MHz und genau dieselbe auf einem P4-2GHz. Alle Bedingungen
werden absolut identisch: Bedenkzeit, Vorgabestellungen (jeweils 100 Games pro Match),
Engines, PB=off, Grösse der HTs etc. etc.
Das Endergebnis war bis auf 5-10 Punkte Schwankung (nach 1500 Games pro Engine) identisch !

Würdest Du also heute Deine 32-Bit-Rangliste auf einem alten P3 mit 1GHz erzeugen, so würden
sich kaum messbare Unterschiede ergeben, bei gleicher Bedenkzeitwahl versteht sich.
Dies natürlich aber nur dann, so denn die Engines unter dieser alten CPU noch laufen würden.

Viele Grüsse,
G.S.
Nach oben Nach unten
http://www.pcschach.de
FaQ

FaQ

Anzahl der Beiträge : 31
Anmeldedatum : 17.01.11
Alter : 57
Ort : Trier

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeDi Apr 26, 2011 9:19 am

Gerhard Sonnabend schrieb:
Hi Frank !

Also ich persönlich brauche keine neue Liste um etwas festzustellen, was ich bereits
durch die CEGT-Blitz-Liste erfahren habe. Ich glaube übrigens auch nicht, dass man für
Blitz mehr Partien benötigt als unter längeren Bedenkzeiten. Allerdings glaube ich,
und hier liegt der Unterschied begründet, dass man egal welche Bedenkzeit zur Anwendung
kommt deutlich mehr als 1000 Games benötigt für ein einigermassen genaues Rating.

PB=on/off, Bedenkzeiten, Hardware etc. etc. sind allesamt lediglich Randerscheinungen
und für die eigentliche Messung von untergeordneter Bedeutung.

Vor langer langer Zeit habe ich mal eine sehr ausführliche Testserie durchgeführt:
die eine auf einem AMD K6-350MHz und genau dieselbe auf einem P4-2GHz. Alle Bedingungen
werden absolut identisch: Bedenkzeit, Vorgabestellungen (jeweils 100 Games pro Match),
Engines, PB=off, Grösse der HTs etc. etc.
Das Endergebnis war bis auf 5-10 Punkte Schwankung (nach 1500 Games pro Engine) identisch !

Würdest Du also heute Deine 32-Bit-Rangliste auf einem alten P3 mit 1GHz erzeugen, so würden
sich kaum messbare Unterschiede ergeben, bei gleicher Bedenkzeitwahl versteht sich.
Dies natürlich aber nur dann, so denn die Engines unter dieser alten CPU noch laufen würden.

Viele Grüsse,
G.S.

Hallo Gerhard,

die Frage ist auch immer was gemeint ist mit "einiger Maßen genaues Rating". Das fällt nach Betrachter sicherlich unterschiedlich aus. Rein aus meiner Schachpraxis kann ich selbst feststellen ob mir ein Spieler vielleicht um 100 ELO überlegen oder unterlegen ist. Denke einen Unterschied von 100 ELO nehmen wir war auch beim Zusehen von vielen Partien zweier Engines, ohne jetzt auf die Resultate zu schauen, war. Messen können wir das mit den heutigen Methoden sehr zuverlässig. Die Listen gleichen sich an und so viele Übereinstimmungen größerer Listen gab es sicherlich noch nie, weil mehr und mehr Partien pro Engines gespielt werden können. Die Organisation der Listenbetreiber ist recht unterschiedlich und wird maßgeblich von der Zeitkomponente beeinflusst bzw. von den Möglichkeiten die zur Verfügung stehen.

Bei der SWCR schwanken die Ratings schon mal öfters um 10 ELO. Erziele ich jetzt ein Ergebnis einer Engine von 2.800 ELO und das tatsächliche korrekte Resultat liegt aber um 2.810 bin ich schon sehr zufrieden und muss nicht versuchen noch genauer zu werden. Sind es aber z. B. 20 ELO fuchst mich ein solches Ergebnis schon. Wie gesagt, kam bei jetzt über 140 getesteten Engines 3x vor wenn ich betrachte ab Partienummer 560 bis weiter oben. Um die Sache dann zu einem zufriedenen Abschluss zu bringen denke ich das 800 Partien aus dieser Sichtweise mehr als ausreichend sind. Wenn es denn noch Zweifel gibt vielleicht 1.000 Partien. Liegen 1.000 Partien vor ist das Ergebnis sehr sehr gut, wenn denn möglich viele Gegner für die Ermittlung genommen wurden.

Oftmals werde ich hier auch falsch verstanden aber eine Liste sollte für einen Listenbetreiber nicht zu einem Zwang werden. Es sollte Spaß machen und dennoch sollte ein gutes Resultat ermittelt werden weil die Arbeit wäre umsonst, auch die enorm hohen Kosten für Hardware und Strom wären umsonst (wahrscheinlich eh umsonst) :-) Hobby steht ja im Vordergrund!

Denke Du stimmst mir sicherlich bei diesen Ausführungen zu.

Wenn ich den Anspruch hege, dass ich ein Ergebnis auf 5 ELO genau haben möchte, klar ... es sind mehr Partien notwendig aber was bringt mir das?
In dieser Zeit ... sehr sehr viel mehr Partien sind notwendig, könnte ich zwei andere Engines testen.

Beim Blitz ist die Partie-menge fast egal aber nicht bei den von mir verwendeten Bedenkzeit. Hier musst Du schon genauer planen und versuchen mit den geringsten Mitteln dennoch ein plausibles und gutes Resultat zu erreichen. Insofern eigentlich einfach ... mehr Gegner und weniger Partien pro Match!

Das ist sehr schlicht und recht einfach:

4.000 Partien zweier Engines ... Ratingliste mit 2 Engines ... trotz 4.000 Partien hast Du ca. 150 ELO Abweichung zum tatsächlichen Resultat.

Nun spielen die beiden Engines gegen eine dritte Engines. Allerdings haben alle drei dann je 4.000 Partien ... die Abweichung sinkt um 13 ELO und ist noch 137 ELO! Die Schwelle (kaum noch Veränderungen aufgrund der Gegner) liegt zwischen 25-27 Gegner. Bei der SWCR werden jetzt 1.000 Partien mindestens gespielt und hierfür 26 Gegner eingesetzt. Da wollte ich hin, bzw. das optimale Ergebnis meiner Auswertung letztendlich auch erzielen. Im Grunde der größte Schwachpunkt in den ersten 1 1/2 Jahren der SWCR denn ich braucht lange um das Traumergebnis der eigenen Auswertung zu erzielen (wegen den vielen Engine Updates). Ich meine 25 verschiedene Gegner ...

Und je mehr Gegner desto besser das Rating, desto weniger Partien sind irgend wann zu spielen.
Bei dem Beispiel:

Die 150 ELO Abweichung bei zwei Gegnern und je 4.000 Partien hätte ich auch bei 3.400 Partien und drei Gegner und bräuchte keine 4.000 Partien mehr um das gleich gute ELO-Ergebnis zu bewirken.

Und genau das ist ein ganz wichtiger Punkt, wird gerne vergessen, nicht gerne gesehen wird etc..

Alles das was ich erkennen kann, beeinflussen kann wird bei der SWCR gemacht bzw. versucht umzusetzen.
Beeinflussen hinsichtlich, wie kann ich mit wenig Aufwand ein besseres Rating erzielen.

Gruß
Frank
Nach oben Nach unten
http://www.amateurschach.de
Gerhard Sonnabend

Gerhard Sonnabend

Anzahl der Beiträge : 123
Anmeldedatum : 17.01.11
Alter : 62
Ort : Stuttgart

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeDi Apr 26, 2011 10:46 am

Hi Frank !

Natürlich stimme ich den Ausführungen der ersten 3 Absätze zu, dies kannst Du Dir denken.

Mit Deinen abschliessenden Bemerkungen in Bezug auf möglichst viele verschiedene Gegner
für eine Engine triffst Du ebenfalls ins Schwarze. Und genau das ist u.a. ein grosser Vorzug der
CEGT-Blitz-Liste. Derart viele unterschiedliche Gegner bekommt eine neue Engine nach kurzer
Zeit wohl in keiner anderen Liste "vorgesetzt". Und trotzdem wagen wir erst nach 1000 Games,
den Erfahrungen von über 7 Jahren geschuldet, von einem Einstiegsrating zu sprechen.
Ingo ist meist wesentlich schneller und ebenfalls bestrebt gegen möglichst viele Gegner Games
spielen zu lassen. Ich freue mich immer, dass sich seine schnellen Ergebnisse in unserer
Blitz-Liste wiederspiegeln, 2-3 Punkte hin oder her.

Viele Grüsse,
G.S.
Nach oben Nach unten
http://www.pcschach.de
FaQ

FaQ

Anzahl der Beiträge : 31
Anmeldedatum : 17.01.11
Alter : 57
Ort : Trier

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeDi Apr 26, 2011 11:04 am

Gerhard Sonnabend schrieb:
Hi Frank !

Natürlich stimme ich den Ausführungen der ersten 3 Absätze zu, dies kannst Du Dir denken.

Mit Deinen abschliessenden Bemerkungen in Bezug auf möglichst viele verschiedene Gegner
für eine Engine triffst Du ebenfalls ins Schwarze. Und genau das ist u.a. ein grosser Vorzug der
CEGT-Blitz-Liste. Derart viele unterschiedliche Gegner bekommt eine neue Engine nach kurzer
Zeit wohl in keiner anderen Liste "vorgesetzt". Und trotzdem wagen wir erst nach 1000 Games,
den Erfahrungen von über 7 Jahren geschuldet, von einem Einstiegsrating zu sprechen.
Ingo ist meist wesentlich schneller und ebenfalls bestrebt gegen möglichst viele Gegner Games
spielen zu lassen. Ich freue mich immer, dass sich seine schnellen Ergebnisse in unserer
Blitz-Liste wiederspiegeln, 2-3 Punkte hin oder her.

Viele Grüsse,
G.S.

Hi Gerhard,

wie gesagt, kommt auf die Sichtweise des Betrachters an.
1.000 Partien = Einstiegsrating ist meines Erachtens übertrieben aber im Wahn der eigenen Testarbeit zu beobachten das gerade von den langjährigen Betreibern dieser Aktivität auch mal von 500 Partien die Rede war. Später waren es dann 800 Partien und bei Prof. Hyatt sind es 10.000 Partien. Hyatt lacht dann eher über ein Resultat nach einem Test von 2.000 Partien :-)

Also das was man hat, ist das was der Maßstab für einen selbst beim Betrachten der Arbeiten anderer ist. Und ganz frei sprechen davon kann ich mich natürlich auch nicht, wenn gleich ich eher auf ein Ziel hinarbeite ... mindestens 25 Gegner pro Engine um dann zu vermeiden, dass Resultat plötzlich um 20 ELO abweichen.

Jetzt rein aus statistischer Sicht, die für mich sehr interessant ist. Interessanter sind aber die Partien und bei den Matches zuzusehen, Eindrücke zu gewinnen und das muss ich auch abdecken sonst wäre die Liste nur erstellt weil erstellt mit weniger eigenen Interesse. Zum Beispiel war die SWCR Champions-League grottenlangweilig für mich. Zusehen ging nicht, denn wer macht das wenn eine Partie 10 oder mehr Stunden läuft. Die Beobachter interessieren sich aber dafür da solche Events selten sind aber wahrscheinlich werden noch nicht mal 1% der Anwender mit solchen Konditionen selbst spielen lassen.

Kenne z. B. einen sehr gut bekannten Computerschächler :-) der uns immer Vorträge hält wie wichtig längere Bedenkzeiten sind ... aber noch nie eine solche Partie hat spielen lassen. Er selbst testet mit 2+1 und ist einer der größten Verfechter von Partien mit längeren Bedenkzeiten. Ja diese Community, ist so eigenartig das es klar ist das kaum neue Gesichter zu uns stoßen. Die wenigen neuen Gesichter haben nur andere Namen.

So genug zu diesem Thema:
Bin voll im SWCR Oldie-Mix-Turnier Rausch und freue mich schon auf dem Start am 24.05.2011. Wird AnMon 2.500 ELO erreichen? Gandalf 6 oder Ruffian 2.1.0 an die Tornado 4.40 vorbeiziehen. Können ältere Engines mit neuerer Hardware über Ihren Schatten hinaus springen und bessere Ergebnisse als erwartet produzieren? Die Wahrscheinlichkeit hierzu ist natürlich gering aber wer weiß. Aristarch ist zumindest mal ein solcher Kandidat ... überrascht oft in heutigen Turnieren mit "neueren starken" Engines.

Wird beim Zusehen wahrscheinlich viel spannender sein als bei den Turnieren der TOP-30, weil sich das Schach bei vielen der sehr starken Engines sehr angleicht.

Gruß
Frank
Nach oben Nach unten
http://www.amateurschach.de
IWB

IWB

Anzahl der Beiträge : 43
Anmeldedatum : 17.01.11

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeMi Apr 27, 2011 10:40 am

Moin,

Gerhard Sonnabend schrieb:
Hi Ingo !

IWB schrieb:

[...snip...]
Ein bischen peinlich für dich ist, das die CEGT keinen Loop 2007 als Single in der Liste hat! Tststs!

Weshalb peinlich für mich ?
Ich teste in den letzten Jahren ausschliesslich für die CEGT-Blitz-Liste,
welche für mich persönlich ohnehin die wichtigste Liste im Netz ist.
Ich kann die Jungs der 40/20 Liste jedoch sehr gut verstehen wenn sie
Loop 2007 nicht einbeziehen in die Tests, da diese Version baugleich
mit der 13.6 ist.
...

Na ja, du arbeitest an der CEGT mit und bist Loop Tester ... ein bischen mehr Einsatz ... :-)

Der Hinweis auf 2007 = 13.6 hilft mir auch nicht, die gibt es als Single in der CEGT 40/20 auch nicht!

Gruß
Ingo

Nach oben Nach unten
http://www.inwoba.de
Gerhard Sonnabend

Gerhard Sonnabend

Anzahl der Beiträge : 123
Anmeldedatum : 17.01.11
Alter : 62
Ort : Stuttgart

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeMi Apr 27, 2011 10:59 am

IWB schrieb:

Na ja, du arbeitest an der CEGT mit und bist Loop Tester ... ein bischen mehr Einsatz ... :-)
Der Hinweis auf 2007 = 13.6 hilft mir auch nicht, die gibt es als Single in der CEGT 40/20 auch nicht!

Stimmt, gerade auch entdeckt.
Ist aber nicht tragisch, da die Loop M1 als Single getestet wurde, siehe:
http://www.husvankempen.de/nunn/40_40%20Rating%20List/40_40%20All%20Versions/rangliste.html

Übrigens, "mehr Einsatz" war zu dieser Zeit nicht unbedingt angesagt,
(meine eigene Entscheidung) da ich genau zu dieser Zeit in die CEGT
eingetreten bin und deshalb die Loop-Tests den anderen überlassen habe.

Viele Grüsse,
G.S.
Nach oben Nach unten
http://www.pcschach.de
IWB

IWB

Anzahl der Beiträge : 43
Anmeldedatum : 17.01.11

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeMi Apr 27, 2011 11:16 am

Moin,

FaQ schrieb:


Bei Spike 1.4 Turin kannst Du ja mal die Konfiguration mit Deiner vergleichen. Meine Konfigurationen liegen in meinem Download-Bereich. Da bei Spike schon über 1.500 Partien gespielt werden schaut das ein wenig komisch aus aber so groß ist der Unterschied nicht.

Bei Spike gibt es nichs zu konfigurieren. Die IPON und die CEGT liegen praktich gleichauf, dann kommt die CCRL und ganz oben, als größter Abweichler, die SWCR, alle liegen aber innerhalb ihrer Errorbars, die auch nur für identische Testwiederholung gelten würden und nicht für unterschiedliche Ranglisten (da ist der mögliche Fehler eigentlich größer). Was das "identisch" betrifft habe ich es noch am einfachsten einen Test zu wiederholen. Die anderen Listen haben mit ihren Büchern Probleme einen Test zu wiederholen um Errorbars abzuklopfen (Gerhard macht da glaube ich eine Ausnahme ... und schon ist sogar seine eigene Blitzliste recht ordentlich, leider kochen an der CEGT Blitz wieder viele Köche ... schade.

FaQ schrieb:

Reitest auch gerne darauf rum, das viele Partien notwendig sind. ...Aus dem 1/52 Fall wurde mittlerweile ein 1/54 Fall. Das heißt, dass nach meinen Statistiken eine von 54 getesteten Engines nach ca. ...

Frank, ich reite nicht, sondern du hast etwas abstruse Theorien die jedem Mathematiker (der ich nicht bin) die Haare zu Berge sthen lassen, aber das ist deine ganz persönliche Zweiundfünfzigstelsache die ich nicht mehr kommentieren will, weil ich deinen Gedanken da nicht folgen kann und will. (Aber ich hoffe du merkst das ich mich darüber amüsiere!)

FaQ schrieb:

Ist doch merkwürdig nach dieser, Deiner These, das die SWCR so Nahe an IPON drann ist wenn in der SWCR keine unnötigen Partien mehr gespielt werden, oder?

Die ist nur deswegen "dran" weil sie Aufgrund der wenigen Spiele riesige Errorbars hat (wie auch die CEGT) ich beforzuge Sicherheit!

FaQ schrieb:

Was ich bei Ipon nicht verstehe ist, dass so viele unsinnige Partien gespielt werden. x-tausend Partien sind nicht notwendig.

Sie sind notwendig nach Gaus, Bayes und Wahrscheinlichkeitsrechnung. Das sie zu deiner eignen Mathematik nicht passen, dafür kann ich nichts.

FaQ schrieb:

Es wäre sehr viel interessanter wenn mehr Engines in der IPON auftauchen würden. Viele TOP-30 Programme fehlen einfach ...

Ich bin zwar kein "second place is first looser" Verfechter, aber ausser dem Programmierer und wenigen eingefleischten Enthusiasten interessiert sich kein ... Mensch für die 21ste Engine. Da bin ich harter Realist!

FaQ schrieb:

oder z. B. wird Toga getestet ...

Seit 2 Monaten nicht mehr, er ist auch nicht in meinen Top 20 erwähnt. Ich teste "intern" noch mit um sicher zu sein, aber Strelka scheint besser.

FaQ schrieb:

Da ist der Fruit vom Nachfolgeprogrammierer oder Cyclone deutlich spielstärker

Das stärkste Fruitderivate in meiner Liste wäre mindestens Rybka 2.3.2a wenn nicht sogar noch weiter oben! Warum soll ich dann Cyclone testen. Und ausserdem war die nicht von diesem merhfachertappten und immer wieder erwischtem Cloner, bin nicht sicher.

FaQ schrieb:

. Ktulu fehlt, Smarthink fehlt, ... , auch ChessTiger würde ich gerne in IPON sehen etc..

Das ist das Problem mit Unterseiten auf einer Homepage, niemand ließt sie! Punkt 5 unter Conditions!

FaQ schrieb:

Thinker fehlt, IvanHoe fehlt,

Thinker spiel ich nicht, habe ich mal angefangen, kein ordentlicher Output, die Engine nervt nur! Ivanhoe ist entweder anonym oder schlechter als der beste aus der Familie den ich schon habe. Kein Interesse.

FaQ schrieb:

Die These:
Je mehr engines gegen eine spielen desto weniger Partien sind notwendig. Also 30 Gegner, bei 40 Partien pro Match und 1.200 Partien pro Round-Robin ist nach meiner Verlaufskurve besser als 16 Gegner und die doppelte Partiemenge.

Ja, 1200 Spiele sind 1200 Spiele. Ansonsten: Conditions: Punkt 5!

Gruß
Ingo
Nach oben Nach unten
http://www.inwoba.de
FaQ

FaQ

Anzahl der Beiträge : 31
Anmeldedatum : 17.01.11
Alter : 57
Ort : Trier

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeMi Apr 27, 2011 12:28 pm

hm?!
Nach oben Nach unten
http://www.amateurschach.de
Gerhard Sonnabend

Gerhard Sonnabend

Anzahl der Beiträge : 123
Anmeldedatum : 17.01.11
Alter : 62
Ort : Stuttgart

Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitimeMi Apr 27, 2011 12:49 pm

IWB schrieb:

[...snip...]
Die anderen Listen haben mit ihren Büchern Probleme einen Test zu wiederholen um Errorbars abzuklopfen
(Gerhard macht da glaube ich eine Ausnahme ... und schon ist sogar seine eigene Blitzliste recht ordentlich
[...snip...]

Das "glaube ich" erschüttert mich nun.
Ich kenne Deine Bedingungen bezügl. der IPON sehr genau und Du schreibst über meine hier nun: "glaube ich" ...

Nicht zu fassen.
Jeder liebt halt resp. vertraut halt nur seiner eigenen Arbeit.

Vergleich zw. IPON, SWCR, CEGT und CCRL Trinken_042

Viele Grüsse,
G.S.
Nach oben Nach unten
http://www.pcschach.de
Gesponserte Inhalte




Vergleich zw. IPON, SWCR, CEGT und CCRL Empty
BeitragThema: Re: Vergleich zw. IPON, SWCR, CEGT und CCRL   Vergleich zw. IPON, SWCR, CEGT und CCRL Icon_minitime

Nach oben Nach unten
 

Vergleich zw. IPON, SWCR, CEGT und CCRL

Vorheriges Thema anzeigen Nächstes Thema anzeigen Nach oben 

 Ähnliche Themen

-
Seite 1 von 1

Befugnisse in diesem ForumSie können in diesem Forum nicht antworten
Computerschach-Board :: Hauptbereich-