In dit bericht analyseren we het proces waarmee USA Swimming de kwalificatietijden voor de Amerikaanse Olympische Team Trials voor 2020 heeft bepaald. We leren dat USA-S in drie onderdelen van de trials de voorkeur geeft aan mannen en in twee aan vrouwen. We ontdekken fenomenen die in het voordeel werken van jongere vrouwen in de onderdelen zonder vrije stijl en jongere mannen in de langere onderdelen. De combinatie van deze verschijnselen creëert grotere kansen voor mannen van 18 jaar en jonger op de 1500 meter vrije slag en voor vrouwen van 18 jaar en jonger op de 200 meter vlinderslag en de 400 meter individuele wisselslag. We zullen ook de methodologische fouten identificeren in het proces dat door USA-S wordt gebruikt om de voorrondes van de 2020 Trials te selecteren.
Achtergrond.
In het najaar van 2018 publiceerde USA Swimming een artikel waarin het proces werd geschetst voor het vaststellen van de 2020 Trials kwalificatietijden, getiteld “Behind the 2020 Olympic Trials Cuts: Business, Performance and Analytics”. Volgens het artikel zaaide USA-S de Trials cuts met de 70e snelste tijd in SWIMS voor elk evenement in wedstrijdjaar 2018, en verhoogde die tijden vervolgens heuristisch:
“We begonnen met de 70e snelste tijd in elk evenement als onze basislijn,” zegt Murphy. “We zijn in de database van 2010 en 2014 gedoken en hebben aan de hand van die tijden bepaald hoeveel deelnemers zich twee jaar later voor de trials zouden hebben gekwalificeerd. Met behulp van de 70e snelste tijd in elk onderdeel in 2018, konden we vervolgens projecteren hoeveel zwemmers zich zouden kwalificeren voor de trials van 2020.”
Dat aantal kwam uit op 1.148, 252 zwemmers onder het doel. Een handvol coaches nam een kijkje en stelde voor waar aanpassingen nodig waren. Dat verhoogde de prognose naar 1.219. Een kleine hoeveelheid geheime saus op basis van intuïtie werd toegepast op de normen en de prognose steeg naar 1.302.
Als deze beschrijving klopt, moeten we verwachten dat elk Trials-evenement ten minste 70 gekwalificeerden heeft in het wedstrijdjaar 2018; en dat de mannen- en vrouwenevenementen vergelijkbare aantallen gekwalificeerden hebben. Laten we de stappen in het artikel nog eens doorlopen.
Van Top70-tijden naar Trials Cuts.
Eerst gebruiken we het zoeken naar toptijden op usaswimming.org om de top 70 zwemmen voor mannen en vrouwen te vinden voor de Olympische zwemevenementen in het wedstrijdjaar 2018. We beperken onze zoekactie tot USA-S leden. De tijden die uit deze zoekopdracht naar voren komen, staan in de tabel hieronder.
Naar aanleiding van deze Top70-tijden gaan we deze vergelijken met de voor de 2020 Trials benodigde tijden. Volgens de beschrijving van de USA-S data research manager, verwachten we dat de Trials cut langzamer zal zijn dan de 2018 Top70 tijden, om meer atleten te kwalificeren. Deze grafiek toont de logaritme van de verhouding tussen de trials en de Top70 tijden. Positieve waarden geven aan dat de Trials cut langzamer is dan de overeenkomstige Top70-tijd; negatieve waarden geven het tegenovergestelde aan. Als de waarden dicht bij elkaar liggen, zoals hier, benaderen ze nauwkeurig de toename (of afname) van de Top70-tijd tot de tijd van de Proeven. Bijvoorbeeld, de trials cut in de 100m vrije slag voor mannen is 0.010 keer groter dan de Top70 tijd, terwijl de trials cut in de 800m vrije slag voor vrouwen 0.005 keer kleiner is dan de Top70 tijd.
Deze vergelijking van Top70-tijden en Trials-coupes heeft twee opvallende kenmerken. Het eerste kenmerk is dat de 800 m en 1500 m vrije slag de enige onderdelen zijn waarvan de proeftijden aanzienlijk sneller zijn dan de Top70-tijden, zowel bij de mannen als bij de vrouwen. Dit blijkt uit de negatieve waarden op de grafiek, die aangeven dat de proeftijden korter zijn dan (d.w.z. sneller dan) de Top70-tijd. Het tweede kenmerk is dat USA-S de proeftijden van de mannen aanzienlijk meer heeft verhoogd dan de Top70-tijden van de vrouwen. Dit blijkt uit de grotere positieve waarden in de grafiek, die aangeven dat de Trials cut veel groter is dan (d.w.z. langzamer dan) de Top70-tijd. Het grootste verschil tussen de aanpassingen voor mannen en vrouwen is te vinden in de 50 en 1500 meter vrije slag, waar USA-S de proeftijden voor mannen met 0,9% meer verhoogde dan die voor vrouwen. Gemiddeld liggen de tijden van de mannen 0,5% hoger dan de Top70-tijden, terwijl die van de vrouwen slechts 0,1% hoger liggen.
Om het effect van deze aanpassingen op de kwalificatie van atleten te visualiseren, zetten we het aantal USA-S atleten uit die in het wedstrijdjaar 2018 ten minste even snel zwommen als de 2020 Trials cut. Deze grafiek laat bijvoorbeeld zien dat de trials voor de 50m vrije slag in 2018 top 89 was voor vrouwen en top 125 voor mannen. De 1500m Trials cuts waren top 40 voor vrouwen in 2018 en top 54 voor mannen.
Net als in de vorige grafiek van Top70 tijdaanpassingen, heeft deze grafiek twee opvallende kenmerken.
Het eerste opvallende kenmerk is dat de onderdelen afstandsvrije stijl de enige onderdelen zijn waarvan de kwalificatietijden aanzienlijk lager zijn dan (d.w.z., sneller zijn dan de Top70 tijden. De 800m kwalificatietijden zijn top 58 voor vrouwen en top 63 voor mannen; de 1500m kwalificatietijden zijn top 40 voor vrouwen en top 54 voor mannen. Afstandsraces op de vrije slag zijn vaak beperkt in leeftijdsgroepen omdat ze economisch niet interessant zijn (inschrijvingsgeld gedeeld door zwembad- en vrijwilligerstijd). Een dergelijke economische reden zou niet van toepassing zijn op de trials omdat 70 atleten met top 70 tijden de voorrondes van de 800m vrije slag in iets meer dan een uur en de 1500m vrije slag in iets meer dan twee uur zouden zwemmen. De trials bestaan uit voorrondes in de ochtend, optionele tijdritten in de middag en finales ’s avonds. Bij de trials is er een overschot aan zwembad- en vrijwilligerstijd in vergelijking met de wedstrijden voor de leeftijdsgroepen en er zouden gemakkelijk veel meer atleten kunnen deelnemen aan de onderdelen voor de vrije slag. Bovendien zou een economische reden niet rechtvaardigen dat in deze nummers de mannen worden bevoordeeld ten opzichte van de vrouwen, zoals bij de trials het geval lijkt te zijn. Het is dus moeilijk te begrijpen waarom de nummers voor de vrije slag tijdens de trials zo worden benadeeld.
Het tweede opvallende kenmerk van het bovenstaande diagram is dat de ad-hocaanpassingen van de Top70-tijden door USA Swimming consequent meer kwalificatiekansen voor mannen dan voor vrouwen creëerden. Het enige onderdeel waar de “geheime saus” van USA Swimming in het voordeel van de vrouwen werkte, was de 400IM, en slechts met een klein percentage (0,2%). De mannen behaalden gemiddeld 90 beste tijden bij de trials, terwijl de vrouwen slechts 77 beste tijden behaalden! Wij vermoeden dat dit verschil bedoeld is als compensatie voor het grotere aantal buitenlanders in de Top70-tijden bij de mannen dan bij de vrouwen.
Laten we eens kijken naar het effect van het opnemen van buitenlanders in de Top70-tijden. Deze grafiek toont het aantal buitenlanders dat is opgenomen in de Top70-tijden voor het wedstrijdjaar 2018. Hieruit blijkt dat de Top70-tijden van de mannen aanzienlijk meer buitenlanders bevatten dan de tijden van de vrouwen, en dat kortere evenementen er doorgaans meer bevatten dan langere evenementen. Gemiddeld bevatten de Top70-tijden van de mannen 20,3 buitenlandse deelnemers per onderdeel, terwijl dat er bij de vrouwen 13,6 zijn.
We hebben gezien dat USA Swimming de Top70-tijden heeft aangepast ten gunste van de kortere onderdelen en ten gunste van de onderdelen van de mannen. Deze aanpassingen lijken dus het effect van het opnemen van buitenlanders in hun Top70-tijden te verzachten. Laten we nu eens kijken naar het netto-effect van deze aanpassingen op de beoogde Trials-populatie van Amerikaanse staatsburgers in het wedstrijdjaar 2018.
De empirische waarheid achter de bezuinigingen op Trials.
Deze grafiek toont het aantal Amerikaanse staatsburgers die minstens even snel zwommen als een 2020 Trials cut in het wedstrijdjaar 2018. De trials zijn beperkt tot Amerikaanse staatsburgers met een paspoort, dus deze grafiek geeft het resultaat weer van het proces van USA Swimming om de trials te bepalen aan de hand van de zwemslagen van het wedstrijdjaar 2018. De grafiek laat zien dat USA Swimming mannen in drie onderdelen aanzienlijk heeft bevoordeeld en vrouwen in twee onderdelen, en dat USA Swimming de effecten van het opnemen van buitenlanders in hun aanvankelijke Top70-tijden niet nauwkeurig ongedaan heeft gemaakt.
De volgende grafiek toont de logaritme van de verhouding tussen de kwalificaties van mannen en vrouwen, voor Amerikaanse staatsburgers in het wedstrijdjaar 2018. Positieve waarden geven aan dat de kwalificatietijden van een evenement mannen bevoordelen ten opzichte van vrouwen; negatieve waarden geven het tegenovergestelde aan. De drie onderdelen die het meest in het voordeel van mannen waren, waren de 50m, 400m en 1500m vrije slag, waar USA-S mannen respectievelijk 21%, 16% en 27% meer kwalificatieplaatsen toekende. De twee onderdelen die het voordeligst waren voor vrouwen waren de 200m vlinderslag en de 400m IM, waar USA-S respectievelijk 16% en 25% meer kwalificaties toekende aan vrouwen. Over het geheel genomen kende USA-S 2% meer kwalificatieposten toe aan mannen dan aan vrouwen. De gemiddelde tijd van de vrouwen voor de trials is een top 62-tijd voor de Amerikaanse nationale ploeg in het competitiejaar 2018, terwijl de gemiddelde tijd van de mannen voor de trials een top 63-tijd is.
Het is opvallend hoe willekeurig deze kwalificatietijden voor de trials zijn. Waarom zou USA Swimming op sommige onderdelen mannen bevoordelen en op andere onderdelen vrouwen? Waarom is het voor mannen 29% gemakkelijker om zich te kwalificeren voor de 100 meter schoolslag dan voor de 100 meter vrije slag? We zouden verwachten dat USA Swimming de meeste kansen zou geven aan de 100 en 200 meter vrije slag om een optimale bezetting te garanderen voor de 400 en 800 meter vrije slag estafettes. Het is ook teleurstellend, als je bedenkt hoe gemakkelijk het zou zijn om op een transparante manier eerlijke, niet-arbitraire kwalificatietijden voor de trials te construeren aan de hand van de beste 60 tijden voor de US nationals in het competitiejaar 2018.
Gevolgen voor de atleten in de leeftijdsgroepen.
Laten we nu eens kijken naar de implicaties van het Trials kwalificatie tijd selectieproces voor 18/under atleten. We beginnen met een grafiek die we al eerder hebben laten zien, waarin het aantal Amerikaanse staatsburgers wordt geteld dat in het wedstrijdjaar 2018 minstens zo snel zwom als een kwalificatietijd voor de Trials van 2020.
Naar aanleiding hiervan splitsen we de vrouwelijke kwalificaties uit per leeftijdsgroep: 18 jaar en jonger tegenover 19 jaar en ouder. Uit deze grafiek blijkt dat 18 jaar en jonger een groter aandeel hadden in de kwalificaties voor andere dan vrije stijl, terwijl 19 jaar en ouder een groter aandeel hadden in de kwalificaties voor vrije stijl.
Gemiddeld namen 18 jaar en jonger 47% van de niet-freestyle-kwalificaties voor hun rekening, maar slechts 30% van de freestyle-kwalificaties. Dus, 18 jaar en jonger vrouwen werden de facto bevoordeeld in de niet-kür evenementen tegenover de vrije stijl evenementen met een factor van 1,6. Aangezien het verschil in ontwikkeling tussen 18 jaar en jonger en 19 jaar en ouder klein is, speculeren we dat dit verschil te wijten is aan een leeftijdsafhankelijk verschil in oefengewoonten.
Als we nu naar de mannen kijken, zien we een heel ander patroon. Uit deze grafiek blijkt dat mannen van 18 jaar en jonger een groter aandeel hadden in de kwalificaties voor de langere afstanden (400m, 800m, 1500m vrije slag; 200 rugslag, schoolslag, vlinderslag; en 400 individuele wisselslag), terwijl mannen van 19 jaar en ouder een groter aandeel hadden in de kwalificaties voor de kortere afstanden (50m, 100m, 200m vrije slag; 100 rugslag, schoolslag, vlinderslag; en 200 individuele wisselslag).
Gemiddeld namen 18-jarigen 37% van de kwalificaties voor de langere afstanden voor hun rekening, maar slechts 27% van de kwalificaties voor de kortere afstanden. 18-plussers werden dus de facto op de langere afstanden 1,4 maal bevoordeeld ten opzichte van de kortere afstanden. Wij veronderstellen dat de mannen van 19 jaar en ouder gemiddeld sterker zijn dan de mannen van 18 jaar en jonger, en bij voorkeur trainen voor de kortere afstanden. Het gevolg is dat de beste kans op trials voor 18/onder mannen op de langere afstanden ligt.
Om samen te vatten.. de elitezwemsters van 18 jaar en jonger krijgen de voorkeur in de onderdelen zonder vrije stijl boven de onderdelen met vrije stijl, terwijl de elitezwemsters van 18 jaar en jonger de voorkeur krijgen in de langere onderdelen boven de kortere. Deze twee factoren, in combinatie met het “geheime sausje” van USA Swimming, verklaren de waarschijnlijkheid dat 18-jarigen onder de 18 jaar worden toegelaten, inclusief de eerder genoemde asymmetrie in de Olympische afstandskür.
Laten we beginnen met het onderdeel dat het meest in het voordeel is van 18-jarigen onder de 18 jaar: de 1500 meter vrije slag. De USA-S “geheime saus” gaf mannen 1,27 keer het aantal vrouwen slots in dit evenement. Mannen van 18 jaar en jonger kregen een relatief groot deel (40%) van de plaatsen voor uithoudingsvermogen van mannen van 19 jaar en ouder, terwijl vrouwen van 18 jaar en jonger een ongewoon klein deel (30%) van de plaatsen voor de vrije stijl van vrouwen van 19 jaar en ouder kregen. De combinatie van deze drie factoren resulteert in een Trials evenement dat 19 swims door 18/under mannen in het 2018 competitiejaar kwalificeerde en slechts 10 door 18/under vrouwen, waardoor 18/under mannen expliciet 1,9 keer zoveel slots kregen als 18/under vrouwen. In onze volgende post (link) gebruiken we onze database met 23 miljoen zwemsessies voor leeftijdsgroepen om onafhankelijk te berekenen dat 18-jarigen onder de mannen 1,9 keer meer ongewogen kansen hadden dan 18-jarigen onder de vrouwen op de 1500m vrije slag, dus dit fenomeen is niet beperkt tot het wedstrijdjaar 2018.
Laten we nu eens kijken naar het onderdeel dat het meest in het voordeel is van 18-jarigen onder de vrouwen: de 200m vlinderslag. De “geheime saus” van USA-S gaf vrouwen 1,16 keer het aantal plaatsen voor vrouwen in dit onderdeel. Vrouwen van 18 jaar en jonger verdienden een ongewoon groot deel van die plaatsen buiten de vrije stijl (55%) tegenover vrouwen van 19 jaar en ouder. Het combineren van deze twee factoren resulteert in een Trials evenement dat 36 zwemslagen kwalificeerde door 18/under vrouwen in het competitiejaar 2018 en slechts 22 door 18/under mannen, waardoor 18/under vrouwen expliciet 1,6 keer zoveel slots kregen als 18/under mannen. Nogmaals, onze database van 23 miljoen leeftijdsgroep zwemslagen bevestigde onafhankelijk dat 18/onder vrouwen de grootste kans hebben om zich te kwalificeren in de 200m vlinderslag, twee keer zoveel als 18/onder mannen, dus dit fenomeen is niet beperkt tot het 2018 competitiejaar.
Implicaties voor coaching.
Ik was verbaasd te horen dat 18/onder mannen het best presteren in langere onderdelen in vergelijking met 19/over mannen. In andere sporten bereiken mannen hun maximale uithoudingsvermogen na hun maximale kracht, en beide ruim na hun 20e. De VO2max begint pas na de leeftijd van 30 af te nemen. Het huidige wereldrecord op de marathon voor mannen werd gevestigd door Eliud Kipchoge op 33-jarige leeftijd! Dus als de natuur geen verklaring biedt voor de relatief zwakkere prestaties van mannen van 19 jaar en ouder op de langebaanwedstrijden, kan opvoeding dat misschien wel. Misschien is er een kans voor een nieuwe aanpak bij het coachen van mannen van 19 jaar en ouder om hun prestaties in de langere zwemevenementen te verbeteren.
Ik was ook verbaasd te horen dat vrouwen van 18 jaar en jonger het beste presteren op de onderdelen vrije slag in vergelijking met vrouwen van 19 jaar en ouder. Waarom zouden vrouwen na hun 18e een relatieve achteruitgang ervaren in hun vermogen om rugslag, schoolslag en vlinderslag te zwemmen? Ook dit lijkt een kans voor een nieuwe benadering van het coachen van 19-plussers om uit te blinken in andere onderdelen dan vrije slag.
Methodologische aanbevelingen.
Op dit punt is het niet meer dan eerlijk om te wijzen op enkele gebreken in de methodologie van USA Swimming voor het vaststellen van de kwalificatietijden voor de 2020 Trials.
Het eerste gebrek in het proces is een gebrek aan transparantie. Het niet openbaar maken van de transformatie van Top70-tijden naar kwalificatietijden voor de trials dient vooral om technische fouten en politieke beslissingen te verbergen die sommige atleten bevoordelen ten opzichte van anderen. Het is moeilijk te geloven dat USA Swimming van plan was om tegelijkertijd mannen te bevoordelen op de 1500 meter vrije slag en hen te benadelen op de 400 meter IM. Misschien was het per ongeluk? De beste manier om deze tekortkoming in het proces aan te pakken is dat USA Swimming de volledige gegevens en analyses publiceert die zijn gebruikt om de voorgestelde klassementen voor de trials vast te stellen, en de zwemmers en de technische gemeenschap om feedback vraagt voordat de klassementen definitief worden vastgesteld.
Het tweede tekortkoming in het proces is een gebrek aan verantwoordelijkheid. De essentie van een succesvolle prognose is het voorspellen van toekomstige gebeurtenissen en het valideren van de prognoses. Alleen door een organisatie verantwoordelijk te houden voor de nauwkeurigheid van haar prognoses kan de nauwkeurigheid van de prognoses van een organisatie verbeteren. In dit geval heeft USA Swimming intern een prognose opgesteld voor het aantal gekwalificeerden voor de kwalificatiewedstrijden voor elk van de achtentwintig Olympische zwemevenementen, maar alleen een prognose gepubliceerd voor het totaal: 1302 gekwalificeerden voor alle kwalificatiewedstrijden. Een verantwoord prognoseproces zou zijn interne prognoses voor elk van de achtentwintig onderdelen publiceren, samen met een onzekerheidsmaat voor elke prognose.
Het eerste technische mankement is een klaarblijkelijk verzuim om de historische gegevens te koppelen aan de afhankelijke variabele. USA Swimming heeft blijkbaar buitenlandse staatsburgers opgenomen in de historische gegevens die zijn gebruikt voor de voorspelling van het aantal kwalificaties voor de Trials van 2020. Buitenlanders kunnen zich niet kwalificeren voor de U.S. Olympic Team Trials! Het zou dus beter zijn om de prognose uitsluitend te baseren op historische gegevens over Amerikaanse staatsburgers en buitenlandse staatsburgers buiten beschouwing te laten. Deze eenvoudige wijziging zou de noodzaak van aanpassingen door coaches en de ongelukkige “geheime saus op basis van intuïtie” overbodig maken.
Het tweede technische mankement is de schaarste aan gegevens. USA Swimming gebruikte Top70-tijden uit één enkel wedstrijdjaar om de kwalificatietijden voor de Trials te plaatsen. Op dat moment (2018) bevatte SWIMS vijftien jaar aan elite wedstrijdgegevens, inclusief de resultaten van vier eerdere Olympische team trials. Het zou me niet verbazen als er in Olympische jaren meer LCM-zwemtijden zijn dan gemiddeld, omdat meer atleten proberen zich te kwalificeren voor de trials. Het zwemmen is veranderd sinds USA Swimming in 2003 begon met het verzamelen van gegevens, maar niet zoveel dat zwemwedstrijden van voor het huidige jaar ongeldig worden. Het opnemen van meer historische gegevens in de prognose zou dus waarschijnlijk resulteren in een nauwkeurigere prognose.
Conclusie.
We hebben geleerd dat de USA-S “geheime saus” expliciet mannen bevoordeelt in de 50m, 400m, en 1500m vrije slag en vrouwen in de 200m vlinderslag en 400m individuele wisselslag. We hebben ook geleerd dat vrouwen van 18 jaar en jonger het best presteren ten opzichte van vrouwen van 19 jaar en ouder in de onderdelen zonder vrije slag, terwijl mannen van 18 jaar en jonger het best presteren ten opzichte van mannen van 19 jaar en ouder op de langere afstanden. De combinatie van deze effecten levert een lichte bevoordeling op van vrouwen van 18 jaar en jonger op de 200 meter vlinderslag en de 400 meter individuele wisselslag, en een sterke bevoordeling van mannen van 18 jaar en jonger op de 1500 meter vrije slag.
We hebben vier methodologische zwakke punten vastgesteld in het proces dat USA Swimming heeft gebruikt om de kwalificatietijden voor de Amerikaanse Olympische kwalificatietests voor 2020 te bepalen. Het proces was niet transparant en niet controleerbaar. Het is niet gelukt om historische gegevens te koppelen aan de afhankelijke variabele en het is gebaseerd op een onnodig kleine steekproef van elitezwemmers. Gelukkig zijn deze methodologische tekortkomingen eenvoudig te verhelpen en kijken we reikhalzend uit naar de verlagingen voor de trials van 2024.