I det här inlägget analyserar vi den process genom vilken USA Swimming fastställde kvaltiderna för USA:s olympiska lagprov 2020. Vi får reda på att USA-S påtagligt gynnade männen i tre Trials-tävlingar och kvinnorna i två. Vi kommer att upptäcka fenomen som gynnar yngre kvinnor i tävlingar utan fristil och yngre män i längre tävlingar. Dessa fenomen kombineras för att skapa större möjligheter för män under 18 år i 1500 m frisim och kvinnor under 18 år i 200 m fjäril och 400 m individuell medley. Vi kommer också att identifiera metodologiska brister i den process som USA-S använder sig av för att välja ut de uttagningar som ska göras vid 2020 års trials.
Bakgrund.
Under hösten 2018 publicerade USA Swimming en artikel som skisserade processen för att fastställa kvaltiderna för 2020 års trials med titeln ”Behind the 2020 Olympic Trials Cuts: Business, Performance and Analytics”. Enligt artikeln såddade USA-S Trials cuts med den 70:e snabbaste tiden i SWIMS för varje tävling under tävlingsåret 2018, och ökade sedan dessa tider heuristiskt:
”Vi började med den 70:e snabbaste tiden i varje tävling som vår baslinje”, säger Murphy. ”Vi gick in i databasen för 2010 och 2014 och fastställde hur många som skulle ha kvalificerat sig till Trials två år senare med hjälp av dessa tider. Med hjälp av den 70:e snabbaste tiden i varje tävling 2018 kunde vi sedan beräkna hur många simmare som skulle kvalificera sig till försöken 2020.”
Det antalet blev 1 148, 252 simmare under målet. En handfull tränare tog en titt och föreslog var man kunde göra justeringar. Det höjde prognosen till 1 219. En liten mängd hemlig sås baserad på intuition tillämpades på standarderna och prognosen ökade till 1 302.
Om den här beskrivningen är korrekt bör vi förvänta oss att varje Trials-evenemang bör ha minst 70 kvalificerade simmare under tävlingsåret 2018, och att mäns och kvinnors tävlingar bör ha liknande antal kvalificerade simmare. Låt oss följa de steg som beskrivs i artikeln.
Från Top70-tider till Trials Cuts.
Först använder vi sökningen efter bästa tider på usaswimming.org för att hitta de 70 bästa simningarna för män och kvinnor i de olympiska simtävlingarna under tävlingsåret 2018. Vi begränsar vår sökning till endast USA-S medlemmar. De tider som resulterar från denna sökning visas i tabellen nedan.
Nästan ska vi jämföra dessa topp70-tider med 2020 års uttagningar för försöken. Enligt USA-S data research manager’s beskrivning förväntar vi oss att Trials-avsnitten kommer att vara långsammare än 2018 års Top70-tider, för att kvalificera fler atleter. I den här grafen visas logaritmen för förhållandet mellan Trials cuts och Top70-tiderna. Positiva värden indikerar att trialsnittet är långsammare än motsvarande Top70-tid; negativa värden indikerar det motsatta. När värdena ligger nära varandra, vilket de gör här, ger de en korrekt uppskattning av bråkdelen av ökningen (eller minskningen) från Top70-tiden till trialsnittet. Till exempel är Trials cut i herrarnas 100 m fristil 0,010 gånger större än Top70-tiden, medan Trials cut i damernas 800 m fristil är 0,005 gånger mindre än Top70-tiden.
Denna jämförelse mellan Top70-tider och Trials-tider har två slående drag. Den första är att 800 m och 1 500 m fristil är de enda tävlingar där Trials cuts är betydligt snabbare än Top70-tiderna, både för män och kvinnor. Detta framgår av de negativa värdena i diagrammet, som visar att Trials cut är mindre än (dvs. snabbare än) Top70-tiden. Det andra kännetecknet är att USA-S ökade männens tidsnedskärningar betydligt mer från Top70-tiderna än kvinnornas. Detta framgår av de större positiva värdena i diagrammet, vilket indikerar att Trials-gränsen är mycket större än (dvs. långsammare än) Top70-tiden. Den största skillnaden mellan männens och kvinnornas justeringar finns i 50 meter och 1500 meter fristil, där USA-S ökade männens snitt med 0,9 % mer än kvinnornas. I genomsnitt är männens Trials-uttag 0,5 % högre än Top70-tiderna, medan kvinnornas endast är 0,1 % högre.
För att visualisera effekterna av dessa justeringar på idrottsutövarnas kvalifikation, plottar vi antalet USA-S-idrottare som simmade minst lika snabbt som snittet för 2020 Trials under tävlingsåret 2018. Grafen visar till exempel att Trials-avsnitten för 50 meter frisim var topp 89 för kvinnor 2018 och topp 125 för män. Trials-snittet för 1500 m var topp 40 för kvinnor 2018 och topp 54 för män.
Som i den tidigare grafen över Top70-tidsjusteringar har den här grafen två anmärkningsvärda egenskaper.
Det första anmärkningsvärda draget är att distansfriidrottstävlingarna är de enda tävlingar vars kvaltider ligger betydligt under (dvs., snabbare än) Top70-tiderna. Kvalifikationstiderna för 800 meter är topp 58 för kvinnor och topp 63 för män; kvaltiderna för 1500 meter är topp 40 för kvinnor och topp 54 för män. Distansfriidrottstävlingar är ofta värmebegränsade i åldersgruppstävlingar på grund av deras dåliga ekonomi (anmälningsavgift dividerad med pool- och volontärtid). Ett sådant ekonomiskt resonemang skulle inte gälla för Trials eftersom 70 atleter med topp70-tider skulle simma förkvalet på 800 meter fristil på drygt en timme och 1 500 meter fristil på drygt två timmar. I trialsformatet ingår förundersökningar på förmiddagen, valfria tidstester vid middagstid och finaler på kvällen. I jämförelse med åldersgruppstävlingar har Trials ett överflöd av bassängtid och tid för frivilliga, och distanserna i fristil skulle lätt kunna inkludera många fler idrottare. Dessutom skulle ett ekonomiskt resonemang inte rättfärdiga att man gynnar männen framför kvinnorna i dessa tävlingar, vilket man tycks göra i samband med trials. Det är alltså svårt att förstå varför distansfriidrottstävlingarna är så missgynnade i Trials.
Det andra anmärkningsvärda draget i föregående diagram är att USA Swimnings ad hoc-justeringar av Top70-tiderna genomgående skapade fler kvalificeringsmöjligheter för män än för kvinnor. Den enda tävling där USA Swimnings ”hemliga sås” gynnade kvinnor är 400IM, och endast med en liten mängd (0,2 %). I genomsnitt är männens Trials-uttagningar topp 90-tider medan kvinnornas bara är topp 77-tider! Vi spekulerar i att denna skillnad kan vara avsedd att kompensera för det större antalet utländska medborgare i männens Top70-tider än kvinnornas.
Låt oss titta på effekten av att inkludera utländska medborgare i Top70-tiderna. Den här grafen visar antalet utländska medborgare som ingår i Top70-tiderna för tävlingsåret 2018. Den visar att herrarnas Top70-tider inkluderar betydligt fler utländska medborgare än damernas, och att kortare tävlingar vanligtvis inkluderar fler än längre tävlingar. I genomsnitt innehåller männens Top70-tider 20,3 utländska medborgare per tävling medan kvinnornas innehåller 13,6.
Vi har sett att USA Swimming justerat Top70-tiderna för att gynna kortare tävlingar och för att gynna männens tävlingar. Följaktligen verkar dessa justeringar mildra effekterna av att inkludera utländska medborgare i deras Top70-tider. Låt oss nu överväga nettoeffekten av dessa justeringar på målpopulationen för Trials av amerikanska medborgare under tävlingsåret 2018.
Den empiriska sanningen som ligger till grund för Trials Cuts.
Denna graf visar antalet amerikanska medborgare som simmade minst lika snabbt som ett 2020 års Trials cut under tävlingsåret 2018. Försökstävlingarna är begränsade till amerikanska medborgare med pass, så den här grafen representerar resultatet av USA Swimnings process för att fastställa försökskorten med hjälp av simningar från 2018 års tävlingsår. Den visar att USA Swimming avsevärt gynnade männen i tre tävlingar och kvinnorna i två, och att USA Swimming inte korrekt upphävde effekterna av att inkludera utländska medborgare i sina ursprungliga Top70-tider.
Nästa graf visar logaritmen av förhållandet mellan mäns och kvinnors kvalificeringstal, för USA:s medborgare under tävlingsåret 2018. Positiva värden indikerar att en tävlings kvaltider gynnade männen framför kvinnorna; negativa värden indikerar det motsatta. De tre tävlingar som gynnade männen mest var 50 m, 400 m och 1 500 m fristil, där USA-S tilldelade männen 21 %, 16 % respektive 27 % fler kvalificeringstider. De två tävlingar som var mest fördelaktiga för kvinnor var 200 m fjäril och 400 m IM, där USA-S tilldelade kvinnor 16 % respektive 25 % fler kvalificerade deltagare. Totalt sett tilldelade USA-S männen 2 % fler kvalificerade deltagare än kvinnorna. Kvinnornas genomsnittliga Trials-kvaltid är en topp 62-tid för USA:s nationella mästerskap under tävlingsåret 2018 medan männens genomsnittliga Trials-kvaltid är en topp 63-tid.
Det är slående hur godtyckliga dessa Trials-kvaltider är. Varför skulle USA Swimming försöka gynna män i vissa tävlingar och kvinnor i andra? Varför göra det 29 procent lättare för män att kvalificera sig på 100 meter bröstsim än på 100 meter frisim? Om något skulle vi förvänta oss att USA Swimming skulle ge flest möjligheter till 100 och 200 meter fristil för att säkerställa optimal bemanning för sina 400 och 800 meter fristilstafetter. Det är också en besvikelse med tanke på hur lätt det skulle vara att på ett öppet sätt konstruera rättvisa, icke godtyckliga kvaltider för Trials med hjälp av de 60 bästa tiderna för USA:s nationella mästerskap under tävlingsåret 2018.
Konsekvenser för åldersgruppsatleter.
Vi ska nu se på konsekvenserna av urvalsprocessen för kvaltiderna vid Trials för idrottare under 18 år. Vi börjar med en graf som vi redan har visat, där vi räknar antalet amerikanska landslagssimmare som simmade minst lika snabbt som ett snitt för 2020 Trials under tävlingsåret 2018.
Nästan bryter vi upp de kvinnliga kvalificeringskandidaterna per åldersgrupp: 18/under och 19/över. Denna graf visar att 18/under-kvinnor hade en större andel av kvalen utan fristil medan 19/över-kvinnor hade en större andel av kvalen med fristil.
I genomsnitt tog kvinnor under 18 år 47 % av kvalifikationerna som inte var fristilskvalifikationer, men endast 30 % av kvalifikationerna som var fristilskvalifikationer. Kvinnor under 18 år var alltså de facto gynnade i de andra tävlingarna jämfört med fristilstävlingarna med en faktor på 1,6. Eftersom utvecklingsskillnaden mellan 18/under och 19/över kvinnor är liten, spekulerar vi att denna skillnad beror på en åldersberoende skillnad i träningsvanor.
Vid övergången till männen ser vi ett helt annat mönster. Grafen visar att män under 18 år hade en större andel av de längre distanskvalifikationerna (400 m, 800 m, 1 500 m frisim, 200 ryggsim, bröstsim, fjäril och 400 individuella medley) medan män över 19 år hade en större andel av de kortare distanskvalifikationerna (50 m, 100 m, 200 m frisim, 100 ryggsim, bröstsim, fjäril och 200 individuella medley).
I genomsnitt tog männen under 18 år 37 % av de längre distanskvalifikationerna men endast 27 % av de kortare distanskvalifikationerna. Således gynnades 18-åriga män de facto av de längre distanserna jämfört med de kortare distanserna med en faktor på 1,4 gånger. Vi spekulerar i att männen över 19 år i genomsnitt är starkare än männen under 18 år och föredrar att träna på kortare distanser. Som ett resultat av detta är de bästa försöksmöjligheterna för 18/under männen i de längre distanserna.
För att sammanfatta.. elitkvinnor under 18 år gynnas i de icke fristilsevenemang som inte är fristilsevenemang, medan elitmän under 18 år gynnas i de längre evenemangen som är längre än de kortare. Dessa två faktorer kombineras med USA Swimnings ”hemliga sås” för att förklara sannolikheten för att 18/undermännen ska godkännas, inklusive den tidigare noterade asymmetrin på den olympiska distansen fristil.
Låt oss börja med den tävling som är mest gynnsam för 18/undermännen: 1 500 meter fristil. USA-S ”hemliga sås” gav männen 1,27 gånger fler platser än kvinnorna i denna tävling. Männen under 18 år fick en relativt stor andel (40 %) av dessa platser för uthållighet från män över 19 år, medan kvinnorna under 18 år fick en ovanligt liten andel (30 %) av dessa platser för fristil från kvinnor över 19 år. Kombinationen av dessa tre faktorer resulterar i ett Trials-evenemang som kvalificerade 19 simningar av 18/under män under 2018 års tävlingsår och endast 10 av 18/under kvinnor, vilket uttryckligen ger 18/under män 1,9 gånger så många platser som 18/under kvinnor. I vårt nästa inlägg (länk) använder vi vår databas med 23 miljoner simningar i åldersgrupper för att oberoende beräkna att 18/under män hade 1,9 gånger så stor ovägd möjlighet som 18/under kvinnor i Trials 1500m fristil, så detta fenomen är inte begränsat till tävlingsåret 2018.
Nästan ska vi titta på den tävling som är mest gynnsam för 18/under kvinnor: 200m fjäril. USA-S ”hemliga sås” gav kvinnorna 1,16 gånger antalet platser för kvinnor i denna tävling. Kvinnor under 18 år fick en ovanligt stor andel av dessa platser utanför fristilen (55 %) jämfört med kvinnor över 19 år. Kombinationen av dessa två faktorer resulterar i ett Trials-evenemang som kvalificerade 36 simningar av 18/under-kvinnor under tävlingsåret 2018 och endast 22 av 18/under-män, vilket uttryckligen ger 18/under-kvinnor 1,6 gånger så många platser som 18/under-män. Vår databas med 23 miljoner simningar i åldersgrupper bekräftade oberoende av varandra att kvinnor under 18 år har störst sannolikhet att kvalificera sig i 200 meter fjäril, dubbelt så stor sannolikhet som män under 18 år, så detta fenomen är inte begränsat till tävlingsåret 2018.
Konsekvenser för tränare.
Jag blev förvånad över att lära mig att 18/under män presterar bäst i längre tävlingar i förhållande till 19/över män. I andra idrotter når männen sin högsta uthållighet efter sin högsta styrka, och båda dessa är långt efter 20 års ålder. VO2max börjar inte sjunka förrän efter 30 års ålder. Det nuvarande världsrekordet i maraton för män sattes av Eliud Kipchoge vid 33 års ålder! Så om naturen inte förklarar de relativt sett sämre prestationerna hos män över 19 år i de längre tävlingarna, kanske uppfostran kan förklara det. Det kan finnas en möjlighet till ett nytt tillvägagångssätt för att träna män över 19 år för att förbättra deras prestationer i längre simtävlingar.
Jag blev också förvånad över att få veta att kvinnor under 18 år presterar bäst i andra tävlingar än fri stil än kvinnor över 19 år. Varför skulle kvinnor uppleva en relativ nedgång i sin förmåga att simma ryggsim, bröstsim och fjäril efter 18 års ålder? Återigen verkar detta vara en möjlighet för en ny metod för att träna kvinnor över 19 år så att de kan utmärka sig i andra tävlingar än frisim.
Metodologiska rekommendationer.
I det här läget är det inte mer än rättvist att påpeka några brister i USA Swimnings metodik för att fastställa kvaltiderna för 2020 Trials.
Den första felet i processen är bristen på öppenhet. Att inte avslöja omvandlingen från Top70-tider till Trials-kvaltider tjänar främst till att dölja tekniska fel och politiska beslut som gynnar vissa idrottare framför andra. Det är svårt att tro att USA Swimming hade för avsikt att samtidigt gynna männen på 1500 m frisim och missgynna dem på 400 m IM. Kanske var det ett misstag? Det bästa sättet att åtgärda denna processbrist är att USA Swimming publicerar alla data och analyser som använts för att fastställa de föreslagna Trials-avstängningarna, och offentligt ber om feedback från simning- och teknikvärlden innan de slutgiltiga avstängningarna av tävlingarna fastställs.
Den andra processbristen är bristen på ansvarsskyldighet. Kärnan i ett framgångsrikt prognosarbete är att prognostisera framtida händelser och validera prognoserna. Det är bara genom att hålla en organisation ansvarig för att prognoserna är korrekta som prognoserna kan bli mer korrekta. I det här fallet hade USA Swimming internt prognostiserat antalet kvalificerade deltagare för var och en av de tjugoåtta olympiska simtävlingarna, men publicerade endast sin prognos för det totala antalet kvalificerade deltagare för alla tävlingar: 1302 totalt sett för alla tävlingar. En ansvarsfull prognosprocess skulle offentliggöra sina interna prognoser för var och en av de tjugoåtta tävlingarna, tillsammans med ett mått på osäkerheten för varje prognos.
Den första tekniska bristen är ett uppenbart misslyckande med att matcha de historiska uppgifterna med den beroende variabeln. USA Swimming inkluderade tydligen utländska medborgare i de historiska data som användes för att prognostisera antalet kvaldeltagare till 2020 Trials. Utländska medborgare kan inte kvalificera sig till U.S. Olympic Team Trials! Det vore därför bättre att göra prognosen med hjälp av historiska uppgifter om endast amerikanska medborgare, exklusive utländska medborgare. Denna enkla förändring skulle göra det möjligt att undvika behovet av tränarjusteringar och den olyckliga ”hemliga såsen baserad på intuition”.
Den andra tekniska bristen är datasparsamhet. USA Swimming använde Top70-tiderna från ett enda tävlingsår för att bestämma kvaltiderna för Trials. Vid den tidpunkten (2018) innehöll SWIMS femton års data om elittävlingar, inklusive resultaten från fyra tidigare prov för olympiska lag. Jag skulle inte bli förvånad om olympiska år har fler LCM-simningar än genomsnittet, eftersom fler idrottare försöker ta sig till Trials-uttagningar. Simningen har förändrats sedan USA Swimming började samla in data 2003, men inte så mycket att simningar före det aktuella året blir ogiltiga. Så att inkludera mer historiska data i prognosen skulle sannolikt resultera i en mer korrekt prognos.
Slutsats.
Vi har lärt oss att USA-S ”hemliga sås” uttryckligen gynnar männen på 50m, 400m och 1500m frisim och kvinnorna på 200m fjäril och 400m individuell medley. Vi har också lärt oss att kvinnor under 18 år presterar bäst i förhållande till kvinnor över 19 år i tävlingar utan fristil, medan män under 18 år presterar bäst i förhållande till män över 19 år på längre distanser. Dessa effekter kombineras multiplicativt för att något gynna kvinnor under 18 år i 200 meter fjäril och 400 meter individuell medley och kraftigt gynna män under 18 år i 1 500 meter fristil.
Vi har identifierat fyra metodologiska svagheter i den process som USA Swimming använde för att fastställa kvaltiderna för USA:s olympiska lagprov för 2020. Processen var varken öppen eller ansvarsfull. Den misslyckades med att matcha historiska data med den beroende variabeln och baserades på ett onödigt litet urval av elitsimning. Lyckligtvis är dessa metodologiska brister lätta att åtgärda och vi ser med spänning fram emot 2024 års försökssnitten.