W tym poście przeanalizujemy proces, w którym USA Swimming ustaliło czasy kwalifikacyjne dla amerykańskiej reprezentacji olimpijskiej 2020. Dowiemy się, że USA-S znacząco faworyzowało mężczyzn w trzech imprezach próbnych i kobiety w dwóch. Odkryjemy zjawiska, które faworyzują młodsze kobiety w konkurencjach innych niż styl dowolny i młodszych mężczyzn w dłuższych konkurencjach. Te zjawiska łączą się, aby stworzyć większe możliwości dla mężczyzn poniżej 18 roku życia w 1500m stylem dowolnym i kobiet poniżej 18 roku życia w 200m stylem motylkowym i 400m medalem indywidualnym. Zidentyfikujemy również wady metodologiczne w procesie używanym przez USA-S do selekcji próbnych zawodów w 2020 roku.
Tło.
Jesienią 2018 roku USA Swimming opublikowało artykuł szkicujący proces ustalania czasów kwalifikacyjnych do Triali 2020 zatytułowany „Behind the 2020 Olympic Trials Cuts: Business, Performance and Analytics”. Zgodnie z artykułem, USA-S zasiało cięcia Trials z 70. najszybszym czasem w SWIMS dla każdego wydarzenia w roku zawodów 2018, a następnie zwiększyło te czasy heurystycznie:
„Zaczęliśmy od 70. najszybszego czasu w każdym wydarzeniu jako naszego punktu odniesienia” – mówi Murphy. „Weszliśmy do bazy danych dla 2010 i 2014 roku i ustaliliśmy, ilu zakwalifikowałoby się do Prób dwa lata później, używając tych czasów. Używając 70. najszybszego czasu w każdym wydarzeniu w 2018 roku, mogliśmy następnie przewidzieć, jak pływacy zakwalifikowaliby się do Prób w 2020 roku.”
Ta liczba przyszła do 1,148, 252 pływaków poniżej celu. Garstka trenerów przyjrzała się temu i zasugerowała, gdzie należy wprowadzić poprawki. To podniosło prognozę do 1,219. Niewielka ilość tajnego sosu opartego na intuicji została zastosowana do standardów i projekcja wzrosła do 1,302.
Jeśli ten opis jest poprawny, powinniśmy oczekiwać, że każde wydarzenie Trials powinno mieć co najmniej 70 kwalifikatorów w roku konkursowym 2018; i że wydarzenia mężczyzn i kobiet powinny mieć podobną liczbę kwalifikatorów. Prześledźmy kroki przedstawione w artykule.
Od Top70 Times do Trials Cuts.
Po pierwsze, użyjemy wyszukiwania najlepszych czasów na usaswimming.org, aby znaleźć 70 najlepszych męskich i żeńskich pływaków dla olimpijskich wydarzeń pływackich w roku 2018. Ograniczymy nasze wyszukiwanie tylko do członków USA-S. Czasy wynikające z tego wyszukiwania są pokazane w poniższej tabeli.
Następnie porównamy te Top70 czasy z wycinkami z Prób 2020. Zgodnie z opisem kierownika badań danych USA-S, oczekujemy, że cięcia prób będą wolniejsze niż czasy Top70 z 2018 roku, aby zakwalifikować więcej zawodników. Ten wykres przedstawia logarytm stosunku czasów próbnych do czasów Top70. Wartości dodatnie wskazują, że czas próby jest wolniejszy niż odpowiadający mu czas Top70; wartości ujemne wskazują na odwrotną sytuację. Kiedy wartości są zbliżone, tak jak tutaj, dokładnie przybliżają wzrost (lub spadek) frakcji od czasu Top70 do czasu próbnego. Na przykład, czas próby dla mężczyzn na 100m stylem dowolnym jest 0.010 razy większy niż czas Top70, podczas gdy czas próby dla kobiet na 800m stylem dowolnym jest 0.005 razy mniejszy niż czas Top70.
To porównanie czasów Top70 i cięć próbnych ma dwie uderzające cechy. Pierwszą cechą jest to, że 800m i 1500m stylem dowolnym są jedynymi zawodami, w których czasy próbne są znacznie szybsze niż czasy Top70, zarówno dla mężczyzn jak i kobiet. Jest to pokazane przez ujemne wartości na wykresie, które wskazują, że czas próbny jest krótszy (tj. szybszy) niż czas Top70. Drugą cechą jest to, że USA-S zwiększyło czas próbny mężczyzn znacznie bardziej od czasu Top70 niż kobiet. Jest to pokazane przez większe wartości dodatnie na wykresie, które wskazują, że czas próby jest znacznie większy (tj. wolniejszy) niż czas Top70. Największe różnice między korektami dla mężczyzn i kobiet występują na 50m i 1500m stylem dowolnym, gdzie USA-S zwiększyło cięcia dla mężczyzn o 0.9% więcej niż dla kobiet. Średnio wyniki Trialu mężczyzn są o 0,5% wyższe niż Top70, podczas gdy kobiet tylko o 0,1%.
Aby zwizualizować wpływ tych korekt na kwalifikacje zawodników, wykreślamy liczbę zawodników USA-S, którzy pływali co najmniej tak szybko, jak wycięcie próbne 2020 w roku zawodów 2018. Ten wykres pokazuje na przykład, że cięcia próbne dla 50m stylem dowolnym były najlepsze 89 dla kobiet w 2018 roku i najlepsze 125 dla mężczyzn. Cięcia Próbne na 1500m były top 40 dla kobiet w 2018 roku i top 54 dla mężczyzn.
Podobnie jak w poprzednim wykresie korekt czasu Top70, ten wykres ma dwie godne uwagi cechy.
Pierwszą godną uwagi cechą jest to, że zawody na dystansie stylem dowolnym są jedynymi zawodami, których czasy kwalifikacji są znacznie poniżej (tzn, szybciej niż czasy Top70. Czasy kwalifikacyjne na 800m są top 58 dla kobiet i top 63 dla mężczyzn; czasy kwalifikacyjne na 1500m są top 40 dla kobiet i top 54 dla mężczyzn. Zawody na dystansie dowolnym są często ograniczane w grupach wiekowych ze względu na ich niską ekonomię (opłata startowa podzielona przez czas pracy wolontariuszy). Takie ekonomiczne uzasadnienie nie miałoby zastosowania w przypadku prób, ponieważ 70 zawodników z najlepszymi czasami 70 przepłynęłoby eliminacje 800m stylem dowolnym w nieco ponad godzinę, a 1500m stylem dowolnym w nieco ponad dwie godziny. Format prób przewiduje poranne eliminacje, opcjonalne próby czasowe w południe i finały w nocy. W porównaniu z zawodami dla grup wiekowych, podczas prób brakuje czasu na basenie i wolontariuszy, a w zawodach na dystansie stylem dowolnym mogłoby wziąć udział znacznie więcej zawodników. Ponadto względy ekonomiczne nie usprawiedliwiałyby faworyzowania mężczyzn w stosunku do kobiet w tych zawodach, jak to ma miejsce w przypadku zawodów próbnych. Trudno więc zrozumieć, dlaczego zawody na dystansie stylem dowolnym są tak upośledzone w Próbach.
Drugą godną uwagi cechą poprzedniego wykresu jest to, że doraźne poprawki USA Swimming do Top70 czasów konsekwentnie tworzyły więcej możliwości kwalifikacyjnych dla mężczyzn niż kobiet. Jedynym wydarzeniem, w którym „sekretny sos” USA Swimming faworyzował kobiety jest 400IM, i to tylko w niewielkim stopniu (0,2%). Średnio, mężczyźni w eliminacjach są 90 razy najlepsi, podczas gdy kobiety tylko 77 razy! Spekulujemy, że ta dysproporcja może mieć na celu zrekompensowanie większej liczby obcokrajowców w Top70 mężczyzn niż kobiet.
Spójrzmy na efekt włączenia obcokrajowców w Top70 czasów. Ten wykres przedstawia liczbę obcokrajowców uwzględnionych w Top70 czasów w roku zawodów 2018. Pokazuje on, że w męskim Top70 czasów znajduje się znacznie więcej obcokrajowców niż w przypadku kobiet oraz że krótsze wydarzenia zazwyczaj zawierają ich więcej niż dłuższe wydarzenia. Średnio Top70 mężczyzn zawiera 20,3 obcokrajowców na wydarzenie, podczas gdy kobiety zawierają 13,6.
Widzieliśmy, że USA Swimming dostosowało Top70 czasów, aby faworyzować krótsze wydarzenia i faworyzować wydarzenia mężczyzn. Odpowiednio, te poprawki wydają się łagodzić skutki włączenia obcokrajowców do ich Top70. Rozważmy teraz efekt netto tych poprawek na docelową populację amerykańskich zawodników w roku 2018.
Prawda empiryczna leżąca u podstaw cięć w Próbach.
Ten wykres przedstawia liczbę obywateli USA, którzy popłynęli co najmniej tak szybko, jak wycinek próbny 2020 w roku zawodów 2018. Próby są ograniczone do obywateli USA posiadających paszport, więc ten wykres przedstawia końcowy wynik procesu USA Swimming w celu ustalenia cięć próbnych przy użyciu pływaków z roku 2018. Pokazuje on, że USA Swimming znacznie uprzywilejowało mężczyzn w trzech wydarzeniach i kobiety w dwóch, a także, że USA Swimming nie dokładnie cofnęło efekty włączenia obcokrajowców do ich początkowych Top70 czasów.
Następny wykres przedstawia logarytm stosunku kwalifikacji mężczyzn do kobiet, dla obywateli USA w roku zawodów 2018. Wartości dodatnie wskazują, że czasy kwalifikacyjne wydarzenia faworyzowały mężczyzn nad kobietami; wartości ujemne wskazują na odwrotną sytuację. Trzy wydarzenia najbardziej korzystne dla mężczyzn to 50m, 400m i 1500m stylem dowolnym, gdzie USA-S przydzieliło mężczyznom odpowiednio 21%, 16% i 27% więcej kwalifikatorów. Dwa wydarzenia najkorzystniejsze dla kobiet to 200m motylkiem i 400m IM, gdzie USA-S przydzieliło kobietom odpowiednio 16% i 25% więcej kwalifikantów. Ogólnie, USA-S przydzieliło mężczyznom 2% więcej kwalifikatorów niż kobietom. Średni czas kobiet w Trialu to 62 najlepszy czas na US nationals w roku zawodów 2018, podczas gdy średni czas mężczyzn w Trialu to 63 najlepszy czas.
Uderzające jest to, jak arbitralne są te czasy kwalifikacji do Trialu. Dlaczego USA Swimming miałoby faworyzować mężczyzn w niektórych zawodach, a kobiety w innych? Dlaczego mężczyźni mają o 29% łatwiej zakwalifikować się na 100m stylem piersiowym niż na 100m stylem dowolnym? W zasadzie można by oczekiwać, że USA Swimming przyzna najwięcej szans na 100 i 200m stylem dowolnym, aby zapewnić optymalną obsadę dla swoich sztafet na 400 i 800m stylem dowolnym. Jest to również rozczarowujące, biorąc pod uwagę, jak łatwo byłoby transparentnie skonstruować sprawiedliwe, niearbitralne czasy kwalifikacyjne Trials używając top 60 czasów dla US nationals w roku 2018.
Implikacje dla Age Group Athletes.
Zastanówmy się teraz nad konsekwencjami procesu selekcji czasów kwalifikacyjnych do Prób dla zawodników 18/under. Zaczniemy od wykresu, który już pokazywaliśmy, a który liczy liczbę reprezentantek USA, które pływały co najmniej tak szybko, jak czas kwalifikacji do Trialu 2020 w roku startowym 2018.
Następnie rozbijemy kwalifikacje kobiet według grup wiekowych: 18/under verus 19/over. Ten wykres pokazuje, że kobiety 18/under miały większy udział w kwalifikacjach non-freestyle, podczas gdy kobiety 19/over miały większy udział w kwalifikacjach freestyle.
Średnio, kobiety 18/under zajęły 47% kwalifikacji non-freestyle, ale tylko 30% kwalifikacji freestyle. Tak więc, kobiety 18/under były de facto faworyzowane w zawodach non-freestyle w porównaniu do zawodów freestyle’owych przez współczynnik 1,6. Ponieważ różnica w rozwoju pomiędzy kobietami 18/under i 19/over jest niewielka, spekulujemy, że różnica ta wynika z zależnej od wieku różnicy w nawykach treningowych.
Przechodząc teraz do mężczyzn, widzimy zupełnie inny wzór. Ten wykres pokazuje, że mężczyźni 18/under mieli większy udział w kwalifikacjach na dłuższych dystansach (400m, 800m, 1500m stylem dowolnym; 200 grzbietowym, piersiowym, motylkowym; i 400 medalem indywidualnym), podczas gdy mężczyźni 19/over mieli większy udział w kwalifikacjach na krótszych dystansach (50m, 100m, 200m stylem dowolnym; 100 grzbietowym, piersiowym, motylkowym; i 200 medalem indywidualnym).
Średnio, 18/under mężczyźni zajęli 37% kwalifikacji na dłuższych dystansach, ale tylko 27% kwalifikacji na krótszych dystansach. Tak więc, 18/under mężczyźni byli de facto faworyzowani na dłuższych dystansach w stosunku do krótszych o współczynnik 1,4 razy. Spekulujemy, że mężczyźni powyżej 19 roku życia są średnio silniejsi niż mężczyźni poniżej 18 roku życia i wolą trenować na krótszych dystansach. W rezultacie, najlepsze możliwości trialowe dla mężczyzn 18/under są na dłuższych dystansach.
Podsumowując.. elite 18/under kobiety są faworyzowane w zawodach non-freestyle w stosunku do zawodów freestyle, podczas gdy elite 18/under mężczyźni są faworyzowani w dłuższych zawodach w stosunku do krótszych. Te dwa czynniki łączą się z „tajnym sosem” USA Swimming, aby wyjaśnić prawdopodobieństwo akceptacji zdarzeń 18/under, w tym wcześniej zauważoną asymetrię olimpijskiego dystansu stylem dowolnym.
Zacznijmy od zdarzenia najbardziej korzystnego dla 18/under mężczyzn: 1500m stylem dowolnym. Sekretny sos” USA-S dał mężczyznom 1,27 razy więcej miejsc niż kobietom w tej konkurencji. Mężczyźni 18/under zdobyli relatywnie duży udział (40%) w slotach wytrzymałościowych od mężczyzn 19/over, podczas gdy kobiety 18/under zdobyły niezwykle mały udział (30%) w slotach w stylu dowolnym od kobiet 19/over. Połączenie tych trzech czynników skutkuje wydarzeniem Trials, które zakwalifikowało 19 pływania przez 18/under mężczyzn w roku 2018 i tylko 10 przez 18/under kobiet, tym samym wyraźnie przyznając 18/under mężczyznom 1,9 razy więcej slotów niż 18/under kobietom. W naszym następnym poście (link), używamy naszej bazy danych 23 milionów pływaków grup wiekowych, aby niezależnie obliczyć, że 18/under mężczyźni mieli 1,9 razy więcej nieważonych szans niż 18/under kobiety w Próbach 1500m stylem dowolnym, więc to zjawisko nie jest ograniczone do roku konkursowego 2018.
Następnie rozważmy wydarzenie najbardziej korzystne dla 18/under kobiet: 200m motylkiem. Sekretny sos” USA-S dał kobietom 1,16 razy więcej slotów niż wynosiła liczba miejsc dla kobiet w tej konkurencji. Kobiety w kategorii 18/under zdobyły wyjątkowo dużo miejsc w stylu dowolnym (55%) w porównaniu z kobietami w kategorii 19/over. Połączenie tych dwóch czynników skutkuje wydarzeniem Trials, które zakwalifikowało 36 pływania przez kobiety 18/under w roku zawodów 2018 i tylko 22 przez mężczyzn 18/under, tym samym wyraźnie przyznając 18/under kobietom 1,6 razy więcej slotów niż 18/under mężczyznom. Ponownie, nasza baza danych 23 milionów pływania w grupach wiekowych niezależnie potwierdziła, że kobiety 18/under mają największe prawdopodobieństwo zakwalifikowania się w 200m motylkowym, dwa razy większe niż mężczyźni 18/under, więc to zjawisko nie jest ograniczone do roku zawodów 2018.
Implikacje dla Trenerów.
Zdziwiła mnie informacja, że 18/under mężczyźni osiągają najlepsze wyniki w dłuższych wydarzeniach w stosunku do 19/over mężczyzn. W innych sportach, mężczyźni osiągają szczytową wytrzymałość po osiągnięciu szczytowej siły, a w obu przypadkach po 20 roku życia. VO2max zaczyna spadać dopiero po 30 roku życia. Obecny rekord świata w maratonie mężczyzn został ustanowiony przez Eliuda Kipchoge w wieku 33 lat! Jeśli więc natura nie tłumaczy relatywnie słabszych wyników mężczyzn powyżej 19 roku życia w dłuższych zawodach, to być może natura może. Być może istnieje szansa na nowe podejście do trenowania mężczyzn powyżej 19 roku życia, aby poprawić ich wyniki w dłuższych zawodach pływackich.
Byłem również zaskoczony, aby dowiedzieć się, że 18/under kobiety wykonują najlepiej w non-freestyle wydarzenia w stosunku do 19/over kobiet. Dlaczego kobiety miałyby doświadczać względnego spadku zdolności do pływania stylem grzbietowym, piersiowym i motylkowym po 18 roku życia? Ponownie, wydaje się, że jest to szansa na nowe podejście do trenowania kobiet powyżej 19 roku życia, aby doskonalić się w konkurencjach innych niż styl dowolny.
Zalecenia metodologiczne.
W tym momencie należy wskazać na pewne wady metodologii USA Swimming w ustalaniu czasów kwalifikacji do prób w 2020 roku.
Pierwszą wadą procesu jest brak przejrzystości. Nieujawnienie transformacji z czasów Top70 na czasy próbne służy przede wszystkim ukryciu błędów technicznych i decyzji politycznych, które faworyzują jednych sportowców kosztem innych. Trudno uwierzyć, że USA Swimming zamierzało jednocześnie faworyzować mężczyzn na 1500m stylem dowolnym i defaworyzować ich na 400m IM. Może to był błąd? Najlepszym sposobem na rozwiązanie tego problemu jest opublikowanie przez USA Swimming pełnych danych i analiz użytych do ustalenia proponowanych cięć próbnych oraz publiczne zwrócenie się o opinię do społeczności pływackiej i technicznej przed sfinalizowaniem cięć spotkań.
Drugą wadą procesu jest brak odpowiedzialności. Istotą udanego wysiłku prognozowania jest przewidywanie przyszłych wydarzeń i zatwierdzanie prognoz. Tylko poprzez rozliczanie organizacji z dokładności prognoz można poprawić dokładność prognoz organizacji. W tym przypadku USA Swimming wewnętrznie przewidziało liczbę kwalifikatorów do prób dla każdej z dwudziestu ośmiu olimpijskich imprez pływackich, ale opublikowało swoją prognozę tylko dla całości: 1302 łącznych kwalifikatorów we wszystkich imprezach próbnych. Odpowiedzialny proces prognozowania opublikowałby swoje wewnętrzne prognozy dla każdej z dwudziestu ośmiu imprez próbnych, wraz z miarą niepewności dla każdej prognozy.
Pierwszą wadą techniczną jest oczywisty brak dopasowania danych historycznych do zmiennej zależnej. USA Swimming najwyraźniej uwzględniło obcokrajowców w danych historycznych używanych do prognozowania liczby kwalifikatorów do prób w 2020 roku. Obcokrajowcy nie mogą zakwalifikować się do amerykańskiej reprezentacji olimpijskiej! Zatem lepszym podejściem byłoby stworzenie prognozy z wykorzystaniem danych historycznych dotyczących tylko obywateli USA, z wyłączeniem obcokrajowców. Ta prosta zmiana wyeliminowałaby potrzebę korekty trenerów i niefortunny „tajny sos oparty na intuicji”.
Drugą wadą techniczną jest brak danych. USA Swimming użyło Top70 czasów z jednego roku zawodów, aby wysiać czasy kwalifikacyjne do Trials. W tym czasie (2018), SWIMS zawierał piętnaście lat danych z zawodów elitarnych, w tym wyniki czterech poprzednich olimpijskich prób drużynowych. Nie zdziwiłbym się, gdyby lata olimpijskie miały więcej LCM swims niż średnia, ponieważ więcej sportowców próbuje zrobić cięcia Trials. Pływanie zmieniło się od czasu, gdy USA Swimming zaczęło zbierać dane w 2003 roku, ale nie na tyle, by unieważnić pływanie przed bieżącym rokiem. Tak więc włączenie większej ilości danych historycznych do prognozy prawdopodobnie zaowocowałoby dokładniejszą prognozą.
Wnioski.
Dowiedzieliśmy się, że USA-S „secret sauce” wyraźnie faworyzuje mężczyzn na 50m, 400m, i 1500m stylem dowolnym i kobiety na 200m motylkiem i 400m indywidualnym medalem. Dowiedzieliśmy się również, że kobiety poniżej 18 roku życia osiągają najlepsze wyniki w porównaniu do kobiet powyżej 19 roku życia w konkurencjach innych niż styl dowolny, podczas gdy mężczyźni poniżej 18 roku życia osiągają najlepsze wyniki w porównaniu do mężczyzn powyżej 19 roku życia na dłuższych dystansach. Te efekty łączą się mnożnikowo, aby nieznacznie faworyzować kobiety 18/under na 200m motylkiem i 400m indywidualnym medalem i znacznie faworyzować mężczyzn 18/under na 1500m stylem dowolnym.
Zidentyfikowaliśmy cztery metodologiczne słabości w procesie USA Swimming używanym do określania czasów kwalifikacyjnych dla prób Drużyny Olimpijskiej USA 2020. Proces ten nie był ani przejrzysty, ani odpowiedzialny. Nie udało się dopasować danych historycznych do zmiennej zależnej i był oparty na niepotrzebnie małej próbce elitarnych pływaków. Na szczęście te wady metodologiczne są łatwe do naprawienia i z niecierpliwością czekamy na 2024 próbne cięcia.