Počas diskusie o III. Olympijských hrách sa Medzinárodný olympijský výbor rozhodol zorganizovať ho v Spojených štátoch, keďže táto krajina vykázala dobré výsledky v predchádzajúcich dvoch hrách. Spočiatku chceli usporiadať olympijské hry v Chicagu alebo New Yorku, ale v dôsledku toho voľba padla na malé prístavné mesto St. Louis.
Olympijské hry III v St. Louis spolu s Parížom sa konali ako súčasť svetovej výstavy. Miestne vedenie výstavy ju však nepovažovalo za konkurenta, naopak sa snažilo využívať hry na svoje vlastné reklamné účely. Organizátori okrem toho zopakovali niektoré chyby letných olympijských hier 1900 v Paríži. Kvôli pripútanosti na svetovú výstavu boli súťaže odsunuté do pozadia a samotné olympiády sa natiahli takmer 5 mesiacov (od 1. júla do 23. novembra 1904). Mnoho súťaží sa konalo pod vedením rôznych profesijných organizácií, napriek tomu však všetky dostali titul olympijských disciplín.
Podľa MOV sa letných hier v St. Louis zúčastnilo 12 krajín. Prvý štát, ktorý sa zúčastnil súťaže prvýkrát, bola Južná Afrika. V porovnaní s olympijskými hrami v Paríži počet zúčastnených krajín prudko poklesol. 13 štátov zúčastňujúcich sa letných parížskych hier nemohlo prísť do St. Louis z ekonomických dôvodov. Rusko, ktoré v tom čase bojovalo s Japonskom, sa nezúčastnilo súťaží.
Na letných olympijských hrách III. Vystúpilo spolu 651 ľudí vrátane 6 žien. Súťažili o 94 sérií ocenení v 18 športoch. Najväčším tímom boli Spojené štáty americké, ktoré pri hrách zastupovali 533 ľudí. V mnohých športoch (box, zápas, vodné pólo, lukostreľba a tenis) boli výlučne americkí športovci, takže hry jasne preukazovali nadradenosť krajiny.
V St. Louis sa po prvýkrát začali odmeňovať traja, nie dvaja športovci, ktorí vykázali najlepší výsledok. Hlavným víťazom súťaže bola zlatá medaila; druhé miesto - športovec; a tretie miesto bolo ocenené bronzovou cenou. Táto tradícia sa zachovala dodnes.
V neoficiálnom poradí tímov sú zúčastnené krajiny nasledujúce: I. miesto - USA (78 zlatých, 82 strieborných, 78 bronzových medailí), II miesto - Nemecko (4 zlaté, 4 strieborné, 5 bronzových medailí), III miesto - Kuba (4 zlaté, 2 strieborné, 3 bronzové medaily).
