A III. Olimpia megrendezésének kérdésében a Nemzetközi Olimpiai Bizottság úgy döntött, hogy az Egyesült Államok területén szervezi meg, mivel ez az ország a két korábbi játékon jó eredményeket mutatott be. Kezdetben Chicagóban vagy New York-ban szerették volna megrendezni az olimpiát, de ennek eredményeként a választás a kis kikötőváros, St. Louis volt.
A St. Louis-i III olimpiát a párizsi olimpiával együtt a világkiállítás keretein belül rendezték meg. A kiállítás helyi vezetése azonban nem tekintette versenytársnak, hanem éppen ellenkezőleg, minden lehetséges módon megpróbálta a játékokat saját hirdetési céljaira felhasználni. Ezenkívül a szervezők megismételték az 1900-as párizsi nyári olimpia néhány hibáját. A világkiállításhoz való kötődés miatt a versenyek háttérbe szorultak, és maga az olimpia csaknem 5 hónapig tartott (1904. július 1. - november 23.). Számos versenyt rendeztek különféle szakmai szervezetek vezetésével, ennek ellenére mindannyian elnyerték az olimpiai szakágak címét.
A NOB szerint 12 ország vett részt a St. Louis nyári játékokon. Az egyetlen állam, amely először vett részt a versenyen, Dél-Afrika volt. A párizsi olimpiához képest a résztvevő országok száma drámaian csökkent. A nyári párizsi játékokon részt vett 13 állam gazdasági okokból nem tudott eljönni St. Louisba. Az akkor Japánnal háborúban álló Oroszország nem vett részt a versenyen.
A III. Nyári olimpián összesen 651 fő vett részt, köztük 6 nő. 18 sportágban 94 díjcsomagért versenyeztek. A legnagyobb számban az Amerikai Egyesült Államok csapata volt, ők 533 embert képviseltek a játékokon. Számos sportágban (ökölvívás, birkózás, vízilabda, íjászat és tenisz) csak amerikai sportolók végeztek, így a játékok egyértelműen bizonyították az ország fölényét.
St. Louis-ban először kezdték el díjazni a három, nem pedig a két legjobb eredményt felmutató sportolót. A verseny fő nyertese aranyérmet kapott; a második helyezést elért sportoló - ezüst; a harmadik helyet pedig bronzéremmel tüntették ki. Ez a hagyomány napjainkig fennmaradt.
A nem hivatalos csapatversenyben a résztvevő országok a következőképpen helyezkedtek el: I. hely - USA (78 arany, 82 ezüst, 78 bronzérem), II hely - Németország (4 arany, 4 ezüst, 5 bronzérem), III hely - Kuba (4 arany, 2 ezüst, 3 bronzérem).
