Κατά τη συζήτηση του θέματος της διοργάνωσης της Ολυμπιάδας ΙΙΙ, η Διεθνής Ολυμπιακή Επιτροπή αποφάσισε να την οργανώσει στην επικράτεια των Ηνωμένων Πολιτειών, καθώς αυτή η χώρα παρουσίασε καλά αποτελέσματα στους δύο προηγούμενους αγώνες. Αρχικά, ήθελαν να διοργανώσουν τους Ολυμπιακούς Αγώνες στο Σικάγο ή τη Νέα Υόρκη, αλλά ως αποτέλεσμα, η επιλογή έπεσε στο μικρό λιμάνι του Σαιντ Λούις.
Η III Ολυμπιάδα στο Σεντ Λούις, μαζί με τους Ολυμπιακούς Αγώνες του Παρισιού, πραγματοποιήθηκε στο πλαίσιο της Παγκόσμιας Έκθεσης. Ωστόσο, η τοπική διεύθυνση της Έκθεσης δεν την θεωρούσε ανταγωνιστή, αλλά, αντιθέτως, προσπάθησε με κάθε δυνατό τρόπο να χρησιμοποιήσει τα παιχνίδια για τους δικούς της διαφημιστικούς σκοπούς. Επιπλέον, οι διοργανωτές επανέλαβαν μερικά από τα λάθη των Θερινών Ολυμπιακών Αγώνων του 1900 στο Παρίσι. Λόγω της προσκόλλησης στην Παγκόσμια Έκθεση, οι διαγωνισμοί προωθήθηκαν στο βάθος και οι ίδιοι οι Ολυμπιακοί Αγώνες διήρκεσαν σχεδόν 5 μήνες (1 Ιουλίου - 23 Νοεμβρίου 1904). Πολλοί διαγωνισμοί πραγματοποιήθηκαν υπό την ηγεσία διαφόρων επαγγελματικών οργανώσεων, ωστόσο, παρά το γεγονός αυτό, όλοι τους απονεμήθηκαν τον τίτλο των Ολυμπιακών κλάδων.
Σύμφωνα με τη ΔΟΕ, 12 χώρες συμμετείχαν στους θερινούς αγώνες του Σαιντ Λούις. Το μόνο κράτος που συμμετείχε στον διαγωνισμό για πρώτη φορά ήταν η Νότια Αφρική. Σε σύγκριση με τους Ολυμπιακούς Αγώνες του Παρισιού, ο αριθμός των συμμετεχουσών χωρών μειώθηκε δραματικά. Οι 13 πολιτείες που συμμετείχαν στους θερινούς αγώνες του Παρισιού δεν μπόρεσαν να έρθουν στο Σαιντ Λούις για οικονομικούς λόγους. Η Ρωσία, η οποία ήταν σε πόλεμο με την Ιαπωνία εκείνη την εποχή, δεν συμμετείχε στον διαγωνισμό.
Συνολικά 651 άτομα συμμετείχαν στους θερινούς Ολυμπιακούς Αγώνες III, συμπεριλαμβανομένων 6 γυναικών. Διαγωνίστηκαν για 94 σετ βραβείων σε 18 αθλήματα. Το πιο πολυάριθμο ήταν η ομάδα των Ηνωμένων Πολιτειών της Αμερικής, που αντιπροσώπευαν 533 άτομα στα παιχνίδια. Σε πολλά αθλήματα (πυγμαχία, πάλη, υδατοσφαίριση, τοξοβολία και τένις), μόνο Αμερικανοί αθλητές έπαιξαν, οπότε τα παιχνίδια έδειξαν σαφώς την υπεροχή της χώρας.
Στο Σεντ Λούις, για πρώτη φορά, άρχισαν να απονέμουν τους τρεις, όχι δύο, αθλητές που έδειξαν το καλύτερο αποτέλεσμα. Ο κύριος νικητής του διαγωνισμού απονεμήθηκε χρυσό μετάλλιο. ο αθλητής που πήρε τη δεύτερη θέση - ασημί? και η τρίτη θέση κέρδισε χάλκινο μετάλλιο. Αυτή η παράδοση έχει επιβιώσει μέχρι σήμερα.
Στην ανεπίσημη ομαδική διοργάνωση, οι συμμετέχουσες χώρες τοποθετήθηκαν ως εξής: Θέτω - ΗΠΑ (78 χρυσά, 82 ασημένια, 78 χάλκινα μετάλλια), II θέση - Γερμανία (4 χρυσά, 4 ασημένια, 5 χάλκινα μετάλλια), III θέση - Κούβα (4 χρυσά, 2 ασημένια, 3 χάλκινα μετάλλια).
