Xanh Lu-i là thành phố lớn thứ 8 của Mỹ, nằm bên bờ sông Mi-xi-xi-pi, giao thông thuận tiện, công nghiệp phát triển. Thế kỷ 18 thành phố này nằm trong sự cai quản của Pháp, từng là thị trường giao dịch hàng da. Năm 1803 được trao trả cho Mỹ. Thành phố này kém xa Chi-ca-gô cả về dân số lẫn kinh tế, những lại giành được quyền đăng cai chủ yếu là thành phố này vốn dự định tổ chức Hội chợ thế giới kỷ niệm 100 năm ngày thành lập thành phố năm 1903 đã lùi lại tổ chức vào năm 1904. Người tổ chức mong Hội chợ và thế vận hội cùng tổ chức để tăng thêm sôi nổi.

Thế vận hội lần này diễn ra từ ngày 1-7 đến ngày 23-11 năm 1904, kéo dài trong hơn 5 tháng, là thế vận hội dài nhất trong lịch sử ô-lim-pích. Có 13 quốc gia tham gia, là thế vận hội có số quốc gia tham gia ít nhất. Nước chủ nhà từng nêu ra sẽ cử tàu đi đón các vận động viên châu Âu, nhưng cuối cùng chỉ là lời hứa suông.

Do cách xa muôn trùng, chi phí cho đi lại đắt đỏ cộng thêm cuộc chiến tranh giữa Nga và Nhật đang diễn ra khốc liệt, nên nhiều nước châu Âu trong đó có Pháp đều không tham gia. Chỉ có 7 nướ cử vận động viên là nước Anh cử một vận động viên, Đức 17 vận động viên, Hy Lạp 14, Na-uy 2, Áp 2, Hung-ga-ri 4 và Thụy Sĩ 1. Tổng cộng châu Âu chỉ cử 41 vận động viên. Trong đó có nhiều vận động viên là cư trú tại Mỹ hoặc lưu học sinh. Ngoài châu Âu ra còn có 5 nước khac tham gia là nước chủ nhà, Cu-ba, Ca-na-đa, Ô-xtrây-li-a và Nam Phi lần đầu tiên tham gia thế vận hội.