3 giờ chiều ngày 6 tháng 4, Vua Hy Lạp George I tuyên bố khai mạc Đại hội thể thao Ô-lim-pích. Các quan chức Ủy ban Ô-lim-pích Quốc tế như Vikelas, Coubertin đã đến dự lễ khai mạc. Trong lễ khai mạc, đã trình diễn một bản nhạc trang nghiêm bằng nhạc cụ dây cổ điển, năm 1958 Ủy ban Ô-lim-pích Quốc tế đã chọn bản nhạc này làm bài hát chủ đề của Ô-lim-pích, người soạn nhạc là người Hy Lạp Samaras, người sáng tác lời bài hát là Palamas. Người dân Hy Lạp đã thể hiện sự cuồng nhiệt đối với Đại hội lần này, cả thảy có 80 nghìn khán giả đã đến dự lễ khai mạc, kỷ lục số người tham dự này cho đến Đại hội thể thao Ô-lim-pích Los Angeles năm 1932 mới bị phá vỡ.

Nhận lời tham dự Thế vận hội hiện đại lần đầu tiên có 311 vận động viên đến từ 13 nước như Ô-xtrây-li-a, Áo, Bun-ga-ri, Anh, Hung-ga-ri, Đức, Đan Mạch, Mỹ, Pháp, Chi-lê, Thụy Sỹ, Thụy Điển và nước chủ nhà Hy Lạp, thành viên của đoàn đại biểu Hy Lạp rất đồ sộ, cả thảy có 230 người, chiếm 2 phần 3 tổng số vận động viên; Đoàn đại biểu Đức và Pháp đều là 19 người; Mỹ có 14 người, xếp thứ 4. Vận động viên Mỹ phần lớn đều đến từ trường Đại học Ha-vớt, trường Đại học Princeton, họ đều tự túc tổ chức tham gia với mục đích du lịch ở châu Âu. Đoàn đại biểu Mỹ trước đó tưởng rằng đại hội sẽ khai mạc vào ngày 18 tháng 4, nhưng ngày 1 tháng 4 sau khi tới I-ta-li-a mới biết ngày khai mạc là ngày 6 tháng 4, vì vậy dành phải bỏ các chương trình du lịch, vội vàng sang A-ten tham dự lễ khai mạc.

Nước chủ nhà Đại hội thể thao Ô-lim-pích lần thứ nhất đã tuân theo quy chế cũ của Ô-lim-pích cũ, không cho phép nữ vận động viên tham gia. Đối với tư cách của nước tham gia, không như hiện nay, có quy định là những nước không phải là nước thành viên của Ủy ban Ô-lim-pích quốc tế thì không được tham gia. Hy Lạp đã gửi giấy mời cho các nước trên thế giới, trong đó có Trung Quốc, nhưng tuyệt đại đa số nước vì không nắm rõ tình hình Ô-lim-pích hoặc những nguyên nhân khác, đều không cử đoàn đại biểu đến dự, Trung Quốc cũng vậy. Nước láng giềng của Hy Lạp---I-ta-li-a đã cử một vận động viên Mi-lan, đây cũng là vận động viên duy nhất do I-ta-li-a cử tham gia. Nhưng Ban Tổ chức Ô-lim-pích cho rằng anh là vận động viên nhà nghề, vì vậy không cho phép anh tham gia.

Sân vận động Đá cẩm thạch A-ten là sân vận động chính của Đại hội thể thao Ô-lim-pích lần thứ nhất, sân vận động này được xây lại từ đống đổ nát của sân vận động cổ A-ten.

Đại hội thể thao Ô-lim-pích lần thứ nhất cả thảy có 9 chương trình thi đấu như điền kinh, bơi lội, cử tạ, bắn súng, xe đạp, vật cổ điển, thể dục dụng cụ, đấu kiếm và tennis, trong chương trình cũ còn có môn đua thuyền, nhưng sau lại không tổ chức. Nước chủ nhà chưa đặt ra nội dung thi chạy 200 mét, đây là lần duy nhất không có môn chạy trong lịch sử Ô-lim-pích.

Ngày 15 tháng 4, Đại hội thể thao Ô-lim-pích lần thứ nhất diễn ra trong 10 ngày đã kết thúc. Trong lễ bế mạc, Vua Hy Lạp George I đã trao tặng huy chương cho các vận động viên được giải. Lúc đó, Ủy ban Ô-lim-pích Quốc tế chưa đặt chương trình cố định, nước chủ nhà cho rằng huy chương vàng rất dung tục, chỉ làm hai loại huy chương bạc và đồng. Vận động viên đoạt giải nhất được trao tặng huy chương bạc và vòng ô-liu, vận động viên đoạt giải nhì được trao tặng huy chương đồng và vòng nguyệt quế, vận động viên đoạt giải ba chỉ được trao tặng huy chương đồng. Các vận động viên tham dự đều được phát một tấm bằng kỷ niệm.