הוועד האולימפי הבינלאומי מורכב כיום מ-115 חברים, 70 מתוכם נבחרים על בסיס אישי והאחרים הם נציגי פדרציות ספורט בינלאומיות, נציגי ועדים אולימפיים לאומיים וספורטאים אולימפיים. נשיא הוועד הוא תומאס באך מגרמניה, שנבחר ב-2013. נשיא הכבוד של הוועד לכל חייו, עד מותו ב-2010, היה חואן אנטוניו סמאראנש, שכיהן בתפקיד הנשיא במשך 21 שנים לפני ז'אק רוג, ואחראי במידה רבה לשינויים שעברו על המשחקים האולימפיים מאז תחילת שנות ה-80.

החברים בוועד, למעט הספורטאים האולימפיים, נבחרים על ידי חברי הוועד עצמו, על פי המלצת ועדת המינויים. אלה שנבחרו על בסיס אישי יכולים לכהן בוועד עד גיל 70, ואילו אלה שנבחרו בתוקף תפקידם מסיימים את חברותם בוועד כאשר הם מסיימים את התפקיד שבזכותו נבחרו לוועד. נציגי הספורטאים האולימפיים נבחרים על ידי הספורטאים עצמם ותקופת כהונתם היא 8 שנים. בעבר נבחרו חברי הוועד לכל תקופת חייהם, ומבנה זה גרם לבעיות רבות כדוגמת השארת מקורבי היטלר ומוסוליני בוועד לאחר נפילת המשטרים ומניעת השתתפות ישראל באולימפיאדת לונדון (1948).