世界同性恋运动会的历史要追溯到1982年的旧金山。当时，参加过1968年奥林匹克运动会的美国十项全能比赛的汤姆·瓦多尔开始筹备第一届“同性恋奥林匹克运动会”(Gay Olympics)。然而在命名阶段，他就遭遇了挫折。美国奥林匹克委员会赢得联邦法院的禁止令，阻止使用“奥林匹克”这个词，于是便有了现在的Gay Games这个名字。名称的被迫变更并没有影响大会的举办。

     1982年9月，第一届Gay Games——“挑战”在旧金山凯萨体育馆揭幕。12个国家179个城市的1350名运动员在11个项目中竞技；300多人参与了文化活动。1986年8 月，同在旧金山，第二届Gay Games——“凯旋”以三倍于第一届的规模，吸引了17个项目的3500名参赛者。这也是创始人汤姆· 瓦多尔最后一次参加该运动会。

     1994年，第四届Gay Games——“团结”震撼了纽约市，参与人数竟超过了1992年的巴塞罗那奥运会。共有10862名运动员在35类的体育项目中角逐，1500人参加文化活动，此外，还有2000名志愿人员、2000名记者和25000名观赛者。据报道，这次比赛对纽约市贡献了近4亿美元的产值。

      2001年，世界同性恋运动会联盟(FGG)将2006年第七届Gay Games的主办权授予加拿大的蒙特利尔市，但后又在2003年将主办权收回，并选择了美国芝加哥作为举办地。蒙特利尔组委会心有不甘，决定在不经FGG 批准的情况下，继续举办一个全世界范围内的同志体育、文化盛会，由此便诞生了第一届World Outgames。从1982年首届Gay Games至今，全世界已举办10届世界性同性恋运动会，其中包括8届Gay Games和2届World Outgames。