由于近几届奥运会耗资不断加大以及政治因素的干扰，使得办奥运会的城市望而却步，越来越少。
1984年奥运会的申办城市原有两家，除了洛杉矶外，还有伊朗的德黑兰。
但出于上述种种原因，德黑兰中途退出，因此在1978年国际奥委会雅典年会上，洛杉矶在没有对手的情况下获得了1984年第23届奥运会的承办权。
1932年洛杉矶曾主办过第十届奥运会，52年后，奥林匹克圣火再次在这里燃起，使它成为继巴黎、伦敦之后，第三个举行两届夏季奥运会的城市。
雅典会议以后，洛杉矶开始了全面的筹划工作，首先成立了筹备委员会。1979年邀请金融人士，45岁的彼得.尤伯罗斯担任了筹委会主席。
这位体坛默默无闻者，富有远见卓识，在这次筹备组织工作中，特别是财政管理上，表现出了杰出的才华，从而一举闻名于世。
奥运会的花费是巨大的，近几届更是如此。1972年慕尼黑奥运会花了10亿美元，1976年蒙特利尔奥运会花了二十多亿美元，1980年莫斯科奥运会竟然花了九十多亿美元。
尤伯罗斯任主席后，面临的第一个难题是经费来源。本届洛杉矶奥运会是1896年奥运会创办以来首次由民间承办的运动会，既无政府补贴，又不能增加纳税人负担。加之美国法律还禁止发行彩票，一切资金就得自行筹措。
尤伯罗斯领导这个委员会白手起家，广开财源，采取了很多卓有成效的措施:与企业集团订立资助协议；出售电视广播权和比赛门票；压缩各项开支；充分利用现有设施，尽量不修建体育场馆；不新盖奥林匹克村；租借加州两座大学宿舍供运动员，官员住宿；招募志愿人员为大会义务工作等。
本届奥运会的总预算为4.5亿美元，原来尤伯罗斯计划以他的经营方式，收支相抵后尚可盈余1.5亿美元。
但据1984年12月19日洛杉矶奥运会组委会公布的材料盈余约为2.5亿美元。尤伯罗斯因此名声大振，被民间誉为奥运经营之神。
尤伯罗斯以特殊的经营方式为奥运会顺利度过困难时期做出了巨大贡献，为此国际奥委会向其颁发了奥林匹克金质勋章。
当年国际奥委会成员有159个，而本届参赛的共有140个国家和地区，远远超过了以往各届的规模。
当筹备组织工作基本就绪，大会即将召开的前两个月，苏联、民主德国等16个国家和地区先后以各种借口宣布不参加本届奥运会。
虽经国际奥委会主席萨马兰奇等多方游说，与政府***会谈，但终究未能改变苏联等国的决定。
苏联以安全问题为由，实际原因无非是报“美国帅领西方等一众国家抵制1980年莫斯科奥运会”的一箭之仇。
而苏联、民主德国、保加利亚等体育强国的缺席，给本届奥运会某些项目，如田径、游泳、举重等比赛带来了巨大影响。
复杂的国际政治斗争冲击使奥林匹克运动面临着严峻的考验，抵制和因故未参加本届奥运会的国家和地区有19个:阿富汗、阿尔巴尼亚、保加利亚、朝鲜、古巴、埃塞俄比亚、匈牙利、伊朗、老挝、蒙古、波兰、民主德国、捷克斯洛伐克、苏联、越南、民主也门、利比亚、安哥拉和上沃尔特。
其中:苏联、民主德国、保加利亚、捷克斯洛伐克、匈牙利、古巴，是当时的体育强国，他们的选手在多个奥运项目中具有夺金实力。
本届奥运会参赛运动员有6797人，其中女子1567人，男子5230人，也是历届参赛人数最多的一次。