奥赛博物馆坐落在塞纳河左岸，与杜乐里公园和卢浮宫隔水相望。19世纪中叶，那里曾是行政法院和皇家审计院的所在地。1789年法国大革命期间，这座被称为奥赛宫的建筑被大火烧毁。1898年，为了迎接巴黎万国博览会，巴黎奥尔良铁路公司向国家购买了这块地皮，修建火车站。火车站由建筑师维克多·拉卢设计，历时两年，于1900年通车。火车站大厅采用石质、钢和玻璃的组合与新古典雕塑品的装饰外表，体现了当时的建筑水平，也象征了19世纪工业革命时期的建筑风格。在当时，奥赛火车站是法国最为华丽、流通量最大的火车站（博物馆现在还有一个展厅保留了当时火车站的原样）。
后来随着机械化的进步，到1939年，奥赛火车站逐渐被铁路联营公司废弃，并面临着被拆除的威胁。1945年之后，奥赛火车站又被赋予了野战医院、大会堂、讲演厅、戏院等其他身份。
到了1972年，有人建议把火车站改造成博物馆，这个提议得到了当时任法国总统的蓬皮杜的支持。1973年，蓬皮杜总统批准了法国文化部的计划——将奥赛火车站改建为一个现代化的第一流的大型近代美术博物馆。1977年，吉斯卡尔·德斯坦总统决定实施蓬皮杜总统曾提出的方案，将旧火车站改造为博物馆。
奥赛车站的改造工程是在1983年到1986年间进行的，一千名工人用了三年的时间完成。到了90年代时，这个博物馆又经历了一次改造。
奥赛博物馆的改造过程中，法国政府不仅为奥赛博物馆投资13.6亿法郎，还花了很大力气将寄放在各地博物馆的1848～1914年间的艺术精品全部集中到了奥赛博物馆内，对于流散在外的珍品佳作，法国政府也不惜重金进行收购收藏。
1986年12月1日，前前后后经过近8年的建设，奥赛博物馆第一次打开大门迎接四面八方的来客。改建后的奥赛博物馆共拥有展厅或陈列室80多个，展厅共分为三层，展览面积4.7万平方米，其中长期展厅1.6万平方米。在这里，人们能感受到无处不在的19世纪法国浪漫气息。博物馆中央通道的底层是雕塑作品展区，在这其中漫步，可以欣赏到克雷辛热的《被蛇咬死的女人》、卡尔波的《舞蹈》、罗丹的《地狱之门》。底层中央通道两侧，中层展厅，高层长廊，陈列着印象主义、写实主义、自然主义、点彩派、象征派等不同风格的作品。最受欢迎的梵高的作品陈列在35号展厅里。奥赛博物馆