亚洲文会大楼的历史与中国近现代史上最重要的汉学组织——亚洲文会有着密不可分的联系。所谓的汉学，就是西方人研究中国的学科。早在1857年，当时只有区区200多人的西方侨民常驻上海，但其中不乏有饱学之士和各个领域的社会精英，一群以裨治文为首的精英知识分子自发组建了上海文理学会，并在一年之后加入了总部在英国的皇家亚洲文会，成为了它的北中国支会。

1874年，亚洲文会在如今的虎丘路20号上建立了第一代的“亚洲文会博物院”，后来也被称为上海博物院，这是中国最早的博物馆之一。主要收集和展示有关中国的自然标本，文物以及古籍。虎丘路（时称上圆明园路）也因为博物院的巨大影响力而被命名为“博物院路”。

如今你看到的这栋亚洲文会大楼，已是亚洲文会的第二代建筑。由公和洋行的著名设计师George Wilson设计，并在1932年夏天竣工。揉合了现代主义的建筑形制和中国古典的装饰元素。大楼的设计本身，就标榜了亚洲文会的文化取向，不仅向中国引入西方文化，更是向西方推广中国的文化。

在建筑外立面三楼窗户下悬挂标有用篆字刻成的“亚洲文会”的匾额；此外，在楼顶匾额上刻有RAS三个字母，代表着Royal Asiatic Society，也就是皇家亚洲文会名称的缩写。外墙上的夔龙纹饰被修缮如初，入口两侧置有对称的八卦窗，二楼阳台上采用了云纹装饰、楼顶匾额两侧还装饰有石狮图案，那也是亚洲文会的会标的图案。在1933年，新建成的亚洲文会对公众开放，大楼共有六层，二楼是名为“伍连德厅”的报告厅，以东三省抗疫的英雄人物伍连德博士的名字命名。三楼是图书馆。四楼，五楼是博物院。其中最引人注目的就是4楼的大熊猫展柜，这个展柜被安置在展厅的底部，面朝着入口，保证每个进入展厅的观众第一眼就能看到它。博物院对所有公众免费开放，毫无疑问扮演着当时上海公共文化教育的最重要角色，在那个普通中国观众也不知道大熊猫为何物的年代，许多上海市民就是在这里第一次见到大熊猫标本。

2007年，洛克·外滩源决定在原亚洲文会大楼里建起一个当代美术馆，并邀请David Chipperfield 建筑师事务所担任美术馆建筑的改造设计，在保留建筑外部经典元素的同时，利用一个三层通高的新中庭将四至六层连接起来，并在顶棚上开天窗，重塑其简洁优雅、功能完善的现代内部空间。最终上海外滩美术馆在2010年正式于亚洲文会大楼开馆，一座当代美术馆在曾经的上海博物院中开启，象征着延绵160余年的人文精神在今天的延续。