為孫舉人的父親孫玉瑞建造的，孫玉瑞本人中過秀才，且擅於經商，生前開辦經營過木行、碼頭和米行。約於110多年前買下太保廟旁胡家的房基開始建造大屋。大屋先建造後擴充，先後共擁有房屋五六十間，加上花園空地占地約5畝。
世事滄桑，戰亂期間迫於生計，孫家大屋東面的七間被抵賣給了姓袁人家。袁家多年後將老屋平房拆去改建成傳統風格的新樓。又過事過數年，於1998年、2002年兩次房屋大部分再次被拆除，建造了現在的蓬萊公寓和金輝公寓。眼下僅存的是當時老屋的台門、穿堂和門房三間，由孫舉人的子孫仍居住著。
孫舉人本人名爾瓚，1873年生，30歲時浙江鄉試正榜中舉，曾經是清末民初定海的一大社會名流。民國期間39歲時他當過4年的定海縣教育科長，又在54歲時出任過一年的教育局長。期間孫舉人還在家辦過私塾，教過學生，參與了定海縣誌的纂修。抗戰期間交通被日軍封鎖，孫家木行斷了貨源，現有的木料也被挪作軍用，生意難以維持。以後米行也在日偽時期倒閉，以至依賴祖業的孫家生活陷入困境。晚年孫舉人貧病交困，於1948年解放前夕逝世，享年75歲。其妻胡氏未育，其妾生三子一女，現存兒子一女。
