“朝圣的人，都登山祈祷，望弥撒，拜苦路，自从上午十点钟起，直到黄昏，山路广场上，之间人山人海络绎不绝，拥挤不堪。前一夜，在中山露德圣母亭子前面大放西洋烟火，各山路都插满了五色旗帜灯彩。电炬高悬，光明如昼。到了正日的清早，大家先在中山教堂参加弥撒礼，礼节做完，山顶上有人大吹号筒，召集信徒们集拢结队，人数总在一万至二万人左右，万头攒动，人多如蚁。不多时，山顶开号炮三响，接着噼里啪啦一阵的鞭竹声，于是大队迎圣的信徒开步按班上山了。”
—— 张若谷《佘山》
如果只看文字，你很难想象，如此热闹非凡的场景，发生在近150年前的1873年5月1日。那时候，松江城西北二十五里的佘山周围还没有通公路。这一天，一千二百多艘小船把山脚下的河道挤得水泄不通。
当迎圣母的队伍出发时，场面异常隆重。最前面是巨大的银质十字架开道，然后两人执烛，后面跟着三十二名军乐队乐手，一路演奏悠扬的圣乐，紧接着是来自松江、七宝、马桥、张揠、亭林等各堂口的三十二面五色绣旗，绣着各位圣人圣女的像，后面跟着数十位修士、神父以及捧着花的、提着香炉的辅祭，六个人抬着一个亭子，亭子里供奉着耶稣会修士陆伯都所造的一尊圣母像，在数万教友的簇拥下，缓缓从中山到山顶。
这宏大的朝圣场面缘起于这一年的4月15日，这一天，在高八十八丈的佘山山顶，一座希腊式的大堂落成祝圣。大堂建成以后，远近的教友就纷纷前来朝圣。从那一年起，“佘山朝圣”就成了江南一带天主教会的传统，延续至今。5月圣母月中的每一天，佘山，都是人山人海，络绎不绝。
从五间疗养小屋到远东第一座乙级圣殿 天主的计划神妙莫测。江南代牧区的法籍耶稣会会长南格禄（Gotteland Claude）神父及其继任者鄂尔璧（R.P.Josebh Gounet）神父一定不会想到，他们看上的这块远离城市的幽静之地，在不到100年的时间里，会由一座其名不显的小山，变成远近闻名的远东第一朝圣地。
早在1844年，南格禄神父就来过佘山，他看到这里满山竹林，环境幽静，想要在这里为年老体弱的传教士建造一处祈祷所。19年后的1863年，由于受到太平天国的影响，分散在各地的传教士们经历了千辛万苦回到上海，由于身体和精神的双重打击，他们深受瘟疫、疾病和死亡的困扰。
刚好，佘山附近也由于战乱导致荒芜不堪，地价非常便宜。鄂尔璧神父就果断买下了佘山面南的半座山，在中山建造了五间房屋，中间有一座小圣堂，当做神父们的疗养所。这就是最早的中山堂。山下附近张朴桥等地的教友一听到佘山中山驻有神父，便欣欣然奔走相告，赶来望弥撒。
次年，松江总铎杜若兰（D,Desiacques）神父在山顶建造了一座小小的六角亭，顶上树立了一座铁的十字架，亭里供奉了一尊圣母像。六角亭只有铁栅栏作门，面积每边只有八尺，高二十尺。按杜神父的本意，是希望通过圣母，十字架的光芒，能照遍整个松江府，整个江南省。这个朴素微小的建筑物，让教友们大喜过望，他们开始上山祈祷。渐渐地，教友们不满足于祈祷念经，而是希望神父在圣母像前置一座祭台，使教友能在圣母像前望弥撒领圣体。佘山朝圣，最早就是由这些教友自发形成的。
郎怀仁（AdrianusLanguillat）主教得知以后，非常高兴，他先请土山湾辅理修士陆省三绘摹了一幅胜利之后圣母像，把它命名为“进教之佑”圣母像。 1868年3月1日，郎主教亲自来到佘山，在中山小堂祝圣了这幅圣像，并由谷振声和杜若兰二位神父伴同护送圣像上山顶六角亭。这天，附近教友闻风而来的不下两三千人，导以锦旗，间以国乐队，列队伴送，一路经声歌声络绎不绝；到了山顶，主教把圣母像安置在六角亭内后，由神父修士们组成的唱经班，即三唱“进教之佑，为我等祈”，从此“进教之佑”，便成为佘山圣母的尊号。这便是佘山第一次“迎圣母”。
这一年和次年的5月24日，圣母进教之佑瞻礼，郎主教都来到佘山山顶，举行弥撒圣祭，将整个江南教区奉托于圣母。教友纷纷闻讯赶来参礼，非常热闹。
然而，随着清朝局势不稳，闭关排外的思想加剧，外界环境却是逐渐恶化。自1868年以来，各省仇教之风愈演愈烈。到了1870年6月21日，发生了天津教难，杀害神父教友、烧毁教堂。随之蔓延至江南。有人扬言威吓说要把教会的一切事业彻底铲除。上海也出现了关于传教士“挖眼睛、取小儿心肺制药”的谣言，连上海道台也发了声明，一时间，神父们不敢出门，教友们纷纷隐遁，眼看着一场劫难一触即发。
当时，郎主教正在罗马参加“梵一”大公会议，江南教务的重任完全压在耶稣会会长谷振声（R.P. Agnellus Della Corte）神父一人的肩头。他眼见劫难已在眼前，非人力所能挽救，只有举心向上，依靠“大能者贞女”。谷神父忆及1853年董家渡大堂在清兵和小刀会的炮火交织下，因苦求圣母而得以保全的经过，于是，他召集神父们开了一个紧急会议，在会上提议，要用全体江南教友的名义许愿，如果江南教务得免大难，将在佘山顶上，造一座圣母大堂。与会的神父们同声赞成。
发愿后不久，事情就出现了转机。前几天还毁谤传教士的道台老爷们，竟然一起前来拜谒谷神父，痛斥天津的不法暴行，并承诺尽力维持治安，使上海不至于发生意外。
安然度过一劫的江南教区的神父和教友，纷纷感念圣母的大恩，9月，谷振声神父拟了一个通告，把这次事件的前因后果及发愿修堂、圣母保佑的事迹，告知各地的传教士，请他们一一传达给教友，并请教友解囊襄助，以建大堂。
1871年5月24日，在郎主教主礼，六千教友的参礼下，大堂奠基。同时埋下铅碑一块，上面刻着拉丁文和中文，碑文如下：
时维天主降生一千八百七十一年，西历五月二十四日，教宗庇护第九位御极二十五年，大清同治十四年四月初六日。统辖江南教务代牧耶稣会会长谷，为求免本省应受之难，矢愿上主，特敬圣母进教之佑，敬建大堂，以酬前愿。大司牧耶稣会士郎行大礼祝圣，签名磐石，工师耶稣会士马历耀。
这座大堂建了两年，于1873年4月15日落成，祝圣。文章开头描述的就是这一年的佘山朝圣盛况。各地教友，闻风响应，朝圣团体络绎不绝。这一年的五月，也被称为佘山历史上的第一个“圣母月”。
这座大堂非常富丽堂皇，引起了当时人们的交口称赞。大堂有多美，在当时流传的一本《佘山圣母记》中有详细的描述：
“堂在佘山绝顶，风景极佳。出门一望，则天马诸峰，尽在目前，满山榆柳松柏，郁郁葱葱，皆堂中所植也。惟松地处长江下游，往往有飓风吹至，故建筑殊为坚固。堂作十字形，前有平地一方，置大石狮子，外以栏杆护之。大堂之弥撒间，乃一半圆圆式，上有圣楼，可跪人。堂前有走廊，正面承以十柱；东西南三面，各有大门三扇，遇大瞻礼日，出入甚便；如人数过多，可跪在廊下。正门内，悬一最大之匾，曰“保障江南”四字，灿然夺目。堂之两旁复有余屋若干间，一面为男教友休息所，一面为女教友休息所。
堂内正中之大祭台，为土山湾所制，其上有六小柱，雕刻精致，中供圣母浑身像，头戴花冠，身衣金饰之衣，一手抱耶稣，一手执金杖，其容貌之华美，真是全美丽玉洁净，又极谦和；凡儿童之随父母来者，父母各诏其子女，瞻仰圣像，恍若亲见慈母之声音笑貌焉。其两面后有小祭台两座，亦土山湾所制。堂内匾额及圣像，不可胜数。堂外客会间之两旁，各有一小亭，东供圣若瑟善终主保像，西供护守天神像；教友拜大堂后，最喜至小亭内诵经焉。”
与大堂同一天祝圣的，还有十四处苦路像。为了解决把建筑材料运送上山的问题，在建堂之初，建筑师在山坡上从半山腰到山顶开了一条“之”字形的经摺路，沿路建苦路十四处亭，以作为纪念耶稣的苦难和教友拜苦路之用。
主教由利庸乐和谷振声二位神父伴同，身披紫咖叭，上经摺路顶，在石狮座下拱亭里（亭壁墙上砌有石十字架，下面镌有“十字圣架，万世瞻依”八个大字），祝圣了苦路十字和十四个小木十字，继而随着经摺路下山到第一处苦路亭，开始公拜苦路，之后更循苦路亭依次拜上，重回石狮下的拱亭，这时满山满谷，满是“天主为尔所受之苦难矜怜我等”的经声，苦路完工，教友们又拥进新堂，主教即在正祭台圣母像前领唱Te Deum（谢主辞）。这便是佘山的第一次公拜苦路。
随着佘山山顶大堂的落成，朝圣、迎圣母也渐渐形成了固定的仪式和顺序。但整个佘山的教会建筑群，还远远没有结束，大堂内部装饰、山园祈祷石窟的开辟等等，都是以后长年累月的工程。1874年9月，开始进行从山麓山门到中山广场的那条上坡道的加固平整，和增添石级等等。
郞主教看到教友们如此热心敬礼佘山圣母，乃向圣座请求颁赐给来佘山朝圣教友得全大赦的特恩。1874年12月中旬，教宗庇护九世批准的诏书到达上海，1875年的圣母进教之佑瞻礼，就有四千名教友到佘山告解领主为得全大赦。
随着朝圣教友的逐年增加，佘山不久便成为中国天下闻名的朝圣地。为了方便朝圣的教友休息、参与弥撒，1894年，中山堂也得以翻建，成为了可以容纳五百余人，中国传统式样的中山圣母堂。中堂正门两侧刻有一副对联：
上联： 小堂筑山腰，且憩片刻修孝子礼 下联： 大殿临峰顶，再登几级求慈母恩 门前有可容纳千人的广场，设有栏杆、石凳，四面建起了耶稣圣心亭、圣母亭、圣若瑟亭，合称“三圣亭”。
美丽的大堂，给佘山增添了许多华彩。但是，让佘山在中国教会历史上留下更重要一笔的，是1924年6月24日。这一天，宗座驻华代表刚恒毅总主教，在全国公教大会闭幕以后，率领参加会议的15位主教、10位司铎同赴佘山，把整个中国献于童贞圣母玛利亚。
从此，佘山圣母不仅是江南教区的庇护者，更成为了整个中国的保护者。1933年，首批新祝圣的国籍主教也相约前往佘山，把他们管辖的教区托付给圣母。
佘山，在教友心目中的地位也逐渐提高。由于来佘山朝圣的教友逐年增多，这座称雄一时的圣堂不到二十年，就已经显出了它的老式、狭窄和拥挤。
“造一座更大、更美的大殿”成为了许多教友的强烈要求。
1924年，姚宗李主教同意着手开始建造一座比老堂大一倍的，可容纳三千人的新式大殿。当时，耶稣会会长万尔典神父主张将全部工程委托给上海有名的工程师、建筑师来做。但是当他们看到新堂需要在山顶上建筑，运输、建造困难重重的时候，纷纷表示不愿承揽这一浩大的工程。
于是，神父们只能自己想办法来解决。有一位名叫慕禄（P.Moorloes）的神父设计了罗马过渡时代样式的大堂；尚保衡神父（P.De Jenlis）负责检测、选择各种材料；土山湾的画师工匠也在潘修士（F.Coupe）的指导之下，制作美丽的彩色玻璃窗。钟楼上的圣母全身像，是林保禄神父（P.Leonard）委托工厂制作的。
新堂于1925年4月24日奠基，由叶肇昌神父（（P.F.Dinig））担任总建筑师。叶神父原系教区内有名的设计师兼工程师。上海徐家汇天主堂许多建筑，徐汇中学新校舍，耶稣会第一座神学院，交通大学的一座图书馆等，都是由他设计制图建筑的。
大堂建了十年。1935年11月16日，惠济良主教主持大堂落成祝圣典礼，次日首次奉献弥撒圣祭。
当时的人是如此描述这座新堂的：
“新堂面向西方，正对中华大陆。大门南侧有钟塔一座，高出山顶38公尺。塔顶圆穹上峙立一尊铜铸圣母像，高4公尺8公寸。圣母擎起小耶稣，小耶稣双手拓开，向我中华全国，作祝福状。新堂内部高17公尺，东西长56公尺，南北最阔处25公尺，可容3000余人，堂内东首正祭台用镶金嵌碧的大理石制成。老堂的正祭台保存在原来位置，面向南方的大门。堂顶盖着琉璃瓦，自远处遥望红墙绿顶格外美观。堂内一切伟大的建筑，更显出庄严肃穆的气象，使人油然生发恭敬虔诚的情绪。”
1942年9月12日，教宗庇护十二世册封佘山圣母大殿为乙级圣殿（Basilique Mineure）。这是远东第一座获此殊荣的圣堂。1947年5月18日，惠济良主教为佘山圣母像加冕。这天，赶来参礼的教友竟达五六万人之多，整个佘山，无论山上山下，堂内堂外，漫山遍野只觉熙熙攘攘，盛况无与伦比。
从鄂尔璧神父买下佘山半山之后的100年间，随着天主教在江南传教事业的发展，佘山在圣母的护佑下，成为了江南最著名的朝圣地。
道阻且长的朝圣之路 从上海市区到佘山的公路，是1936年8月开通的。在此之前，去佘山朝圣，大都是先坐车、再换船。住在附近的教友可能走路去，据说也有外地的教友是坐火车去的。
浦东教友姚老先生曾经回忆过小时候跟父母家人一起去朝圣的情形：“那时候，我们提前一天就要出门，先坐车，再换船，摇啊摇的要摇上一夜，天明才能看到佘山的影子。”
教友去佘山朝圣，有和家人一起去的，也有跟着团体一起去的。张若谷先生1931年编辑出版的《佘山》一书中，曾详细描述了上海公教进行会组织的的佘山朝圣。他说：“团体中组织最完备的要算上海的公教进行会了。他们每次出发时，必先在上海各报纸上登着一个消息，他们并且极欢迎教外人同时加入，只要有熟人做伴侣，和遵守公众的秩序。”
同时，张若谷还抄录了公教进行会1919年发出的佘山朝觐券：
（注意） 本日善工，悉让炼灵，并按教皇意祈祷，热心恭敬圣母。
（公求）
圣教昌明，异端消灭。教皇主教神父，德化日隆。 世界和平，中国归化。中国各省圣教事业，扩张发达，特为江南全省教务求主。 求耶稣圣心王于个人家庭，俾众教友神形事业，日见发达，特为公教进行会事业扩张。 （私求） 悉按各人本意求之
...