唐大中四年（850），县令杨弘正在县城西北蓬莱山麓蓬莱观右侧，筑蓬莱书院。当时，书院兼有藏书和教学功能，且分为官方和私人两类。象山蓬莱书院虽然由县令创建的，但既有私人的色彩，又带有官学的色彩。这种类型的书院在唐代很少见。

蓬莱观（栖霞观）遗址，蓬莱书院在其右（现在外国语学校内）

象山蓬莱书院是唐代浙江有文字记载的五座书院之一，其他四座只留下一个名称，唯有象山蓬莱书院留下了文字记载。清代姜炳章《赋蓬莱书院》咏赞云：“大中政治小贞观，守令堪入循吏传。吾乡贤令推杨公，甿歌在野酒在泮。”由于杨弘正兴建县学，创办书院，从而使象山县学开创明州（宁波）辖下各县立学之先河，而蓬莱书院更是教育的一个突破，它不仅领先了号称中国四大书院——石鼓、岳麓、白鹿、睢阳200年，而且在私人创办书院的环境下，由官方开办，以降低办学门槛，为追求上进的青少年提供了更多的读书机会，从而使象山形成了“桑田酝酿诗酒气，甿（民）歌在野酒在泮（学宫）”的文化氛围。