虞氏族长见他们情意相投，同时知道女儿的性子难以违逆，只好默许了这一段姻缘。可是，根据世外桃源的规矩，女儿只能招那刘姓少年入赘，却不能嫁出去。刘姓少年已经闯了进来，既然他被虞家大小姐相中，那便既往不咎，却也不能由着他出去了。
刘姓少年却说，他家中五代单传，只有他这一个儿子。如果不回去，父母无人照顾，家中的万贯家私也无人继承。
双方各执己见，一来二去，话就说僵了。那少年执意要带走虞家大小姐，虞家大小姐也愿意跟他走。可是，虞氏族长不同意，那项家的公子也是死活不答应。
闹僵之后，虞家大小姐左右为难。她这时不再使着性子哭闹，而是一边对着父母苦苦哀求，一边主动到项家赔礼道歉。她委曲求全，可是项、虞两家碍着祖宗的规矩，死活不同意他们离开。最后，虞家大小姐无计可施，绝望之中，偷偷跑出了家门，在虞家的祖坟前服药自尽了。
袁师道等人听到虞家大小姐竟然是这样一个结局，都是一阵唏嘘，忙追问道：“那个刘姓少年后来怎样了？”
只听那老者接着说道，虞家大小姐死后，刘姓少年没有一句怨言，也没有滴一滴眼泪。他亲手将虞家大小姐葬进了虞家的祖坟，然后一言不发，径自离开了。
项、虞两家见事情闹到这个份上，都是脸上无光，也没有硬要留下这个刘姓少年。只是安排人手，在少年离去之后，尾随在他的后面，清除他来到世外桃源的痕迹，以免他心存歹念，偷偷留下记号，去而复返。
那刘姓少年走后，过了些时，大伙以为事情已经过去了，这事便没有再放在心上。谁知道，不久就出现了一件怪事。
有天晚上，有个范姓老人从坟地旁路过，忽然听到坟地中有少女的说话声。这说话声并不大，但是幽幽的出现在坟地里，便显得十分古怪吓人。
那范姓老人心里直犯嘀咕，但还是走上前去，想听个究竟。可是，他始终听得不太分明，只是隐隐约约听到，一个女声在那里低声说话，似乎在劝说别人做些什么。
范姓老人觉得此事十分蹊跷，回到家中，就向各族的族长说了这事。虞氏族长因为爱女下葬不久，便特别留心，晚间的时候，偷偷一个人跑到坟地里去偷听。
不听不打紧，虞氏族长这一听，顿时吓得魂飞魄散。原来，那说话的女声，竟然就是他死去女儿的声音。
这事过后没多久，一到夜晚，那坟地上竟然变得人声鼎沸起