在杭州，胡适再一次见到了曹珮声。此时的曹珮声已不是胡适印象中当年的小伴娘，而是一个亭亭玉立的女学生，虽然离婚后独居，却依旧开朗，且又带几分伤感。汪静之曾这样形容过曹珮声：“她不算漂亮，但很迷人。先是令我着迷，后又使胡适着迷，她就是属于那不很漂亮，但有迷人魅力的女人！”
在杭州一同游玩了4天后，5月3日，临别之时，胡适为曹珮声写下了一首题为《西湖》的白话小诗：“十七年梦想的西湖，不能医我的病，反使我病的更厉害了……这回来了，只觉得伊更可爱，因而舍不得匆匆就离别了。”——胡适

这首诗中的“伊”明写西湖，其实指的就是曹珮声，不是西湖更可爱，而是人更可爱。此中的双关之意，唯有二十一岁的曹珮声知晓，这是胡适在以诗传情。 著名诗人汪静之曾说：“胡适来杭州的目的是为探视独居的“小伴娘”。

1923年的5月底，陷入情网的胡适再也坐不住了。一个星期后，胡适再一次坐上了开往杭州的火车，出现在了烟雨朦朦的西湖边上。6月下旬，各个学校放假后，胡适终于在杭州南山的烟霞洞边等来了心中的爱人，曹珮声。

深夜里，昏黄的灯光下，胡适开始真正体验到了爱情，而曹珮声也正式开始了她与胡适间那短暂却又各自铭记一生的情感苦旅。

杭州西湖南山，有三处名洞，为水乐、石屋和烟霞，其中烟霞洞风景最佳，以朦胧中的烟霞为美，清修寺在烟霞洞的南边，十分安静，寺里的僧人仰慕胡适大名，便把大殿东边的两间小斋房出租给了胡适。在这里胡适与曹珮声开始了他们的同居生活。