第二天，健三在同样的时间，路过同样的地点。第三天也是一样。但是，那个不戴帽子的男人再也没有出现过。
健三每天机械而勉强地在那条路上来来去去。无聊的日子就这样过了五天，第六天早晨，那个不戴帽子的男人再次突然从根津寺坡道的下坡处冒出来，把健三吓了一跳。还是和上次一样的地方，一样的时间。
尽管健三感觉到对方正在慢慢靠近自己，但他想和平常一样，机械而勉强地走过去。然而对方的态度却与自己截然相反。那个男人聚集起使所有人看了都会感到不安的目光，死死地盯着健三。那眼神阴沉可怕，使人明显地感觉到，只要有机会，他就会向健三走过来。健三毫不迟疑地从那个男人身旁冲了过去，心中却产生了异样的预感：总是这样终究也不是办法啊。
但是当天回到家后，健三终究也没有和妻子说起遇到不戴帽子的男人的事情。他和妻子结婚已经七八年了。当时，他就已经与那个人断了关系，而且因为婚礼不是在老家东京举办的，所以妻子应该不知道那个人。如果仅仅是传闻，或者是健三本人无意中说漏了嘴，又或者是从亲戚那里听说，从而使妻子知道了那个人，对健三而言，这也不是什么大不了的事。只是结婚之后发生了一件与那个人有关的事，至今还时常浮现在健三的脑海里。
五六年前，当时健三还在外地工作。有一天，他发现办公桌上意外地放着一封厚厚的信，从字体上看像女人写的。他带着奇怪的表情开始看信，看了很久也没能把信看完，因为那封信有二十来张纸，每张纸上都写满了密密麻麻的小字。健三只看了大约五分之一，之后就把信交给了妻子。
当时，他觉得有必要向妻子解释一下这个给自己写信的女人的情况，更有必要把和写信的女人有关的那个不戴帽子的男人拉出来作证。健三依然记得当时自己无奈的心境，至于究竟向妻子作了何种程度的解释，易于情绪化的他早已不记得了。不过因为和女人有关，妻子一定还记得很清楚，可他不想去问妻子。他不愿意把写长信的女人和不戴帽子的男人放在一起，因为这样会使他回忆起不幸的往事。好在目前他没有工夫去为这些事操心。
他回到家，换了身衣服就钻进了自己的书房。待在这不到十二平方米的小房间里，他感觉要做的事情堆积如山。实际上，比起工作来，还有一种不得不承受的刺激更强烈地支配着他，使他焦躁不安。
他打开从遥远的地方带回来的箱子，取出外文书，盘腿坐在山一样的书堆里，他能就这样过上一个星期，甚至两个星期。他通常随手抓到哪一本，就拿过来看上两三页，所以这间重要的书房一直都是乱七八糟的。实在是看不下去的时候，或者有朋友来访的时候，他就一股脑儿地把所有的书都塞进书架。认识他的人，大部分都说他有神经质，他自己却认为这是个性。