婚姻的失败给了高仓健很大的打击，他甚至认为自己没有资格谈论男女之间的关系，但这并“不意味着我不爱女人”。在妻子离去后，他突然省悟：自己再也想不起与江利智美惠的种种不和与纠缠，时间过去得越久，他反而越容易记起她的美丽与善良、他们曾经的幸福时光。
高仓健很少传出绯闻，有的只是一段持续过12年的婚姻。在此之后，他再没有公开恋爱过，而当记者问他，他最理想的女性是什么样的形象时，他也总是讳莫如深。然而，在他缄默深沉的外表下，同样是一颗充满柔情的心灵，他这样解释爱，“爱，就是对她及自己的人生怜惜、珍重。”而在经历了前妻自杀的惨剧后，对于女性，他亦有了更加深刻的认识与理解，他说，“把女性关在家中，那是男人们的独断专行。”
踏入影坛时，作为新人的高仓健终于开始了一段真正的恋情，他遇到了后来成为他妻子的江利智惠美。江利智惠美的母亲是小品剧的演员，父亲是音乐指挥，1937年，江利智惠美呱呱落地，但她生不逢时，母亲重病缠身，父亲失业流离。为了挣钱，还是小学生的江利智惠美，便一个人钻进了美国大兵的营地，用她嫩稚的歌喉唱起了一首首甜蜜醉人的歌曲。真挚的感情，如花的童颜，一下子感动了成千上万的美国兵，一代女歌王就从这里开始了她的绚丽多彩的演唱生涯。
在江利智惠美14岁的时候，缠绵病榻多年的母亲去世，享年46岁。一年之后，江利智惠美出了她的第一张唱片，这就是著名的《田纳西华尔兹》，销售量高达40万张，为她带来了巨大的荣誉和财富。1956年，19岁的江利智惠美被选为扮演小品剧《傻傻爱桑》主角。“傻傻爱桑”是一个不怕邪、不怕困难、乐于助人并有些傻乎乎的小朋友，在日本家喻户晓，万人爱戴。江利智惠美把这个角色演得淋漓尽致，逗人捧腹。也就是在这时候，江利智惠美和高仓健相逢了，两人顿时坠入爱河。这是他的初恋，高仓健对美丽的恋人非常痴情，每次约会他都会提前到场，最后再把她送回家，伫立在她窗前，直到屋内灯光熄灭后才离去。1959年2月16日，也正是高仓健的28岁生日，他终于和相恋多年的智惠美结成眷属。
高仓健的第一次感情记忆发生在小学二年级的时候，那是一位叫小田的年轻女老师，可能因为和他同姓的缘故，小田老师一直对他很关照，高仓健也非常喜欢这位姿态优雅、和蔼可亲的老师。但有一天，小田老师一改平时的裙装打扮，突然穿着和服隆重地出现在课堂里，高仓健的心里一沉，预感到有什么事情即将发生。果然，小田老师已经辞职，她是特意来和学生们告别的。高仓健压抑不住内心的感伤，突然从座位上站了起来，他喊道：“你赶快卷起铺盖走人吧!”小田老师并没有听出他话语里对于离别的悲伤之情，以为他竟然呵斥老师，她气哭了，还让高仓健在走廊里罚站。时间久了，身体虚弱的高仓健由于罚站引起贫血，“砰”的一声晕倒在地上。小田老师非常吃惊，赶快跨出教室，抱着这个孩子就往医务室跑去。途中，高仓健苏醒过来，他意识到自己是在老师的怀里，除了妈妈的怀抱之外，高仓健第一次感受到了女人的温柔，“啊，真香啊!要是这样一直在走廊里走下去该有多好啊……”这是高仓健少年时代的一场青春梦想，也算是他第一次对异性萌发的爱慕之情吧。
他自己认为的初恋是在高中时代。高二的那年暑假，靠着父亲在若松第一港运公司工作的关系，他和其他五六个朋友得以一起在导航船上打工，他们负责的是洗甲板和打磨船的工作。就是通过这份工作，他认识了当时在八幡制铁所公司工作的一个女子，她比高仓健他们要年长一些。休息的时候，她会经常请这几个高中生一起吃当时还很稀罕的蜜豆和豆沙水果凉粉。有一天，她突然告诉他们，“我要结婚了，今后不能和大家再见面了。”高仓健感到非常震惊，他的又一次精神恋爱就这么结束了。回忆起当时的情景，他记忆犹新，“她穿着白色开口汗衫，胸口的汗毛在夕阳映照下熠熠发光。”
婚姻的失败给了高仓健很大的打击，他甚至认为自己没有资格谈论男女之间的关系，但这并“不意味着我不爱女人”。在妻子离去后，他突然省悟：自己再也想不起与江利智美惠的种种不和与纠缠，时间过去得越久，他反而越容易记起她的美丽与善良、他们曾经的幸福时光，他感叹说，“过去我们是有不和，但那短暂的瞬间，一支常新的曲子，一幅熟悉的景色，却令我感慨万千。”
江利智惠美死后，高仓健没有再结婚，回首往事，他似乎更加豁达：“男人也好，女人也好，都可以这样说：一个人的价值，就是要拼命做点什么事业。我认为，默默地拼命走自己道路的人，要比滔滔不绝讲大道理的人优美得多。笑、怒、不幸、幸福，都是在和别人相会中发生的事情。经常遇到各种不同的人，所以生活才不感觉寂寞。我想，人生也就是这样。”这，或许可以作为他情感历程的一段最好注脚吧。
高仓健一生只爱一个人