Evliya Çelebi, meşhur Seyahatnâme’sinde bu eşsiz lezzetin Trabzon’a yerleşen ilk Türk göçebelerinde görüldüğünden bahseder. Ayrıca ilk höşmerimin Orta Asya’dan göçen Anadolu Yörükleri’nin yaptığı da bilinmektedir. Çeşitli yöreler de “Peynir Tatlısı” olarak da adlandırılan höşmerimin halk arasında çokça dillendirilen bir hikâyesi vardır. Buna göre eskiden saygı göstergesi olarak kadınlar eşlerine “Erim” şeklinde hitap ederlermiş. Fazla yiyeceği olmayan bir gelin, askerden yeni gelen eşine evinde olan irmik, peynir, şekerden bu tatlıyı yapıp sunmuş. Sunarken de “Beğendin mi eşim?” anlamına gelen “Hoş mu erim?” sorusunu sormuş. Bu soru günümüze gelene dek Höşmerim’e dönüşmüş.