1981年地名普查前，在南开区和河北区各有一处冰窖胡同，虽然地名相同，但其来历却大相径庭。

　　南开区的冰窖胡同，北起东门内大街、中交二道街，南至贡院东胡同。明代，天津卫属河间府管辖，在天津三卫各设一处专门负责屯戍行政机构，名曰“冰窖”。1490年，侍郎白昂、御史邹鲁曾奏请朝廷：“本镇密迩京师，东濒大海，水陆要会，因无法司钤束，致奸盗窃发，百务废弛；应添设整饬。”同年，刘福任天津首任按察司副使时，奉敕整饬天津等地，在天津左、中、右三卫分设一处冰窖，明确规定冰窖的任务是“整饬操练军马，修浚城池，禁革奸弊，问理词讼，兼管运河事宜”。1725年，天津更改建制后，三处冰窖均被废除。此后，盐商李春成在位于“东门里门房后”的左卫冰窖处建房成巷，取名冰窖胡同。在清道光年间的《津门保甲图说》和《天津卫志》中均已出现冰窖胡同的地名。

　　河北区的冰窖胡同，南起金家窑大街，折向东、西，东到礼拜寺胡同，西至金钟路。这里原来也是一处冰窖的旧址，但这个冰窖已是我们现在的含义了。这里原是一片荒地，清乾隆年间，天津城市发展很快，当时各官署衙门厨房里的珍馐佳肴都需要用冰降温保鲜防腐，一些富商巨贾也有同样的需求，于是，冰就成了夏季不可缺少的一项奢侈品。为了满足他们的需求，官府遂责令在地方建立储冰的冰窖，用以应差。一个名叫耿富盛的商人，头脑灵活，预见这是一项有发展的行业，遂第一个向官方登记成立了富盛冰窖，成为天津承担冰差的最早一家冰窖，其地点在今天河北区的金家窑一带。

　　第二次鸦片战争后，天津辟为商埠重镇，用冰需求不断增加，遂又出现了同和、永吉、魁丰、永和等四户冰窖。进入民国后，随着冰窖的日益增加，冰窖业竞争日趋激烈，开设了200余年的富盛冰窖终因同行倾轧日烈而被迫转让给了商人魏信臣，改称魏富盛冰窖。后几经易主，1941年终为五和百货线店主所有。当时，城市居民激增，住房紧张，店东见出租房屋有利可图，遂平窖建房，经营房地产，这一地区也称冰窖胡同。

　　1981年，天津地区进行地名普查时发现两地重名，遂将河北区的冰窖胡同更名为老冰窖胡同，以示区别。