1937年出生于北海道小樽市，与水之江泷子、小林正树并为小樽出身的三位重要电影人。1961年，从日大艺术系毕业后，进入日活公司。在野口晴康、铃木清顺、中平康等导演手下任副导演，每年参与的电影多达十部。1971年，首执导筒，推出处女作《花芯的邀请》。此后的十七年里，为日活映画拍摄了《轻井泽夫人》、《蓝雨大阪》等四十七部电影。以耽美、超现实的影象著称，作品题材丰富多样。后来，长期投身于录象带及电视界。“凶铃之父”中田秀夫公开承认自己深受小沼胜的影响，并亲自拍摄了关于他的纪录片《虐待狂与受虐者》。2000年，重返影坛，时隔十二年再执导筒，推出了电影《渚》，该片的主演松田圆，因此获得电影旬报的新人女演员奖、报知映画最佳新人奖等多枚奖项，而小沼胜本人也获得了横滨电影节特别大奖。2001年，影片入围第51届柏林国际电影节儿童电影单元，并获得最高大奖，乃日本电影首次获此殊荣。