渡部といえば、妻に女優の佐々木希を持ち、2018年9月には第一子も誕生。これまでは、おしどり夫婦のイメージも強かったが、出演自粛の背景として、複数の女性と不倫関係にあったとされている。
こうした報道を受け、ネット上では「グルメ王から不倫王に転職？」といった声が殺到。さらに、芸能界切手の美人・佐々木を妻に持ちながらの不倫ということで「渡部の不倫問題、普通に理解ができない」「佐々木希がいながらなんてことを」といった声。
ほか、佐々木に対し「さっさと離婚したほうがいいな まだ30代前半の佐々木希さんには未来があるし」「相手が複数人でしたよね、、絶対離婚したほうがいい気がしますよね」など離婚をすすめる声などもあがっている。
