女優の佐々木希と結婚し、翌年には、第1子男児も誕生。仕事もレギュラー約10本と公私ともに順風満帆だった渡部だったが、『週刊文春』は、彼が結婚後も複数の女性と関係を持ったことを伝えている。これを受け、渡部は芸能活動を自粛することを決めた。
そんな彼と同じプロダクション人力舎に所属する大久保は、「渡部さんは私の知ってるイメージでは、いい意味でも悪い意味でも損得を考える人。損得勘定ができる人」と分析。その上で、「こんなことになるかもしれないのに、それをやっていたという計算ができていないというのが不思議」と疑問視。平成ノブシコブシ吉村崇に向かって、「これは男の悪い習性ですか？なんですか？」と質問した。
それに対し吉村は、「私みたいな人間が何も言えませんけど、バカなんですよ我々は」と答えていた。
