2012年、所属事務所を辞め、3年間芸能活動を休止していたという安藤。その理由について彼は「1回辞めてみようと思った」と言及。だが結局「辞めてみたら路頭に迷いましたね」と、生活が立ちいかなくなったとも。
一方、ひそかな憧れでもあったカメラマンのアシスタントも経験したと告白。だが「なんで俺がレフ（板）当ててるんだ？」と自問自答したこともあったという。
だが妻の妊娠をきっかけに2015年、芸能界に復帰。一昨年2017年にオンエアされた『コード・ブルー -ドクターヘリ緊急救命-』（同系）の3rd season抜擢時は、まだフリーで活動していたと明かし、「自分で請求書とか出してました」と回顧。「フジテレビと連絡して、スケジュールを自分で聞いていた」と振り返った。
さらに中国の映画に出演時、台湾でトラブルに巻き込まれ、パスポートを取り上げられた挙句、「ちょっと監禁されました」と衝撃の暴露。最終的には以前の所属事務所からお金を振り込んでもらい、解放されたという。ダウンタウン松本人志は、安藤の激動の人生に「話が目まぐるしくて……」と驚いていた。
