維新・鈴木宗男氏、訪ロ見送り