2006年1月24日,林义雄宣布退出民进党。在“退党书”中,林义雄批评政党恶斗,导致台湾社会不安,强调他既已无意从事党务,也不愿代表政党竞选公职,所以“作为民进党党员已无任何意义,从此不再附属于任何政党”。