無視＝審査落ちに繋がる可能性があります。
（カードローンの電話連絡）

電話確認＝勤務先への連絡＝安定収入の確認
だからです。

または申込み内容不備の確認
＝融資のためにわざわざ連絡してくれています。

もし電話連絡が不安でしたら、

1.フリーコールへ相談
2.申込み内容を正確にする

という対応が有効だと思います。

フリーコールへ相談すれば、
電話確認の代わりの手続きを教えてくれる場合があります。
（給与明細の提出など）