相続放棄は取消しが可能であり（民法919条2項）、取消しは、追認をすることができる時から6か月以内、放棄の時から10年以内に（同条3項）、家庭裁判所に対して取消しの申述をすることによって行います（同条4項）。

　相談者のように、お母さんの財産について、債務超過であると思っていたが、実は債務を上回るプラス財産があったという場合は、『表意者が法律行為の基礎とした事情についてその認識が真実に反する錯誤』にあたります（民法95条1項2号）。これを動機の錯誤と言います。
　ただし、①法律行為の基礎とした事情（動機）が表示されていること（民法95条2項）及び、②表意者に錯誤に陥ったことにつき重大な過失がないこと（同条3項）が必要です。

　よって、①相続放棄の際に、プラス財産が少なく債務超過であるから相続放棄するという事情（動機）を表示していることが必要です。②また、祖母に財産があることを、お母さんについて相続放棄した後で知った事情を説明すれば、重過失ありとは言われないと思われます。
　証券会社への請求は、相続放棄の取り消しの申述を行って、それが認められた後で行うのが無難です。
　また、他に相続人がいれば遺産分割協議が必要になる可能性もあります。

以上、ご参考にされてください。