黄家早年间也只算得上一个中等人家，经过几代人的努力，家中开了个不大不小的商号做买卖，基本上能够维持温饱。
黄以声自小聪明好学，家中长辈望子成龙，就将其送进张大帅开办的免费学堂上学，黄以声也没辜负家里人的厚望，学习成绩一直非常优秀，后来更是考入了东北大学就读，在大学里的成绩和品行都获得了师生的赞誉，被张大帅所看重。
这里就不得不说一下东北的张大帅，由于他从小就是个没读过几天书的孩子，教育一直以来成为他的心结，他认为要想国家强大，就要学习文化知识。
当年他没有条件读书学习，在他成为东北第一大军阀时，他最先开始关注当地的教育，当时的各路军阀，都在扩大自己的兵力和地盘，而张大帅却在教育上投入大量财力物力，他要求东北各地区教育经费一定要占总支出4成，各项费用不得挪用教育经费，其他经费可以适当缩减。
当时东北出现许多高等师范类院校，在那里学习，不用交学费还给发伙食费，一天免费三餐非常丰盛，而这些费用全由奉天政府买单。
后来，他又于1923年创办了全国一流的东北大学，他还自掏腰包，花大价钱，从全国各地请一些优秀的教育家在东北大学任教。
在当时东北大学规模巨大，功能齐全，师资力量雄厚，在国内亦是首屈一指，当时的教学水平已经比肩清华北大，差点就成为中国第一大学。
张大帅还不仅仅满足于自己培养人才，他还在大学里挑选优秀尖子，自己出资送到国外去留学，学习西方列强先进的科学知识和技术。
黄以声就有幸被选中并送到法国留学化工专业，学成归国后直接就被任命为沈阳兵工厂的工程师。
黄以声也很为大帅争气，第二年就带领研发小组为兵工厂研制出了黄色火药并投入生产，从此沈阳兵工厂的枪弹火药再也不用依赖从日本进口，相当于解开了日本人套在东北军脖子上的一道枷锁，这也增加了日本人对越来越不受控制的张大帅的忌惮和恨意，为后面的皇姑屯事件埋下了伏因。
张大帅为此还重奖了黄以声并将他提拔为少将参事，全面负责沈阳兵工厂的生产管理工作。
所谓一人得道鸡犬升天，黄以声得到大帅的重用后，军中大佬和各方上层人物都来与他交好，在东北军中也算是小有权势的一号人物，自然要对家中人有所提携。
此时的黄家却是在黄以声出国留学期间遭了一次大难，他的父亲、大伯还有堂兄在一次去山区进货时被土匪残害，自此家道中落，等黄以声回国后才知道此事。
但是家中嫂嫂改嫁，婶婶病死，只剩下母亲和唯一的一个侄儿相依为命，日子过得甚是艰辛。
黄以声回国后就将母亲和侄儿接到沈阳居住，靠着他在兵工厂的薪金度日，虽说不上殷实，但是吃饱饭还是没问题的。