马耀南出生于山东省长山县（今邹平）的一个农民兼手工业的家庭。父亲为私塾教师，母亲也知书达理。他自幼就受到家庭中关于忠孝节义的传统教育。少年时代，目睹德国入侵山东，占领青岛，在山东土地上筑路开矿，为所欲为。

第一次世界大战结束，中国当局屈从帝国主义摆布，同意日本取代德国在山东的权利，年仅17岁的马耀南义愤填膺。他在日记中写下了“我们要把帝国主义赶出去，我们要做真正的中国人”的豪情壮志。他进入山东省立济南第一中学后，积极参加爱国反帝活动。他同进步同学组织了“反日会”和反对日本侵略的游行，并组织同学到商埠宣传抵制日货和查封日货。在省立一中期间，他还参加了山东早期的共产党人邓恩铭、王荩美组织的“马克思学说研究会”活动，接受到一些共产主义的启蒙教育。马耀南后来考入天津北洋大学读机械工程专业。在大学里，他是一位思想活跃、社会活动能力强的学生。他很快成为大学学生会负责人，并成为天津市学生联合会的负责人之一。

1930年出席国民党的三大期间，目睹亲历了国民党内贿赂拉票的腐败行径。他当机立断，宣布退出国民党。他回到天津，积极参加倒蒋活动。蒋介石便宣布马耀南“亲共反蒋”并通令缉捕。马耀南为逃避通缉，先是跑到河北永清县中学教书，嗣后，又被聘到南通大学任教。1933年，他受家乡长山县各界联名邀请，回到故乡出任长山中学校长。他立志为国家培育有用人才，走教育救国之路。在他出任长山中学校长后，提出了一系列新的办学方针。他把挂了多少年的那块“学校重地、闲人免进”的牌子摘掉，一方面欢迎民众到学校参观，另方面还带领学生走出校门，或扫街或修路，加强同民众的联系。

1937年卢沟桥事变不久，北平和天津相继失守，日寇从南北两方进攻。马耀南决心投笔从戎，抗日救国。他在当年8月15日的日记中写道：“上海炮火异常凶猛，全国已入血战状态。自顾尚在此安逸消闲，能不愧死！自即日起，当特别振奋，求有所报命国家，获取较大代价之牺牲，方不愧生世间。”

同年底，中共山东省委派遣地下党员姚仲明、红军干部廖容标和地下党员赵明新三人先后到长山中学，并建立起以姚仲明为组长的党小组。

姚仲明、廖容标和赵明新到达长山，马耀南安排他们三人为长山中学的教员。马耀南对姚仲明他们三人表示：“你们就放手干吧，国民党县党部和县政府来找麻烦由我顶着。”

1937年12月24日，日军飞机轰炸了长山城，炸弹落在了长山中学和县政府附近。

长山中学的党组织召开紧急会议，决定把师生拉到长山九区的卫固一带进行抗日，并打出山东人民抗日救国军第五军的番号。会议还决定由马耀南任司令，廖容标任副司令，姚仲明任政委。

次日，他们分头行动。姚、廖带领师生去卫固，马耀南赴二区和八区联络人员和筹备粮款。姚仲明和廖容标带着百人师生到达卫固黑铁山下的太平庄住了下来。第二天在村小学集合全体师生，姚仲明宣读了《告同胞书》，宣布建立中国人民抗日救国军第五军。

五军的旗号打出之后，就像一块巨大磁石，吸引着四面八方抗日救国的有志之士。他们纷纷向黑铁山聚集。原长山县政府所属的武装大队，与南逃的县政府失去联系，为求生存，也投奔了黑铁山。马耀南和姚仲明从团结各界人士联合抗战出发，当即表示欢迎。这样一来，五军编了三个中队，队伍近400人，有枪200余支。