鲁南抗日根据地主要是山东省南部和江苏省北部的部分地区，南起陇海铁路，北至兖（州）临（沂）公路，东临沂河、沭河，西濒南阳、独山、昭阳、微山四湖。包括山东省的济宁、滋阳（兖州）、曲阜、泗水、邹县、滕县、峄县、费县、临沂、郯城和江苏省的沛县、铜山县、邳县等地区。
该根据地属于泰山余脉的一片山地，丘岭起伏，地势险要，境内有抱犊崮、天宝山、尼山等重要山区。该地区西部有贯穿南北的津浦铁路，东部是山东沿海，它不仅是连接济南、徐州的重要通道，还是连接华北、华东和华中的重要交通枢纽，战略位置极为重要。鲁南抗日根据地具有光荣的革命传统。早在大革命时期，共产党人就在该地区进行活动并建立了党组织。鲁南地区党组织几经破坏在艰难曲折中不断发展，领导工人、农民、知识分子多次开展声势浩大的革命斗争，影响深远。
1937年七七事变后不久，在延安参加苏区代表会议和白区代表会议的中共苏鲁豫皖边区特委书记郭子化返回鲁南，主持特委会议，决定建立抗日民族统一战线，加强对群众的抗日宣传教育，筹备建立抗日武装。
1938年5月徐州失陷后，中共中央决定将中共山东省委扩建为中共苏鲁豫皖边区省委。同时，中共苏鲁豫皖边区特委由中共河南省委划归边区省委领导。之后，边区省委制定了《发展和坚持山东游击战争的战略计划》，内容之一就是向南发展，开创抱犊崮山区抗日根据地。这一战略计划得到了中央的批准。
根据中央及上级党委的指示精神，边区特委组织了抗日武装起义,积极创建抗日根据地。5月21日，在墓山建立了第5战区人民抗日义勇总队。张光中任总队长，何一萍任政治委员。6月，改称苏鲁人民抗日义勇队第1总队，微山湖西抗日武装组成人民抗日义勇队第2总队。在此之前，邹县已建立了鲁南人民抗日游击队。在此之后，临（沂）费（县）边区建立了八路军山东游击队第12支队，在兰山地区还组织了临郯独立团。
边区特委在滕（县）峄（县）边山区发动群众，袭击日军，发展党组织，在滕峄边区初步建立了抗日根据地。6月，驻滕县东部冯卯的国民党游击第7纵队司令申宪武，纠集邹县、峄县、滕县、费县等国民党地方顽军，对滕峄边根据地进行围攻。特委和义勇总队被迫向抱犊崮山区一带转移。
到达抱犊崮山区后，义勇总队整编了临郯青救团和四县边联大队大部。1938年秋至1939年秋期间，张光中率领的苏鲁人民抗日义勇总队经过一系列的艰苦斗争，在四县边联地区开辟了抱犊崮山区抗日根据地的雏形。
1938年8月，中共苏鲁豫皖边区特委撤销，分别成立鲁南特委、苏皖特委和苏鲁豫特委，均属边区省委领导。在鲁南特委正式建立之前，鲁南各县直属边区省委领导。
9月，经边区省委批准，义勇总队在保持原领导干部和独立编制不变的情况下，暂改用张里元的国民党山东省第三区保安司令部直辖第四团的番号，仍受边区省委指挥。义勇总队改编为直辖第四团后，张光中任团长、李乐平任政治委员（对外称政治处主任）。1939年4月，直辖第四团又改称张里元的保安第二旅第十九团。
1938年12月，中共中央决定中共苏鲁豫皖边区省委改称中共山东分局，郭洪涛任书记；并成立八路军山东纵队。义勇总队（直辖第四团）正式列入山东纵队编制，对外仍沿用直辖第四团的番号，继续同张里元保持统战关系，在抱犊崮山区开展抗日活动。
1939年1月，中共鲁南特委在矿坑村（今属兰陵县）正式成立，宋子成任特委书记兼社会部长。特委下辖峄县县委（县委书记为纪华）、滕县县委（县委书记为王丹墀）、临郯县委（县委书记为王永福）、边联县委（县委书记为孙振华）、临费县委（县委书记为商向前）、费县县委（县委书记为刘次恭）6个县委。鲁南特委机关对外称八路军第三工作团。鲁南特委的成立，使鲁南地区又有了统一的党的领导机构，标志着鲁南地区党的组织建设走向了统一发展的道路。
7月底，山东分局决定把山东地区统一划为三个地区。胶济路南、津浦路东的鲁中、鲁南地区为第一区（统称鲁南区），津浦路西的鲁西区为第二区，胶东为第三区。湖西、清河为特区。第一区党委建立后，于7月至9月间将划其领导的泰山、淄博、尼山、鲁南、鲁东南五个特委分别改建为第一、二、三、四、五地委，其中，将尼山特委改建为第三地委，宋子成任书记兼社会部长。第三地委下辖峄县县委、滕县县委、边联县委、费县县委、曲泗宁县委、邹县县委。临郯县委划归第四地委领导。第三、第四地委从1939年7月到1940年5月，仅仅存在八九个月的时间。但这段时间，是鲁南局势发生重大变化的时期，也是一个历史转折时期。第三、第四地委适应了这种局势的转变，动员群众，发展武装，建立抗日民主政权，巩固了抗日根据地。
1939年秋至1940年底，是鲁南抗日根据地的发展时期。八路军第一一五师主力进入鲁南，对推动抗日根据地的巩固和发展起了至关重要的作用。
为支援鲁南地区的抗日武装，创建、扩大鲁南抗日根据地， 1939年5月下旬，第一一五师司令部参谋处长王秉璋、师政治部副主任黄励率领师部机关、直属队及冀鲁边第七团，首先进入鲁南的费县西北地区。8月，第一一五师第六八六团由鲁西出发，过南阳湖，进入邹（县）滕（县）边界，于9月初又进入抱犊崮山区。8月上旬，由王秉璋、黄励率领的师部机关、直属队由费县南下，于9月1日到达抱犊崮山区大炉。
八路军第一一五师进入鲁南抱犊崮山区后，积极整编地方武装，壮大人民抗日武装力量。第一一五师在中共山东分局和山东纵队以及鲁南地方党组织的支持下，将创建并活动于鲁南各地的党领导的人民抗日武装和部分爱国人士创建的抗日武装，相继整编为苏鲁支队、曲泗邹滕费五县游击队、运河支队、峄县支队、鲁南支队、临郯费峄四县边联支队和鲁南铁道大队等。这些地方抗日武装编入八路军序列之后，积极配合主力部队同日伪顽斗争，为巩固和扩大以抱犊崮为中心的鲁南抗日根据地作出了重要贡献。
为了巩固、扩大鲁南抗日根据地，八路军第一一五师开展了一系列军事行动，先是开辟郯马平原，巩固了抱犊崮山区东南部外围阵地。接着开辟苍马地区，在苍山至马陵山一带建立了游击根据地。之后，又进行了扫清抱犊崮周围反动势力的战斗。12月下旬，第六八六团和苏鲁支队清除了滕东地区申宪武部等反共顽固势力，解除了抱犊崮抗日根据地西北部的威胁，扩大了抗日根据地。接着陈光、罗荣桓又决定向北发展，进攻白彦。经反复争夺，最终摧毁了白彦及周围各据点，切断了日伪控制的费滕公路，解放了白彦地区，打通了鲁南与鲁中区的联系。
到1939年底，鲁南抱犊崮山区抗日根据地已扩展到南至郯马、东至临沂，西至滕邹边、北至梁邱一带。先后建立了峄县、邹县、郯城、费县、临沂等县抗日民主政府，使抱犊崮山区抗日根据地得到进一步巩固。
随着军事斗争的节节胜利、抗日根据地的不断扩展和抗日民族统一战线的日益巩固和加强，鲁南地方党的组织、抗日民主政权及地方武装都呈现出空前未有的大发展趋势。特别是抗日民主政权建设，从1939年底至1940年春，先后建立了邹县、郯城、苍马、费县、邳县、临沂、费北、滕东等11个县的政权，还有38个区、171个乡政权。
1940年4月，山东军政委员会撤销了第一区党委，在原辖区内分别成立鲁南、鲁中区党委。原第一区党委所第三地委（尼山地委）、第四地委（鲁南地委）划归鲁南区党委。6月上旬，鲁南区委党委在鲁南天宝山区的油篓村正式成立，赵镈任区党委书记。
9月中旬，根据中共山东分局桃峪扩大会议的决定，建立鲁南军政委员会，罗荣桓任书记，赵镈任副书记。鲁南军政委员会是统一领导鲁南地区抗日斗争的最高领导机构。
到1940年9月，鲁南抱犊崮山区抗日根据地和游击区面积已达2762平方公里，占鲁南全区总面积的21.7%；人口有75万余人，占总人口的21.18%。
1940年10月，中共中央决定八路军第一一五师撤离鲁南转移到鲁中沂蒙山区。第一一五师撤离鲁南后，鲁南抗日根据地斗争渐趋困难。1941至1942年，是中国共产党领导的敌后抗战最艰苦、最困难时期，也是鲁南抗日根据地最艰难的时期。
为了彻底摧毁抗日根据地，从1941年3月起，日军先后推行了五次“治安强化运动”，并对鲁南抗日根据地实行频繁、残酷的“扫荡”、“蚕食”和分割、封锁。至1941年底，日伪据点达441处，较1940年增加179处，全区平均每12个村庄就有一个日伪据点；仅1942年上半年至次年下半年的一年中，敌伪对鲁南根据地的“扫荡”就有7次，兵力最多时达6000余人。
而鲁南地区的国民党顽固派则在“皖南事变”后疯狂地制造摩擦，1941年连续制造三次流血事件，即“四·二五”、“七·二五”、“十·二七”（银厂惨案）三大事变，鲁南区党委书记赵镈在银厂惨案中被杀害。赵镈牺牲后，由区党委副书记张雨帆代理书记。1943年3月，王麓水任鲁南区党委书记。
在日伪军和顽军的夹击之下，鲁南抗日根据地被分割成数块互不相连的根据地，根据地人口降至12.5万，村庄不足500个。另外，连续三年的旱灾、蝗灾，鲁南抗日军民遭受到空前严重的困难。鲁南抗战进入最艰苦的时期。
在严峻的形势下，鲁南军民开展了英勇的斗争和艰苦的工作。一是粉碎日伪军频繁、残酷的“扫荡”；二是运用“翻边战术”，开展反“蚕食”斗争；三是通过建立秘密交通线、摧毁敌人封锁线、开展群众性的反封锁斗争，打破敌人的封锁；四是坚持团结抗战，反击国民党顽固派的军事摩擦；五是实行精兵简政和实行党的一元化领导；六是搞好军民生产，保障后勤供应；七是进行货币斗争，加强财政经济建设。
1942年刘少奇视察山东后，对山东抗战四年的工作做了总结，在肯定成绩的基础上，找出了山东工作的不足，鲁南根据地军民认真贯彻执行刘少奇的指示精神，发动群众，开展减租减息、增加工资运动，推动了根据地工作的开展，扭转了根据地被动的局面。鲁南根据地进入恢复发展阶段。这一期间，鲁南军区还开辟了从华中经山东到陕甘宁边区的地下交通线，安全护送刘少奇、陈毅等千余名党政军领导干部过往。
1943年下半年反击国民党第九十二军入鲁胜利之后，改变了整个山东敌伪顽我力量的对比，局面大好。1943年11月柱子山战斗剿灭顽匪刘桂堂部，标志着鲁南抗日根据地基本上已经没有了什么大的敌伪顽势力。至此，鲁南腹部基本全部解放，费南、临费边、滕峄边、赵镈等县完全连成一片，鲁南抗日根据地中心区的形势得到根本好转，根据地进入大发展阶段。
从1944年起，鲁南敌、顽、我力量对比发生根本变化，八路军由弱变强，转入对敌攻势阶段。在这一年中，鲁南区党委和鲁南军区发起了春季、夏季和秋季攻势作战。春季攻势作战清除了鲁南根据地腹地的敌伪顽据点。夏季攻势作战，巩固、扩大了解放区，打通了鲁南与苏北地区的联系，湖西与鲁南解放区也连成一片，由华中经鲁南、湖西通往华北的重要交通线完全为人民抗日武装所控制。秋季攻势作战打通了鲁南与鲁中、滨海两根据地的联系。随着根据地的不断扩大，鲁南区党委继续领导全区各级党组织深入开展整风，进行党内教育，提高党的素质;建立新的党政军领导机关，在对敌斗争中发展新党员，培养新干部。到1944年底，鲁南地区共有三个地委和专员公署，13个县委和县政府，92个区委和区公所，1460个党支部，17600余名党员。1945年又连续发起春、夏季攻势作战，使鲁南根据地的面积扩大一倍多。8月 ，在对日全面反攻开始后，鲁南主力部队编入山东解放军第8师，警备第8、第9旅。
1945年8月15日，日本宣布无条件投降，9月2日，签署投降书，抗日战争以日本侵略者的彻底失败、中国人民的完全胜利而宣告结束，第二次世界大战也胜利结束。抗日战争的胜利，是近百年来中国人民反抗外国列强侵略战争的第一次取得完全胜利的民族解放战争。在浴血奋战的8年里，鲁南地区军民作战3000余次，歼灭日伪军4万余人，歼灭顽军2万余人。鲁南八路军从无到有，从小到大，到抗日战争结束时已发展到2万余人，民兵、自卫团43万余人。共产党在人民群众中的威信大大提高，共产党员从抗战初期的400余人发展到近2万多人，并培养了大批德才兼备的党政军领导干部，团结在党周围的各种抗日人民群众团体会员达50余万人。到抗日战争结束时，鲁南抗日根据地已拥有250万人口，1.3万平方公里土地。鲁南抗日根据地军民在为本地区的民族解放事业做出重大贡献的同时，也付出了巨大牺牲。在整个抗日战争时期，鲁南地区的抗日武装和人民群众伤亡总数达20余万人，其中鲁南中心县委书记何一萍、鲁南区党委书记赵镈、峄县大队支队长刘炳才、运河支队支队长孙伯龙、鲁南铁道大队大队长洪振海、政治委员张鸿仪等一大批优秀党政军负责人献出了宝贵生命。
