战后日本人总结太平洋战争失败的教训，其中有一条是这么说的:“海军和陆军进行战争，再用剩下来的精力和美国作战”。

由此可见陆海军内斗的严重性。有人说是历史上长州藩和萨摩藩两藩之争的延续。

日本陆海军的矛盾由来已久，突出表现在：陆海军各起炉灶，各有一个军令系统，直接对天皇负责。也就是说，日军既没有总参，也没有参谋长联席会议。

大化改新（公元646年）后，日本效仿中国隋唐时期的三省六部制建立中央官制，以二官八省为基本体制，二官指的是担当朝廷祭祀的神祇官和统括国政的太政官，在太政官之下设置八省：中务省、式部省、治部省、民部省、兵部省、刑部省、大藏省、宫内省。

1871年（明治四年）7月，日本兵部省下设陆军参谋局。这是日本军令部门最早的形式。

1872年2月，根据太政官公告，日本兵部省拆分为海军省和陆军省，陆军参谋局改为陆军省参谋局。

1878年，设置了天皇直辖的参谋部，参谋长由皇族担任，陆军的军政和军令机关分开。此后，海军也不断扩充势力。

1884年，海军省设立“军事部”。

1886年3月，改组参谋部，建立了参谋长之下，陆军部和海军部并列、陆海军联合的中央军令机关。

1888年5月，考虑到陆海军之间的矛盾，参谋本部下的海军部和陆军部分别改为海军参谋本部和陆军参谋本部，而陆海军全军参谋长由皇族担任，称为“参军”。

1889年3月，“参军”官制被废除，海军在海军大臣之下设立了海军参谋部，实现了海军的军政、军令一元化。而陆军改称参谋部，参谋长改称参谋总长，是帝国全军的参谋长。

1893年1月，海军提议设置独立于海军省的海军参谋部。对此，陆军坚决反对，理由是如果中央出现了两个并列的军令机关，设两个参谋长的制度会给军令统一造成混乱。当时“陆主海从”思想占统治地位，海军对此十分不满，因而陆海军之间产生了对立的萌芽。天皇出面调停，陆海军首脑协商后决定，海军设高等参谋部，同时制定战时大本营条例，大本营的参谋长即是参谋部的参谋总长。

1893年5月，海军省参谋部改名“海军军令部”。海军军令部条例（敕令第37号）规定，陆海军的军令部门（陆军参谋本部和海军军令部）在和平时期是相互独立、对等的；海军军令部虽属于海军最高单位，但设置之初，政府为尊重陆军，将海军的军令部与参谋本部一并列于陆军之下。根据同年制定的战时大本营条例（敕令第52号），战时，海军军令权属于作为幕僚长的陆军参谋总长。

1894年6月，在出兵朝鲜的同时，在参谋部内设置了大本营，甲午战争后不久，海军方面提议改组大本营，力图将“陆主海从”扭转为陆海平等。由于海军方面顽固坚持，陆海军发生了激烈的正面冲突。天皇先是予以搁置，后因日俄关系不断恶化，陆海军多次协商决定，大本营在天皇亲自裁决下平行设置陆海军两个参谋长，在参谋长的任务中特别增加了一条：力图使陆海两军协调配合。与此同时新设立了军事参议院，作为陆海军的协调机关。

1898年设置了元帅府，作为天皇的最高军事顾问。元帅战前负责陆海军的协调，战时辅佐最高统帅。在此期间，陆军与海军、陆海军与政府间有时也产生意见分歧，但不待天皇裁决即得以解决。

1903年12月，根据修改后的战时大本营条例（敕令第293号），即使在战争时期，陆海军的军令部门也各自独立，保持对等的地位。此举标志着海军军令部与陆军彻底脱钩。

日俄战争期间，军事参议院并未有效地发挥作用。

1933年，为与日本陆军参谋总长的职衔对应，海军军令部长改称军令部总长；军令部次长辅佐总长，两者皆为御前会议的成员。

后来陆海军在国防、用兵方面的思想分歧和对立日趋表面化。陆军主张“南守北进”，即以陆军向苏联西伯利亚发动攻势，目标是进攻至贝加尔湖一带。与此相反，海军则主张“北守南进”，即国家的发展方向在南方，认为美国是假想敌国，应首先加强对美战备，并夺取东南亚资源（特别是荷属东印度的石油）。结果双方互不让步，只是各述己见，只有天皇才能使陆海军二元化统帅机构实现一元化领导。

1939年5月4日至9月16日发生的诺门坎战事，日本败于苏联。至此，“北进”及“南进”的策略争论暂告平息，促使日本采用南进战略，最终引致两年后日本偷袭珍珠港、向美国宣战。

1944年2月，天皇任命陆军大将东条英机为参谋总长，海军大将岛田繁太郎为军令部总长，东条英机身兼首相、陆相、参议总长三职，岛田繁太郎身兼海相、军令部总长二职。天皇企图通过领导人兼职来协调国务和统帅、陆海军的军政和军令间的关系。然而陆海军各有一个军令系统的局面并未改变。

二战期间，日本陆军主要负责中国和南洋战线，海军负责太平洋及其岛屿战线，结果海军几乎全军覆灭。于是海军指责陆军偷懒，陆军指责海军不打胜仗尽浪费资源。

据说天皇裕仁曾这样问过手下：“难道海军和陆军之间真的水火不容吗？如果它们之间存在摩擦的话，我们就难以赢得战争的胜利。”

到最后，天皇的协调终究归于徒劳。