中学时，沙龙加入了“加德纳”(以色列国防军的前身——“哈加纳”的外围准军事组织)。1947年，联合国大会通过了在巴勒斯坦建立阿拉伯国和犹太国的决议，以色列国宣告成立，阿以武装冲突全面爆发。正在希伯莱大学学习农业的沙龙立即放弃学业，正式加入了以色列国防军，由此开始了他的军事生涯。

　　时年19岁。

　　沙龙从参军之日起，即显得与众不同。他行为怪僻，喜怒无常，狂妄自大，冷漠无情，但那些富有军事经验的指挥人员则立即发现，这个青年身上蕴藏着特殊的军事天赋。

　　1947年，阿拉伯人频繁攻击犹太人定居点，以色列军则以牙还牙，对阿拉伯人展开报复性攻击。沙龙在这种袭击和伏击作战中，如鱼得水，凶猛异常，很快就被提升为排长，并得到了他在军队的第一个绰号——“让阿拉伯人害怕的战士”。

　　1948年5月，第一次中东战争爆发(以色列称之为“独立战争”)。“独立战争”后，在北部军区的边境地带，阿拉伯军队经常越境进行袭击、伏击作战，而以色列军队只是沿边境设防，疲于应付。沙龙则不同，他的观念是：以血还血，对阿拉伯人进行更加残酷的报复。因而，每当阿拉伯人袭击事件发生，不管上级是否下达命令，只要是在自己防区，沙龙总是立即反击，而其在反复性袭击中所表现出的闪电般的速度和精确、猛烈的打击力度，令各级指挥员耳目一新。

　　沙龙的军事才华不仅得到了直接上司肯定，也开始引起高级军事首长的注意。1950年他进入军校，与教官拉宾建立了友谊。而当他毕业后到北部军区任职时，另一位在沙龙军事生涯中至关重要的人物出现了，这就是被誉为“独眼英雄”的北部军区司令达扬。有一次，两名以色列士兵被约旦军团抓走，达扬在闲谈时说：“如果能抓捕两名约旦军团士兵进行交换就好了。”第二天早晨，当达扬上班时，沙龙已经带着两个约旦俘虏在等候他。达扬非常惊讶，从此记住了沙龙的名字。