忍者的起源一直众说纷纭，现有主流观点认为，处于社会下层的农民为了各种目的从而运用各种工具——主要是由农具所改造——为领主完成各种任务，在一个长期过程中，相当一部分农民成为了专职秘策、破坏、暗杀、收集敌方前线情报、搅乱敌方后援基地……等种种谍报活动的忍者。这些忍者在不同时期、不同地点受命于不同的领主，有的则为独立的势力。在忍术秘本中，留有圣德太子（五世纪末至六世纪初）身边有位名叫大伴细人的忍者的记载。而这，也是最早的关于忍者的记录。那时的忍者叫做“志能便”。在此后的岁月中，忍者还有“斥候”、“乱波”、“间见”、“见方”、“目付”这些名字。“忍者”这个称谓，是从江户时代开始确定的。
至于忍者具体的起源时间，则没有人可以断言。可以确定的是，忍者从产生之日起就受到了来自中国的影响。
有人认为忍术是由姜太公吕望最先提出的。在忍术权威书籍《万川集海》中记载忍术思想的根源来自中国殷周之际的姜太公吕望，后经孙武、张良、韩信等人完善，形成了最初的忍术理论。特别值得注意的是，《孙子兵法》也很受后世忍者阶级的推崇。在忍术传入日本后，来自中国的忍术理论基础与修练道和山中的伏击战技巧相结合，遂产生了日本特有的忍术，并同时产生了忍者这一特殊的职业。
而另一观点则认为忍术是由传入日本的中国汉代的五行术所发展形成的，与空手道、柔道一样，都是产生于中国而发展于日本。
以上只是战略上的起源。实际上，忍者修炼忍术的最本质最核心同时也是最顶级的目的并非是为了战争，更重要的是要达到与自然的和谐统一。同时为了对自己进行启迪。所以忍者大多修炼佛教中的密宗。密宗起源于西南印度、德干高原，后来再向南印度和东北印度传播，以超戒寺为中心，获得波罗王朝的支持而迅速发展。后传到中国。唐贞元二十年（804）,日本僧人空海大师来唐学法，在长安青龙寺从惠果大师受金刚界、胎藏界两部秘法，并受传法大阿阇黎位。3年后回国，以平安（今京都）东寺为中心弘传密教，并建高野山金刚峰寺为传教“根本道场”,创立真言宗,以传金刚界密法为主，亦称“东密”。
关于忍者所信奉的密宗，一种说法认为，日本高僧久保去大唐留学，得到天台山密宗的真传，将“九字真言”引入日本，成为了忍者的修习的心法。
而美国的现代忍者史蒂夫·海斯则在《伊贺的阴影》中提出，大唐衰落后，有大批游方僧、武将、文人流落到日本，成为了日本社会的中坚力量。他们同时也将大唐先进的科学技术、文化艺术以及各种武艺带到了日本。忍术的基石，也就是由这些人奠定的。
这样的说法并非没有道理，日本与中国的联系从邪马台国时代就已经得到了发展。在其后的岁月中，日本一直与中国保持着各个方面的联系。有一个强有力的证明这种观点的证据既是人称“鬼半藏”的服部半藏正成。服部半藏（服部正成）（1542～1596），本姓秦，祖籍为中国福建。在日本历史中，服部半藏是个不能不提的人。据传，他曾悟出了忍的真谛，达到了其他多少代忍者无法达到的境界。而他，也同时是德川十六将之一。
提到服部半藏正成，就一定要提到“伊贺穿越”。1582年，德川家康受盟友织田信长之邀游近江，当德川家康游至大坂府时发生了著名的“本能寺之变”，明智光秀发动叛变，织田信长死于京都本能寺。德川家康在饭盛山得到速报，起初要切腹殉死，后经过家臣相劝，转而欲为织田报仇。然而此时他身边只有八十护卫及侍童。失去了地主织田信长的保护，作为织田信长的幼时好友及盟友，他的处境很不妙。德川家康便与众家臣商议，取道回国。由于中途必须经过伊贺，于是在场的服部半藏便利用老家力量召集了200名伊贺忍者与100名甲贺忍者沿途暗中护送，使得德川家康从饭盛山一直翻山越岭到伊势湾白子港，再搭船到爱知县高滨港，逃回本国，路途共计96公里。
尽管当时明智光秀由于找不到织田信长的尸体而惊慌失措，丧失了夺取江山的大好时机。然而身为重臣的他也一定会在实施叛乱前就得知德川家康身处近江的消息并制订了暗杀德川家康的计划。毕竟，德川家康与织田信长的关系匪浅，领地又与织田信长的领地相临，占据了相当重要的战略位置。
而忍者们保护德川家康的行为，也是一种回报。织田信长在1581年的第二次天正伊贺之乱中以数万之军围攻只有2000（一说9000）人的伊贺忍者，伊贺众上忍、中忍率领下忍冲出重围，逃到各国。其中大部分都是逃到了德川家康藩国内。后来在德川家康建立幕府后，他令服部半藏正成组建“伊贺同心组”，并统率众多忍者进行诸如维持社会治安等任务。
这个例子充分说明了忍者与大名的关系之密切。这是生死存亡的关系。无论对于德川幕府还是日后的“伊贺同心组”。
很多忍者总是依附于大名，并且身份低贱，一生贫苦。毫无仕途可言。对大名们来说，他们不过是杀人的机器罢了。在这一点上，服部半藏的仕途最为坦荡，并且也避免了像一般忍者一样凄惨地死去——毕竟他已可以算是一名精通长矛的武将而非忍者，又对德川家康有救命之恩——。可他直到死时也只有8000石的俸禄。当时，随便哪个武士的俸禄就可以是10万石。可是与其他大名相比，德川家康给予服部半藏已经够多的了。而更多的忍者并没有这些报酬。他们只能依靠手中的用农具改造的忍具和自己的智慧去想方设法完成任务。这也是为什么众多忍术已经失传的原因——只有使用者知道如何使用那看似农具的忍具。
织田信长对伊贺忍者的疑虑是有原因。作为三大忍术集聚地的伊贺，拥有众多流派，势力雄厚。当时，在百地丹波的领导下，伊贺已成为一支不可小视的独立力量。
当时忍者已发展成为集团制。他们大多居住在偏僻地带，远离一般城镇，成为了脱离皇室、幕府、大名的独立势力。在一个忍者集团中，通常分为上忍、中忍及下忍三级。其中上忍多世袭，是一派的首领，通常只负责本派的发展。在上忍手下有很多中忍。中忍负责具体作战的计划制订以及传达上忍的指令。而真正执行各种任务的，是为数众多的下忍。
从分工上看，忍者又可以以具体擅长的技艺划分种类。譬如“情报型忍者”。
这些忍者集团有着严格的组织关系。他们拥有自己独特的忍术及风格。本派的忍术，通常只传授本派子弟。这些子弟从三至五岁时便开始接受体力以及精神上的包括力量、敏捷、速度、耐力及平衡等方面的严酷训练。在这些训练中，受训者随时都有流血甚至丧命的危险。例如，在训练敏捷时，受训者必须快速穿过一条狭小曲折并且墙壁上插满刀剑的走廊。若稍有不慎，便会落得刀剑穿心的下场。而正是这些体力以及精神上的修炼，使得忍者拥有了非凡的能力。
但是这些并没有改变忍者悲惨的命运。
尽管忍者的身份极其低贱，然而他们又是各大名所不可缺少的。“甲斐之虎”武田信玄便是一个极其喜欢使用忍者的大名。他暗地收罗并组织了一批忍者为其服务。他与忍者的关系，更由于“飞加藤”的故事而添上了一抹阴暗的色彩。
加藤段藏（生卒不明），在民间故事中被称为“飞加藤”，是一个极为优秀的忍者，擅长幻术。为了出仕，起先侍奉上衫谦信，却由于出众的技艺使得上衫谦信起疑，想要杀掉他。加藤识破了上衫谦信的阴谋，及时脱身。转而投奔甲斐之虎武田信玄麾下军师山本勘助。
某天武田信玄与众大臣一同观看他的表演，令他跃过3丈高的围墙，又在墙下暗中放置了荆棘，想要看他的笑话。没想到他在跃过墙后在空中便察觉有异，竟一个倒跃又跃回墙那边去了。
这下众人大开眼界。然而当山本勘助询问武田信玄是否录用加藤段藏时，武田信玄回答竟是“斩掉”。于是加藤受到酒宴款待。一心仕途的加藤被冲昏了头脑，以为武田信玄会收下他，就不免掉以轻心。当他喝得烂醉后，埋伏在门外的刀手便冲进来将他杀死。一个天才的忍者就这样死去。
在1869年刊行的《名将言行录》中，记载着武田信玄当时为何下令斩掉加藤的理由：“那种异乎寻常的功夫，将来很可能成为葬送武田家的武器，现在除掉比较安全。”
这便是忍者命运的最好解释。加藤段藏就是因为没有认清忍者的命运，才会这样死去。领主是不会允许优秀的忍者存在于身边的，却希望忍者能够更优秀，更好更多地完成各种任务。这是矛盾的，然而这又是必然的。忍者高超的技艺、坚韧的毅力以及超乎常人的精神， 使得其成为每一个大名潜在的威胁。
忍者是一柄双刃剑，没有人可以掌握。
事实也证明，优秀的忍者往往会悲惨地死去。由于忍者在暗处，武士在明处。因此武士对忍者极度仇恨，一旦逮到，便会用尽办法折磨忍者。所以许多忍者宁可自杀也不愿让武士逮捕到自己。为了保密，在死之前还要将自己毁容。
集团制的忍者通常只会保守雇主的秘密，而并不会效忠某位大名。在这方面，风魔小太郎所领导的风魔一族是一个另类。然而风魔小太郎并非严格意义上的忍者。因此，可以认为，集团化的忍者是以雇佣兵的身份存在的。 至于那些不幸被逮捕的忍者，等待他们的往往是极其残忍的处罚。
石川五右卫门（？～1594），以畿内为中心的盗贼团头子、忍者。文禄3年（1594年），他潜入丰臣秀吉的房间，想要偷窃有名的“千鸟之香炉”，然而不幸被捕。在面对丰臣的审问时，他破口大骂，说道“我不过是偷窃财宝罢了，而你丰臣秀吉却是偷窃天下的大盗。”后来在京都三条河受刑之前，仍大骂丰臣秀吉，之后跳入沸腾的油锅中死去。
这仅仅是丰臣秀吉与忍者的直接接触之一。在他夺取大权之后，有无数忍者——其中一些是自由的忍者——试图刺杀他，却总是因为技艺不高超而失败。事实上，像丰臣秀吉这样的大人物总是很小心地防着忍者的。天正十二年六月，幻术高超极至的果心居士就是因为在丰臣秀吉面前玩弄幻术而死的。这样的忍者实在是太多了。他们许多都没有留下姓名。他们中的许多人，或者成功刺杀了一个大名，或者自己被大名杀死。而被忍者杀死的大名也实在太多了。
事实上，在进入江户时代后，集团化的忍者便基本瓦解。剩下的忍者，或是被杀，或是作为杂耍艺人在 宴会时展露几下幻术。再无往日的辉煌。
可以说在乱世的战国中，相对来说，忍者的力量很微弱，根本不足以抗衡那些大名。然而忍者就是那很关键的影响历史的一个因素。如同老鼠杀死大象一样。他们是那致命的一击……
进入江户时代后，由于长期的和平，忍者逐渐失去了活动的空间。1637年“岛原之乱”是有文字记载的忍者的最后活动。1676年，藤林保武结合中国和日本历代名将的思想与武学精华，参照《六韬》和《孙子兵法》的内容写成了集忍道、忍术、忍器于一体的忍者权威著作《万川集海》。之后，忍者便消失在了时光中，如同他们消失在寒冷的夜中一样……可无论如何，他们在历史中，也曾经是一颗短暂却耀眼的流星。虽然逝去，却仍在某个角落，静静地绽放光芒……
