創建年代は不詳。当初は経常洞菖蒲澗と称した草庵であった。荒廃していたところ延享元年（1744年）12月15日、日吉神社（現・安八郡神戸町）神宮寺・浄法坊の跡地を志津野村の庄屋・佐藤林八郎が譲り受け、領主や永平寺に願い出て曹洞宗永平寺末の菖蒲庵として移転した。このとき永平寺42世・円月江寂を招いて中興開山とした。
寛延3年（1750年）、寺のある地を代々領地とした尾張藩家老・竹腰家の5代当主・正武が寺をよく訪れた縁から正武寺に改称した。
その後一時期菖蒲寺と漢字表記を改めるも、宝暦10年（1760年）にもとの正武寺という表記に直された。
