दतिया में बिराजमान तारा माई की स्थापना पीतांबरा माई की स्थापना से पहले की बताई जाती है। इतिहासकार रवि ठाकुर के अनुसार तारा माई की स्थापना सन 1932 में पीतांबरा पीठ के पीठाधीश्वर स्वामी जी महाराज ने कराई थी। पीतांबरा पीठाधीश्वर स्वामी जी महाराज ने पीतांबरा पीठ को अपनी साधना स्थली बनाने से पहले कुछ समय पंचम कवि की टोरिया पर व्यतीत किया था और वहां उन्होने साधना की थी। कहा जाता है कि जिनके जीवन पर संकट हो उन्हें तारा माई की आराधना करनी चाहिए। तारा माई राज्य शक्ति भी प्राप्त कराती हैं।
कठिन है माई की साधना तारा माई की साधना को काफी कठिन माना जाता है इसलिए तारा माई के साधक कम ही मिलते हैं। कहा जाता है कि जिनकी मदद कोई न कर रहा हो उनकी मदद तारा माई करती हैं। साधना से जुड़े लोग यह भी बताते हैं कि तारा माई की साधना करने वाले व्यक्ति को इच्छा मृत्यु की पात्रता मिल जाती है।