指南针在我国古代叫做司南，其最早可追溯至四千年前的黄帝时期，传说黄帝余蚩尤大战的时候蚩尤请来了“风伯雨师”助战,霎时间风云大作，烟雾弥漫让人分不清方向，后来黄帝做指南车辨别方向，这才击败了蚩尤。
先秦时代的中国劳动人民已经积累了对磁现象的认识，在探寻铁矿的时候，常常遇到磁铁矿，即磁石。《管子》的数篇中早已记载了这些发现：“山上又磁石者，其下有金铜。”
《山海经》中也有类似的记载。磁石的吸铁特性很早被人发现，《吕氏春秋》九卷精通篇就有：“慈招铁，或引之也。”
古人称“磁”为“慈”。古人把磁石吸引铁看作慈母对子女的吸引。并认为：“石是铁的母亲，但石有慈和不慈两种，慈爱的石头能吸引他的子女，不慈的石头就不能吸引了。”
汉以前古人把磁石写成“慈石”，是慈爱石头的表达。
到了西汉，有一个名叫栾大的方士，他利用磁石的特性做了两个像棋子的东西，通过调整两个棋子极性的相互位置，有时两个棋子相互吸引，有时相互排斥。栾大称其为“斗棋”。他把这个新奇的玩意献给汉武帝，并当场演示。汉武帝惊奇不已，龙心大悦，竟封栾大为“五利将军”。
在当时人们将磁石也做成了罗盘，上有天干地支，五行八卦，人们用来测风水定方位。不过磁针的出现却比较晚，直到唐代的时候才被人们发明出来。当时唐代堪舆家的活动相当活跃，并开始强调方向的选择，寻找比磁勺更方便的指向器成了当务之急。于是指南铁鱼或者蝌蚪形铁质指向器及水浮磁针应运而生。
唐开元年间（713—741年）的山西堪舆家丘延瀚，被后世堪舆家推崇为堪舆术三针（正针、缝针和中针）中最早出现的正针法的创始人。
明代雅好科技的宁献王朱权则在其《神机秘籍》中说：“针法古无所传，自昔玄真始制。”玄真即唐代浙江金华道家张志和（约730—约810年），他的道号叫玄真子，所著《玄真子》十二