我国种植芝麻历史悠久，分布十分广泛。芝麻在我国的种植起源，一般说法认为是公元前二世纪（也就是汉武帝前），由张骞出使西域从大宛（如今的中亚细亚）引进来的。这种说法始自十一世纪（北宋）沈括著的《梦溪笔谈》：他叙述说：“张骞自大苑（宛）得油麻之种，亦谓之麻，故以胡麻别之”。但这一说法，在我国的其他史籍资料里并没有确切的论证。就是在《前汉书 张骞传》里也都没有张骞引进芝麻的记述。芝麻在我国的种植起源，一直是一种传说。
1959年，浙江省文物管理委员会考古人员在太湖流域的吴兴钱山漾和杭州水田畈两处遗址的出土文物中发现有炭化芝麻种籽。而据专家考证这些芝麻的年代，大约是公元前770年至480年（春秋），比张骞出使西域早200-500多年。可见，我国种植芝麻的历史至少已有2000多年了。历代芝麻有许多象形的名称：如方茎、巨胜、虱、脂麻、油麻等。通常沿用“胡麻”，宋代才有“芝麻”的名称。
我国最早有文字资料关于芝麻的记载是战国及秦汉医药学家们撰写的《神农本草经》：“胡麻又名巨胜，生上党川泽，采之。青，巨胜苗也。生中原川谷”。公元前一世纪后期（前汉）的《汜胜之书》，书中称之为“胡麻”。而到北宋苏颂《图经本草》中记述了芝麻的植物学特征：“茎四方，高五、六尺，……开白花，形如牵牛花状而小，亦有紫色，节节生角……子扁而细小”。我国最早绘出芝麻植株图形的是公元1406年朱肃著的《救荒本草》一书。
我国后魏时期（公元六世纪）的一部重要农业科学典籍《齐民要术》，将黄河中、下游地区的芝麻栽培技术，最早作了比较系统的总结。其中如春芝麻的播种期（农历）“二、三月为上时，四月上旬为中时，五月上旬为下时，种欲截雨脚。”播种方法有撒播和条播，“耧耩者炒沙令燥，中和半之。”等等。