平安時代

讃岐石の歴史は古く、京都で石材が大量に使用されるようになった平安時代にはすでに讃岐の石材が使用されていたようです。
京都男山の石清水八幡宮にある古文書「建武回録記」に「1339年（暦応2年）この八幡宮の宝殿・弊殿・拝殿の再建にあたり、石種30種余、個数五千箇余の切石が使用されたが、これは前例にならって、検校職（お宮の事務を総管する役）を勤める田中殿の所領地　讃岐の国　から送り込まれた…」と記載されています。おそらくこの「讃岐の石」の中には、その当時京都男山の荘園であった牟礼の庄から運ばれた石、つまり庵治・牟礼の山で採れた石があったものと思われます。

戦国時代

庵治石として、本格的に採石され、使われ始めたのは、天正時代（1573年～）に入り大阪城、高松城築城の頃からといわれています。
一説によると、この頃の丁場は現在のような丁場ではなく、庵治竹居付近の海岸近くから石を切り出し筏で運んだとも言われており、庵治の港から運んだことから「庵治石」とも言われています。

江戸時代

源平合戦時に源義経の四天王の一人であった佐藤継信は1185年（元暦2年）2月　屋島の合戦において、強弓で知られる平家能登守教経から義経を守り、身代わりとなって戦死。
寛永二年（1643年）、初代高松藩主　松平頼重公が新しく墓石（佐藤継信の墓）を王墓（牟礼町）壇ノ浦（屋島）に庵治石で建て、その戦死を称えました。
義経が一ノ谷合戦の逆落としに使ったと言われる名馬であった太夫黒の墓も庵治石で建てられています。
壇ノ浦の墓石の台石は全て庵治石でできています（塔心は御影（兵庫）石）。基壇の石組も正面の石段も目の細かい庵治石が使用されています。

明治以降

1884年（明治17年）落成の旧香川県庁の建築に、「御用丁場」からの石が運ばれ、工事に使用されています。
1894年（明治27年）には、東京皇居の御造営にも多量の石が納められ、「庵治石」の真価が認められています。
その後、「武庫離宮」（現在の須磨離宮公園）の造営工事1912年（大正3年）にも用石として庵治石を納めています。
1913年頃（大正2～3年）に工事をした伏見桃山陵にも庵治石が多量に使われ、全国的に庵治石の名が高まったと思われます。