Le site d'Arlempdes domine une boucle de la Loire et sert de « verrou » entre plusieurs vallées. C'est ainsi qu'il a naturellement été choisi comme site religieux, d'où son nom Arlempdes (< gaulois *Ar(e)-nemeton « temple de l'est »), et comme site militaire. Dans l'Antiquité, un camp romain est installé provisoirement sur une colline avoisinante : le camp d'Antoune. Il est occupé par une garnison romaine au temps de la Guerre des Gaules (I^er siècle avant Jésus-Christ).

Dès le haut Moyen Âge, le dyke d'Arlempdes est habité. La chapelle Saint-Jacques, dont la construction actuelle date du XII^e siècle, semble avoir été précédée par une chapelle plus ancienne, qui servit de point de départ à l'installation permanente d'habitants.

Le château, qu'une bulle du pape Clément IV mentionne pour la première fois en 1267, est construit du XIII^e au XVI^e siècle, avec de nombreux remaniements. Il présente la caractéristique d'être totalement imbriqué dans la roche et de s'adapter à sa morphologie. Il ne présente donc pas un plan classique de forteresse féodale. Les remparts sont naturellement prolongés par la roche volcanique, rendant une ascension quasi-impossible. La fonction du château d'Arlempdes est de protéger l'accès vers le nord, donc il est la cible de nombreuses convoitises.

Jusqu'au XVI^e siècle, il est possédé par diverses familles de seigneurs locaux, dont la famille de Monlaur, très puissante dans tout le sud de l'Auvergne, ou la famille de Mirabel. Il entre ensuite, après qu'une fille du baron de Montlaur eut épousé Charles de Poitiers en 1450, dans les possessions de Diane de Poitiers, ce qui explique la présence de ses armes gravées dans un mur du château. Le logis seigneurial (dont il ne reste qu'un pan de mur) a été construit pendant sa possession. Par la suite, la forteresse sert de garnison aux troupes royales, sous la direction, une fois encore, d'un seigneur local, comme la famille de Goÿs de Mézeyrac au XVIII^e siècle.

De plus en plus délaissé par les familles qui succèdent à la famille de Goÿs, le château est, dès avant la Révolution française, totalement abandonné : il n'a plus d'intérêt stratégique. Il tombe alors en ruines, les habitants se servant en pierres sur le site. Au XIX^e siècle, il est vendu pour un franc symbolique à l'œuvre du Prado. En 1963, une association regroupant des descendants de la famille de Goÿs de Mézeyrac et des passionnés du site rachète les ruines et entreprend la restauration du château.