Anadolu yakasında bulunan ve Boğaz’ın Karadeniz girişinin doğu tarafında bulunan kale, Rumeli Kavağı üzerinde bulunan İmros Kalesiyle birlikte boğazın girişini kontrol etmek amacıyla kurulmuştur.
Anadolukavağı Kalesi veya Ceneviz Kalesi olarak da bilinen bu kalenin adı, "kutsal yer" anlamına gelen Hieron'dan geliyor görüşü oldukça yaygın.Yoros adının doğrudan doğruya "dağ" anlamındaki "oros"tan gelmiş olması da düşünülebilir, belki de bu görüş daha doğrudur.
Yoros Kalesi'nin bir Ceneviz yapısı olduğuna inanılır. Oysa değildir. Kulelerinden birinde görülen tuğladan harflerle yazılmış Grekçe kitabe, buranın Bizans inşaatı olduğunu gösterir. 14. yüzyılın başlarında, 1305'te kale, Şile Kalesi ile birlikte Türklerin eline geçmiş, ancak fazla bir süre elde tutulamamıştır. 1348'den itibaren de, Karadeniz ticaret yolu hakimiyetine sahip bulunan Cenevizliler buraya hâkim olurlar. Fakat 14. yüzyılın sonlarında, Boğaziçi'nin Anadolu yakasına tamamen hâkim olan Osmanlılar tarafından tekrar fethedilmiştir.
Yoros'un tarih içinde sıkça el değiştirdiği anlaşılıyor. Ceneviz idaresinde kaldığına dair belgelerden biri de L. Sauli'nin 1831 tarihli, Ceneviz idaresine dair kitabında yer alan ve Prof.Multedo adında bir kişi tarafından kalenin kapısı üstünden kopya edilen Latince bir kitabe. Tarih kısmı okunamayan bu kitabede "Cenevizli VincenzoLercari'nin kutsal burun üzerindeki kaleyi tamir ettirdiği" bildiriliyor.
Yıldırım Bayezid'in, 1391'de karayoluyla Kocaeli'nden büyükçe bir kuvvetle gelerek Yoros'a çıktığını, buradan da Yahşi Bey'i göndererek Şile Hisarı'nı teslim aldığını Âşıkpaşazâde yazıyor.Bayezid bundan sonra Yoros Kalesi'ni bir üs gibi kullanır. Ardından, Güzelcehisar da denilen Anadolu Hisarı'nı yaptırır. Bu, Konstantinopolis'i fethetme yolundaki hazırlıkların en önemli ayaklarından sayılır. Kalenin yakınlarındaki ormanlık bölgede, içinde buranın zaptı sırasında şehit düşenlerin mezarları olan bir şehitlik vardır.
1399 yılına gelindiğinde, Mareşal Boucicaut Karadeniz Boğazı girişinde yaptığı akında, o sırada artık Türklerin elinde olan Yoros Kalesi'ne saldırmaya cesaret edemez. Yapabildiği şey kalenin eteğindeki köyü yaktıktan sonra geri çekilmek olur. 1402'deki Ankara Savaşı'ndan sonra 1. Bayezid'in oğullarından Çelebi Mehmed, kardeşi Musa'ya karşı harekâtı sırasında 1414'ten az önce Trakya'ya geçmek için Bizans imparatorundan yardım ister, kendisi de Bursa'dan çıkarak Yoros'a gelip konaklar.
1391-1414 arasında Yoros Kalesi Türklerin elinde. İspanya kralının elçisi olarak Timur'un yanına gönderilen RuyGonzales de Clavijo, Karadeniz'e açılırken gördüğü kaleyi "El Guirol de la Turquia" olarak adlandırır. Buranın bakımlı olduğunu ve içinde bir Türk garnizonu bulunduğunu bildirir. Hâlbuki karşısındaki kale harap ve terk edilmiş durumdadır; kalenin eteğinde, etrafında duvar olan bir kule bulunmaktadır, o kadar...Clavijo'nun yazdığına göre, buradan karşı kıyıdaki bir kuleye zincir gerildiği yolunda bir söylenti vardır. Ama zinciri gören yoktu...
İstanbul'un fethinde Yoros da artık Türk hâkimiyetine girer. Osmanlı Devleti'nin hemen her tarafındaki kıyı kalelerini tamir ettiren veya yenilerini yaptıran II. Bayezid burasını da tamir ettiriyor, içine Yoros Kalesi Mescidi denilen bir ibadet yeri yaptırır. Sonraları kale dizdarı Mehmed Ağa da bir hamam inşa ettirir.
Başbakanlık Osmanlı Arşivi'ndeki 28 Recep 984/1576 tarihli bir belgeden, kale ile birlikte buradaki cami, çeşme ve hamamın da tamir edildikleri yazılı. Alman seyyahı, Brettenli M. Heberer 1580'e doğru İstanbul'a geldiğinde kaleyi iyi durumda buluyor ve seyahatnamesine gerçeğe oldukça uygun bir de gravürünü koyar. Ermeni yazar P. Ğ. İnciciyan, 18. yüzyılın sonları, 19. yüzyılın başlarında Yoros Kalesi içinde 25 evlik bir Türk mahallesi bulunduğunu, ayrıca muhafız olarak bir dizdar idaresinde 20 kişilik bir müfrezenin de burada kaldığını bildiriliyor.
2010 yılından bu yana Yoros Kalesi'nde devam eden kazı ve restorasyon çalışmalarını, İstanbul Üniversitesi Yoros Kalesi Kazısı Başkanı Prof. Dr. Asnu Bilban Yalçın eşliğinde, Kültür ve Turizm Bakanlığı temsilcisi Koray Aybek, arkeologlar ve sanat tarihçileri yürütüyor.