Najimpozantniji arhitektonski dragulj mjesta, jedinstvena u jadranskoj regiji, je crkva Sv. Marije od Milosrđa. Crkva-utvrda je proširena i utvrđena 1575. godine poslije turskog napada pod vodstvom turskog vojvode Uluč-Alija 1571. godine, koji je opljačkao i spalio Vrbosku kao i većinu otoka. Utvrda Kaštilac je iz istog razdoblja, i služila je kao stražarska postaja. Tvrđava-crkva je utvrđena na račun mjesnih zajednice zbog njene zaštite od Turaka. To je najljepša crkva takve vrste u Hrvatskoj i među najljepšima u Europi iz tog razdoblja. Crkva je čuvala neke impresivne umjetnine iz renesanse, koje su sada privremeno smještene u župnu crkvu Sv. Lovre.