Jelsa je simpatičan gradić 5 kilometra udaljen on Vrboske, i jedno je od najpopularnijih odredišta za posjetiti iz Vrboske. Tamo je vrlo ugodna šetnica uz obalu između dva grada gdje možete zastati na kupanju u jednoj od mnogih prekrasnih uvala. Jelsa je i moguća točka ulaska kada se dolazi na Hvar, sa dnevnom katamaranskom vezom koji dolazi iz Splita u 17:30. Postoji pregršt barova, kafića i restorana, kao i živi noćni život, dok su dva datuma u kolovozu posebno zabavna; festival Dana grada 15. kolovoza, i Festival vina grada Jelse na kraju kolovoza.
Sam grad u središtu ima krasan glavni trg, popularno mjesto za popiti kavu i uživati u promatranju ljudi. Glavna povijesna odredišta u Jesli su Tvrđava i crkva Svetog Uznesenja iza trga, koji datiraju natrag do 1331. godine; groblje i samostan Augustinaca iz 1605. godine; i vrlo zanimljiv lapidarij pored glavne crkve, koji čuva zbirku od otprilike 20 kamenih spomenika iz drevnih i srednjovjekovnih vremena, uključujući i nadgrobni spomenik iz Rimskog doba, venecijanskog lava i kameni stol koji je pripadao vitezu imena Ivan Obradić.