En bemerkelsesverdig spesiell by, delt inn i havneområdet, det gamle sentrum av Karlovassi, midtbyen, den nye og bukten. Derfor snakker innbyggerne i deres by i Karovasias flertall.
Navnet kommer fra de tyrkiske ordene Karli-Ovasi, noe som betyr snødal, men fordi det nesten ikke snows i Karlovasi, har mange mennesker alvorlig tvil om denne historien er sant.
Forfatter Zafeiriou støtter ideen om at stedet først ble kalt Kariova, senere endret til Karlovassi. Nikos Dimitriou skriver i sin bok Samos folklore at stednavnet er avledet fra etternavnet Karlovas, dette er trolig den riktige tolkningen.
Karlovassi var en gang et viktig kommersielt og industrielt senter for behandling av lær, med stor eksportvolum. De mange herskapshusene, de store og rikt dekorerte kirker og forlatte fabrikker vitner om sin tidligere velstand. 3 km sørøst for Karlovassi, ved siden av veien som fører til Konteika, er Profit Elias kloster (Profeten Elias) i en høyde av 200 meter. Konstruksjonen begynte i 1739 av munkene Neophilos og Gregorios.
Vest for Karlovassi er også stranden i Potami. Det er en varm kilde og kapellet Metamorphosi går tilbake til det 11. århundre og regnes som den eldste på Samos. Det matematiske instituttet ved Egeerhavet er plassert i en unik bygning i byen.
Du vil nok ikke finne koseligheten du finner i Kokkari og Pythagorion. Den vakreste delen av byen er den gamle byen, bygget på en høyde sør for havnen. I denne delen, bygget i 1650 og nå kalt Palio Karlovassi, står Agia Triada kirken på bakken.