Mnogi misle da je ime nastalo zato što je brdo „bliže zvezdama“. Istina je mnogo konkretnija: kraj je dobio ime po Astronomskoj opservatoriji.
Prva državna opservatorija u Beogradu osnovana je 1887. godine, ali je gradska svetlost ubrzo počela da smeta posmatranjima. Zato je izabran tadašnji Veliki Vračar, dovoljno udaljen od centra i sa čistijim horizontom.
Novi kompleks počeo je da se gradi 1929. godine, a instrumenti su postepeno preseljavani tokom 1930-ih. Kako je opservatorija postajala prepoznatljiva, ljudi su ceo kraj počeli da zovu Zvezdara.