Eredeti hazája Kína északi és középső területein van, ahonnan a "selyemúton" hozták el először Perzsiába, majd Görögországon keresztül a Római Birodalomba. Tudományos neve (Prunus persica) és különböző nyelveken köznyelvi nevei is perzsiai származtatásának emlékét őrzik.
Európában először mediterrán kolostorkertek különleges növénye volt, majd a kereszténység terjedésével párhuzamosan lett kedvelt egyre több országban. A barack belső magja mérgező amygdalint tartalmaz. Éretlen magos gyümölcsét, levelét, gyökerét és gyantáját gyógynövényként is hasznosították, a fejfájás és köszvény javulását várták tőle.
Nálunk a XVI. századtól jelent meg, s kezdték termeszteni. Igazi népszerűségét a szőlők filoxéra-járványának köszönheti, amikor a parlagon maradt területeket őszibarackossá alakították.
Elterjedési területe nagyjából megegyezik a szőlőével, a meleg, enyhe telű területeket kedveli. A kajszibaracktól megkülönböztetendő egyszerűen csak baracknak hívták, s csak az augusztus-szeptemberi érésű magvaváló fajták elterjedésével ragadt rá az "őszi" jelző. A legtöbb őszibarackot azonban ma ismét nyár derekán szüreteljük, sőt egészen korai, júniusban puhára érő fajták is vannak.