Początki Olszyny datowane są na koniec XIII wieku. W okresie nowożytnym mieszkańcy zajmowali się wypalaniem węgla drzewnego i wydobywaniem rudy żelaza. Wierni z Olszyny uczęszczali do kościoła w Cieszowej, będącego filią  parafii  w   Sadowie. W miejscowości  znajdowała się murowana  kaplica z dzwonem, która została rozebrana w 1873 roku. W jej miejscu postawiono duży głaz narzutowy, który miał chronić miejsce przed plądrowaniem grobowców znajdujących się pod dawną  kaplicą.

W 1886 roku rozpoczęto budowę nowej kaplicy. Teren zakupiono od rolnika Franciszka Kani, a prawie 1/5 kosztów budowy spłaciła księżna Adela von Hohenlohe-Ingelifingen z Koszęcina. Budowę kaplicy, której patronował proboszcz z Sadowa – ks. Anzelm Hrabak, zakończono 15 listopada 1888 roku. Ołtarz zakupiono w zakładzie stolarstwa artystycznego C. Buhla we Wrocławiu.

W 1908 roku utworzono w Olszynie lokalię, a w 1918 roku kurację. Dusz- pasterzowi udostępniono mieszkanie w pobliskiej szkole. Samodzielną parafię erygowano 1 sierpnia 1926 roku. W 1931 roku w Kalinie wybudowano kaplicę Matki Boskiej Bolesnej w miejscu dawnej kaplicy drewnianej. Kaplicę pobłogosławił ks. Roch Margosz 8 września tego samego roku. W 1936 roku rozpoczęto budowę nowego kościoła w Herbach Śląskich, przy którym w 1943 roku utworzono lokalię,

po wojnie zaś  parafię.  W  1941  roku  parafia  zakupiła  dawny  budynek  celny  w Olszynie, który od 1926 roku dzierżawiono od Śląskiego Urzędu Wojewódzkiego w Katowicach, przeznaczając go na potrzeby plebanii.

Kościół parafialny do niedawna był jednym z najmniejszych kościołów w diecezji. Po uzyskaniu stosownych zezwoleń, parafia w 2004 roku przystąpiła do jego rozbudowy poprzez dobudowę lewego skrzydła i podwyższenie wieży. Autorem projektu rozbudowy kościoła i wystroju wnętrza jest Henryk Dragon. Prace budowlane prowadzono do 2015 roku pod patronatem proboszczów: ks. Henryka Mokrosa i ks. Jarosława Wiśniewskiego. Uroczyste poświęcenie kościoła zaplano- wano na wigilię uroczystości Wniebowzięcia NMP (14 sierpnia) 2017 roku.