V prostoru dnešní bylinkové zahrádky byla již v této době relaxační zóna. Mezi keři byly vybudovány cesty, kde mohli jezuité rozjímat. V místech, kde se nyní nachází oranžerie, přecházela tato zóna v ovocný sad se zeleninovými a bylinkovými záhony. Tento sad končil v místech dnešní silnice. Ve spodní části dnešního parku byla s největší pravděpodobností chmelnice. Bylinková zahrada Josefa Kamela tak navazuje na tradici zahrad již z této doby. K žirečskému panství patřily v té době i četné polnosti. Vypěstované ovoce a zelenina se skladovalo v hospodářské budově (dnes nazývané bramborárna), která tvoří východní okraj dnešní bylinkové zahrady. Disponuje obrovskými sklepy se stálou teplotou. Proto se zde vypěstované produkty nekazily. Dodnes se jedná o jeden z posledních neopravených objektů v Areálu Žireč.
V roce 1773 Josef II. zrušil jezuitský řád a celé panství se stalo svědkem tzv. raabizace. Půda byla byla rozdělena sedlákům za to, že budou odvádět peněžité a převážně naturální dávky. Ke skladování obilí sloužila sýpka, která byla v tomto období postavena.
V r. 1825 kupuje žirečské panství Martin Wagner i přes to, že bylo toto místo zachváceno požárem. V době jeho působení mělo panství největší rozlohu. Užitná zahrada již nebyla nutná pro potřeby bohatého podnikatele. Působila spíše jako relaxační zóna. Mezi ovocnými stromy byly rozsety keře s bylinkami.
V roce 1888 kupuje celé panství (s lesy a lomem) od Jindřicha Wagnera (syna manželů Wagnerových) továrník z Jaroměře, Josef Etrich, jeden z nejbohatších lidí v Česku v té době. V r. 1901 umírá a polovinu panství odkazuje svému synovi (Josef Etrich mladší). V r. 1906 na místě ovocného sadu zakládá Etrich přírodní park zhruba v té podobě, jak se nám dochoval do dnešní doby. Užitková funkce zahrady i parku se mění na funkci reprezentační. Na místě dnešní bylinkové zahrady jsou pivoňkové záhony. V parku je instalován secesní altán i loubí s růžemi.
Za užitkovou zahradu se nacházela oranžerie, která byla založena kolem r. 1900 (skleníky pro pěstování teplomilných rostlin, dnešní Dům v zahradě, kde je dnes umístěno chráněné bydlení, ubytování a bylinkový obchůdek).
Ještě před hospodářskou krizí investoval Etrich nemalé množství peněz do obnovy celého areálu. Došlo k obnově fasád na celé rezidenci, k novému vydláždění cest a také byla položena nová nepůvodní dlažba do kostela sv. Anny.
V této době byly v prostoru bylinkové zahrady zejména květinové záhonky sloužící primárně pro výzdobu kostela sv. Anny. Sestry zakládají v bývalé jezuitské rezidenci Domov sv. Josefa, domov pro potřebné.
Tak jako celá naše země v této době, park se využíval, ale udržovalo se jen to nejnutnější (sekání trávy apod.), zejména kvůli pravidelným výstavám chovatelům, které v této době získaly na věhlasu. Chátralo však oplocení a přilehlé objekty. Z bylinkové zahrady se stalo spíše skladiště. Nacházelo se zde zejména dřevo na topení. Dřevem se topilo v domově důchodců, který se během této doby nacházel v zámecké rezidenci. Kromě toho zde zůstalo několik květinových záhonů.
V 90. letech je zchátralý areál vrácen zpět do majetku Kongregace sester Nejsvětější Svátosti. Ty jej v r. 2000 darují Oblastní charitě Červený Kostelec. V r. 2001 je založeno modelové a dosud jediné lůžkové zařízení v České republice zaměřené na komplexní rehabilitační péči pro nemocné roztroušenou sklerózou. Díky podpoře mnoha dárců se charitě daří postupně areál zvelebovat. V roce 2012 tak dochází i na bylinkovou zahradu. Záhonky byly obnoveny a zaměřeny převážně na pěstování lokálních bylinek. V zahradě však nalezne i bibilický záhon a kuchyňskou zahrádku. Podíváme-li se na záhonky ptačím pohledem, tvoří společně logo charity, tzv. charitní kříž. Obnoveny byly i skleníky a oranžerie, kde se dnes nachází bylinkový obchůdek a také 2 byty chráněného bydlení pro nemocné roztroušenou sklerózou. Ve vrchní patrech je 7 pokojů s turistickým ubytováním: celkem 8 lůžek, společná kuchyňka a WC. Bylinková zahrada Josefa Kamela nese název po významné botanikovi. Georg Joseph Kamel byl původem moravský jezuitský misionář, lékárník a botanik, který podal první ucelené zprávy o flóře a fauně na Filipínách a představil je tak širšímu evropskému publiku. Jeho jméno nese východoasijská květiny kamélie a také domácí bylinkové sirupy Camellus. Bylinková zahrada navazuje na tradici prastarých klášterních zahrad, které se v českých zemích zakládaly při klášterech již od 13. století. Dnes propojuje svět zdravých a nemocných. Většina pracovníků v zahradě jsou osoby se sníženou pracovní schopností. Zahrada také slouží jako místo bylinkových terapií pro nemocné roztroušenou sklerózou. V neposlední řadě je přístupná pro širokou veřejnost, pro možnost relaxace i nákupu bylinek a sazenic.