V prostoru současné Bylinkové zahrády Josefa Kamela byla v období jezuitů pravděpodobně odpočinková zóna s uličkami mezi vzorově upravenými záhony s keři. V místech, kde se nyní nachází Dům V Zahradě, přecházel tento prostor v ovocný sad se zeleninovými a bylinkovými záhony, končícími v prostorách dnešní silnice. Ve spodní části současného krajinářského parku se nacházela chmelnice.
K žirečskému panství patřily v té době i četné polnosti. Vypěstované ovoce a zelenina se skladovaly v hospodářské budově dnes nazývané "Bramborárna". Ta tvoří východní okraj dnešní bylinkové zahrady a disponuje sklepy se stálou teplotou. Proto se zde vypěstované produkty nekazily. Dodnes se jedná o jeden z posledních neopravených objektů v Areálu sv. Josefa.
V roce 1773 Josef II. zrušil jezuitský řád a celé panství se stalo svědkem tzv. Raabizace. Půda byla byla rozdělena sedlákům s tím, že budou odvádět peněžité a převážně naturální dávky. K jejich skladování sloužila sýpka, která byla v tomto období postavena.
V roce 1825 kupuje žirečské panství Martin Wagner i přes to, že bylo toto místo zachváceno požárem. Při jeho působení mělo panství největší rozlohu. Užitná zahrada již nebyla nutná pro potřeby bohatého podnikatele. Působila spíše jako relaxační zóna. Mezi ovocnými stromy byly rozsety keře s bylinkami. Ale s určitostí vzniká myšlenka rozdělení celé plochy na užitnou a parkovou.
V roce 1888 kupuje celé panství (s lesy a lomem) od Jindřicha Wagnera (syna manželů Wagnerových) továrník z Jaroměře, Josef Etrich. Jeden z nejbohatších lidí v Čechách v té době. Roku 1901 umírá a polovinu panství odkazuje svému synovi (Josef Etrich mladší).
V roce 1906 byl postaven současný Dům V Zahradě a rozděluje pozemek na část zahradní a parkovou. Vzniká přírodně krajinářský park zhruba v té podobě, jak ji můžete vidět dnes. Užitková funkce zahrady i parku se mění na funkci reprezentační. Na místě dnešní bylinkové zahrady bylo zahradnictví. V těchto letech již stojí v parku secesní altán s baldachýnovou střechou a ozdobné loubí s růžemi. Mezi kterými jsou ještě pozůstatky růží původních, jezuitských.
V roce 1906, ještě před hospodářskou krizí investoval Etrich nemalé množství peněz do obnovy celého areálu. Došlo k obnově fasád na celé rezidenci, nové vydláždění cest a byla položena nová nepůvodní dlažba po většině dnešního areálu.
Pan továrník Josef Etrich mladší ještě před 2. světovou válkou rozprodává svům majetek. V dalším období byly v prostoru bylinkové zahrady zejména květinové a zeleninové záhonky. Květiny sloužily převážně pro výzdobu kostela sv. Anny, zelenina putovala do kuchyně. Sestry zakládají v bývalé jezuitské rezidenci Domov sv. Josefa, domov pro potřebné, který se postupně měnil na Domov důchodců.
Tak jako celá naše země v této době, park se využíval, ale udržovalo se jen to nejnutnější (sekání trávy apod.). Po celém areálu, především v parku se začaly pořádat pravidelné výstavy chovatelů, které získaly něuvěřitelný, celorepublikovaný věhlas. Chátralo však oplocení a přilehlé objekty. Ze zahrady se postupně stalo skladiště. Hromady dřeva na topení a po většinou nepotřebné věci zůstávaly bez dalšího záměru na místech, kde se stávaly nevzhlednýmy.
V 90. letech je málo udržovaný areál vrácen zpět do majetku Kongregace sester Nejsvětější Svátosti. Ty jej v r. 2000 darovaly Oblastní charitě Červený Kostelec.
V r. 2001 je založeno modelové a dosud jediné lůžkové zařízení v České republice zaměřené na komplexní rehabilitační péči pro nemocné roztroušenou sklerózou. Díky podpoře mnoha dárců se charitě daří postupně areál zvelebovat.
V roce 2012 tak dochází i na bylinkovou zahradu. Záhonky se začaly vytvářet profesionálně a byly zaměřeny na pěstování lokálních bylinek. V zahradě se objevuje biblický záhon a kuchyňská zahrádka. Záhony byly uspořádány tak, aby z "ptačího" pohledu byl logem charity, tzv. charitní kříž. Byly obnoveny skleníky, opraven Dům V Zahradě s oranžerí. Dnes se tu nachází prostor pro přednášky a výstavy. Vznikají dva byty chráněného bydlení pro nemocné roztroušenou sklerózou. Ve vrchní patrech je 7 pokojů s turistickým ubytováním: celkem 8 lůžek, společná kuchyňka a WC.
Bylinková zahrada Josefa Kamela nese název po významné botanikovi. Georg Joseph Kamel byl původem moravský jezuitský misionář, lékárník a botanik. Podal první ucelené zprávy o flóře a fauně na Filipínách a představil je tak širšímu evropskému publiku. Jeho jméno nese východoasijská květina kamélie a také domácí bylinkové sirupy Camellus.
Bylinková zahrada navazuje na tradici jezuitských zahrad. Propojuje svět zdravých a nemocných. Většina pracovníků v zahradě jsou osoby se sníženou pracovní schopností. Zahrada také slouží jako místo bylinkových terapií pro nemocné roztroušenou sklerózou. V neposlední řadě je přístupná pro širokou veřejnost, pro možnost relaxace i nákupu bylinek a sazenic.