První zpráva o Lipovicích a její tvrzi pochází z roku 1386. V této době patřila vesnice a tvrz Janu z Lipovic.
Nejstarší archeologické památky, které byly v Lipovicích při kopání ve sklepě tvrze nalezeny, pocházejí z doby vlády Vladislava II., na konci 12. století. Jsou jimi střepy tlačených ozdob z doby románské.
Vesnice a tvrz Lipovice patřila mezi významná vladycká sídla a byla v držení rodu Lipovských z Lipovic.
Tvrz, která od roku 1693 sloužila jako sýpka, budí starověkým zjevem již zdaleka pozornost. Je postavena na výšině, takže z ní můžeme pozorovat vesnice: Budkov, Chlumany, kopce Libín a Boubín. Rysy mohutné stavby se dochovaly do dnešních dnů. Tvrz chránil hluboký příkop, ještě dnes je ke straně silnice patrný.
Vstup do tvrze je přístupný ze dvora, dále pokračuje přístavkem po schodech. Celé schodiště je goticky klenuté. Největší místností je ve tvrzi tmavá kuchyně. Zde se nachází starožitný vlašský krb. Nad ním je nyní už jen málo vidět rýsování figur v malbě. Nad malbami býval pověšen znak Lipovských z Lipovic.
Do prvního patra se chodilo, dnes už zrušenou a zazděnou, pavlačí. Zde jsou také goticky klenuté prostory a malé místnosti se střílnami ve zdi. V druhém poschodí bývaly síně, které mají okna ke vsi. Ve výklencích zdí jsou po celé šíři umístěna kamenná sedátka. Na nádvoří a kolem tvrze se i nyní nacházejí prostorné sklepy, ve kterých se kdysi nacházely zásoby potravin. V případě nebezpečí se zde schovávali lidé a utíkali podzemní chodbou, která vede do lesa Na Luhu a na hrad Helfenburg!
V obci stojí dům čp.4 se složitě členěným štítem ve stylu selského baroka z roku 1857 a kaple z 1. poloviny 19. století s oltáříkem rovněž ve stylu selského baroka, obojí od Jakuba Bursy.