Находясь на попечении Короны, Варвикский Замок был подвергнут значительному ремонту и реконструкциям, на которые было истрачено приблизительно 500 каменных глыб. Замок, так же как земли графства, находились в ведении Короны с 1478 до 1547 года. Затем их предоставили Джону Дадли вместе со вторым, вновь созданием титулом Графа Варвика. Замок приходил в упадок из-за своего возраста и пренебрежения, но несмотря на замечания Дадли не начинал его ремонта. Королева Елизавета I посетила замок в 1566 во время своего путешествия по стране, и снова в 1572, остановившись на четыре ночи. Специально на время её пребывания в замке было сооружено деревянное здание, куда переехал тогдашний владелец Амброзий Дадли, 3-ий Граф Варвика, а замок он оставил в распоряжении Королевы. Когда Амброзий Дадли умер в 1590 году, титул Графа Варвика прекратил своё существование во второй раз. Историческая хроника датированная 1590 –ым годом гласит, что замок был все еще в плохом состоянии, отмечая, что было растащено даже покрытие крыш некоторых зданий, включая часовню.
В 1604, замок был передан сэру Фулку Гревиллу королем Яковом I и был преобразован в загородный дом. Пока замок ремонтировался, он оказался вовлечённым в Пороховой Заговор в 1605 году. Заговорщики ждали новостей от своих сторонников в Dunchurch в Варвикшире. Когда они узнали, что заговор потерпел неудачу, они украли лошадей из конюшен замка, чтобы прийти им на помощь.
Преобразование замка совпало с периодом, когда в 16 веке замки начали утрачивать свой статус защитной крепости и многие из них стали преобразовываться в удобные места жительства для дворянства. Когда титул Графа Варвика было воссоздан в третий раз в 1618 году, семья Гревиль все еще владела замком. Фулк Гревиль потратил более чем 20 000£ (£3 миллиона на 2009). 1 сентября 1628 Фулк Гревилл был убит в Холборне своим слугой: Ральф Хэйвуд – этот «джентльмен» – ударил графа ножом в спину, после того как узнал, что был обделён при составлении завещания. Гревиль умер от ран несколько дней спустя.
При Роберте Гревиле, 2-ом Бэроне Бруке, защита замка была увеличена в период с января по мая 1642 при подготовке к нападению во время английской гражданской войны. Роберт Гревиль поддерживал Парламент, и 7 августа 1642 силы Роялистов осадила замок. Гревиля не было в замке в это время, и гарнизоном командовал сэр Эдвард Пейт. Спенсер Комптон, 2-ой Граф Нортхемптона, Лорд Лейтенант Уорикшира командовал силой Роялистов. Уильям Дагдэйл, вступивший в переговоры, призывал, чтобы командующий гарнизоном сдал замок, но ему отказали. Армия осаждающих открыла огонь по замку, но это не возымело большого эффекта.
Осада была снята 23 августа 1642, когда гарнизон был освобожден силами Роберта Девереукса, 3-ьего Графа Эссекса, и Роялисты были вынуждены отступить к Вустеру. После Сражения при Эджхиле в 1642 – первого генерального сражения английской гражданской войны – пленных содержали в Башнях Цезаря и Гая. Во время второй гражданской войны в замке снова содержали узников, пленённых в Сражении при Вустере 1651 года. Гарнизон замка, снабженный артиллерией и припасами с 1643 до 1660 года, составлял ровно 302 человека. В 1660 английский Совет государства приказал, чтобы губернатор замка расформировал гарнизон и передал замок Фрэнсису Гревилю, 3-ему Барону Брука.
В 1669 – 78 годах, интерьеры замка были значительно модернизированы. Вильям Херблатт мастер гильдии плотников Варвика, специально был послан в Дорсет, чтобы подсмотреть, как сделаны интерьеры загородного имения Кингстон Лэси, недавно построенного для Сэра Ральфа Бэйнкса. 4 ноября 1695 замок был в соответствующем состоянии, чтобы принять визит Короля Вильяма III.
Фрэнсис Гревиль, 8-ой Барон Брука, предпринял новую кампанию по усовершенствованию Варвикского замка. В 1759 8-му Барону Бруку также году был присвоен титул Графа Варвика учреждённый в четвёртый раз. Так замок спустя время вернулся в собственность графов Варвика. В 1749 году в замке работал известный английский ландшафтный дизайнер того времени Лонселот Браун. Он был призван лордом Бруком, чтобы придать Варвикскому Замку «более естественную» связь с рекой.
В 1747 году Гревиль уполномочил итальянского живописца Антонио Каналетто украсить интерьер замка, в то время как экстерьером и садами занимался Лонселот Браун. Пять картин и три рисунка замка руки Каналетто приобрели широкую известность в Британии. Работа Каналетто над Варвикским Замком была описана как "уникальная в истории представления английского дома воссозданной мастером с континента". Помимо садов, Гревиль уполномочил Лонселота Брауна украсить парадный подъезд и лестницу к Большому Залу. Браун также придал Готический стиль деревянному мосту через реку Эйвон (1758). Он продолжал работать в замке до 1760 года.