Arnavut asıllı Koca Kasım Ağa, devşirme olarak İstanbul'a getirildikten ve belirli devlet kademelerini geçtikten sonra hasbahçeye alındı. Mimarlığı Davud Ağa'dan öğrendi. Adı ilk defa 1597 yılında Dikilitaş yakınındaki Valide Sultan Hamamı'nın onarımı sırasında duyuldu. Mimarbaşı Hasan Ağa'nın ölümü üzerine 1622 yılında başmimarlığa getirildi. Altı ay süren bir çalışmadan sonra Topkapı Sarayı'nın en güzel kasırlarından biri olan, Sepetçiler Köşkü'nü yeniden yaptı.
1598'de Mimar Davud Ağa'nın planı ile başlanan ve dört mimar tarafından tamamlanan Yeni Camii'nin yapımına yardımcı oldu. Yaşının ilerlediği yıllarda "Koca Mimar" adı ile anılan Kasım Ağa, mimarlık yeteneği ve çalışmalarından çok, o devirde saraydaki siyasi faaliyetleriyle ve vezirlere öğütler vermesiyle tanındı. Sultan Birinci İbrahim zamanında sadrazam Kara Mustafa Paşa'nın yakın dostluğunu kazandı. Kara Mustafa Paşa, Sultan Birinci İbrahim'in yönetimi sırasında öldürülünce, Kara Mustafa Paşa'nın yakınlarıyla birlikte Kasım Ağa'nın da malı mülkü elinden alındı ve Mimarbaşılıktan azledilerek, 1644 yılında Gelibolu'ya sürüldü. Sarayda nüfuzu artan Cinci Hoca'nın aracılığıyla, bir yıl sonra İstanbul'a döndü. Köprülü Mehmed Paşa'nın sadarete getirilmesine ve böylece Osmanlı tarihinde Köprülüler devrinin açılmasına sebep olan Koca Kasım Ağa'nın bu siyasi etkisi, mimar olmasından çok siyasi kişiliğinin ön planda kalmasına neden oldu. 1659 yılında vefat etti.
