在我國，認定違法建設并進行處罰的權力主要由城市管理執法部門和規劃、住建等部門行使。具體來說，以下是各部門在認定違法建設和進行處罰方面的職責和權限

城市管理執法部門負責對城市管理范圍內的違法建設進行查處和處罰。城市管理執法部門是市、區兩級城市管理執法機構，其職責是對城市管理范圍內的違法建設進行查處和處罰。這些違法建設包括未經批準違反規劃蓋建違章建筑等。

規劃、住建等部門負責對建筑工程的規劃、設計、施工、驗收等環節進行監管。規劃、住建等部門主要負責對建筑工程的規劃、設計、施工、驗收等環節進行監管。如果發現建筑工程存在違法行為，這些部門可以要求建設單位進行整改或者對其進行處罰。

公安部門負責對違法建設的行為進行立案調查。如果城市管理執法部門或者規劃、住建等部門發現違法建設的行為，他們可以將案件移送公安部門進行立案調查。公安部門負責對涉嫌犯罪的違法建設行為進行立案調查，并依法追究責任。

以上是我國認定違法建設并進行處罰的主要部門和職責。這些部門在日常執法工作中需要相互配合，形成合力，確保城市建設的規范和有序。同時，也需要建立健全的執法機制和制度，提高執法效率和水平，保障城市建設的質量和安全。