Nasce a Milano il 18 dicembre 1836. Si rivela presto un giovane di notevoli doti intellettuali con una singolare inclinazione per gli studi scientifici.
Si iscrive alla facoltà di matematica dell'università di Pavia, dove entra in contatto con Francesco Brioschi, docente di matematica applicata e futuro fondatore del Politecnico di Milano, e con Giovanni Codazza, docente di meccanica applicata, del quale diventa assistente a soli diciannove anni. Conseguita la laurea nel 1857, torna a Milano e insegna geometria e meccanica alla Società di Incoraggiamento d'Arti e Mestieri, nata per iniziativa della borghesia mercantile e industriale milanese, allo scopo di creare una stretta interazione tra sapere scientifico e realtà produttive.
Dopo l'esperienza da volontario garibaldino nel 1859 torna all'insegnamento, dedicandosi ad un'intensa attività pubblicistica, dalla quale emerge la grande attenzione allo sviluppo industriale in atto in Europa. Grazie ai lungimiranti orientamenti della Società di Incoraggiamento, Colombo ha la possibilità di recarsi più volte all'estero, in occasione di esposizioni industriali, ma anche per visitare fabbriche e scuole, acquisendo così esperienze da mettere a frutto in Italia.
Nel dicembre del 1863 Brioschi fonda a Milano l'Istituto tecnico superiore, già dai primi anni indicato come Politecnico per i diversi studi di ingegneria praticati: Colombo ne diventa uno dei primi docenti. Nel 1865 è titolare della cattedra di meccanica e ingegneria industriale, indirizzo di studi che costituisce una novità assoluta per l'Italia. La grande passione per l'insegnamento, l'efficacia delle sue lezioni e l'entusiasmo per i progressi tecnologici permettono a Colombo di formare un folto gruppo di ingegneri e di futuri imprenditori, fra i quali Giovan Battista Pirelli, pioniere dell'industria italiana della gomma, ed Enrico Forlanini, pioniere nel nascente settore aeronautico.
Dopo la partecipazione alla guerra del 1866 nel Corpo della Guardia nazionale di Valtellina, torna a dedicarsi all'insegnamento e all'attività di pubblicista.
Convinto sostenitore della valenza strategica dell'istruzione tecnica superiore nella nuova fase di industrializzazione, Colombo spende tutte le sue energie per diffonderla in Italia anche attraverso conferenze serali presso la Società di Incoraggiamento, che gli valgono grande popolarità.
Il settore delle comunicazioni e dei trasporti è oggetto di suoi studi di notevole rilievo, con particolare riferimento a quelli inerenti il sistema ferroviario, finalizzati a superare le difficoltà incontrate in quegli anni nella realizzazione di trafori e di lunghe gallerie.
Colmando una lacuna della pubblicistica tecnica, Colombo condensa in un piccolo volume "la più grande quantità possibile" di dati matematici e di tabelle indispensabili nella pratica professionale dell'ingegnere e nel giugno del 1877 pubblica il Manuale dell'ingegnere, che diventerà il testo base per generazioni di tecnici e che giungerà, dopo vari aggiornamenti ed ampliamenti, alla ottantaquattresima edizione.
Nel 1881 è tra i promotori dell'Esposizione industriale nazionale di Milano, che evidenzia già il diffondersi di interessanti realtà industriali meccaniche, specialmente nel nord del Paese. Il ruolo svolto dal Politecnico milanese per il raggiungimento di tale risultato è innegabile; in questo senso la manifestazione rappresenta il coronamento dell'intenso lavoro di Colombo.
Tuttavia la sua preoccupazione è quella di coniugare l'incessante progresso tecnologico con le caratteristiche tipiche della società italiana e cioè sostenere uno sviluppo economico fondato sulla piccola industria, più facile da integrare con il tessuto agricolo del Paese e più capillare sul territorio e che, quindi, consenta di evitare le problematiche di ordine sociale legate allo sradicamento delle masse operaie dalle campagne verso i grandi agglomerati urbani.
Alla mostra internazionale dell'elettricità di Parigi del 1881 Colombo intuisce immediatamente le potenzialità e le possibili applicazioni su base industriale della macchina dinamo elettrica, presentata da Edison. Tornato a Milano chiede ed ottiene l'aiuto di alcuni banchieri, con i quali istituisce il Comitato per le applicazioni dell'elettricità sistema Edison Italia. A luglio dello stesso anno stipula un contratto di esclusiva per l'Italia con il rappresentante della Compagnia continentale Edison e acquista lo stabile del vecchio teatro di via Santa Radegonda, dove comincerà ad operare la prima centrale elettrica d'Europa. Nel 1884, sciolto il Comitato, è istituita la Società generale italiana di elettricità sistema Edison, di cui Colombo diventa amministratore delegato. Le diffidenze verso il nuovo tipo di illuminazione, le polemiche da parte della cittadinanza per temuti danni ai monumenti e alla quiete, ma soprattutto la concorrenza della società Union des Gaz, concessionaria dell'illuminazione pubblica di Milano, impongono a Colombo un impegno in prima persona per garantire continuità e qualità del servizio di erogazione.
All'intensa attività imprenditoriale Colombo affianca un impegno politico, che lo porterà a ricoprire prestigiosi incarichi a livello nazionale.
Eletto consigliere al comune di Milano dal 1881 al 1889, partecipa assiduamente alle sedute, occupandosi in particolare dell'assetto della città, che nell'idea di Colombo deve ritagliarsi un ruolo di centro commerciale internazionale e non di semplice sede della grande industria. Lavora attivamente all'espansione urbanistica della città ed è per questo che nel 1885 è chiamato a far parte della commissione per il nuovo piano regolatore.
Quanto alla sua collocazione politica sono note le sue simpatie giovanili per Mazzini, che conosce personalmente a Londra nel 1861 durante uno dei suoi primi viaggi all'estero. Ben presto però approda a posizioni moderate.
Si definisce "un conservatore moderno", interessato a studiare con metodo scientifico i problemi sociali e a condurre la società senza rivolgimenti verso i nuovi traguardi tracciati dal progresso scientifico.
Il 23 maggio 1886 è eletto deputato della XVI legislatura nel collegio di Milano. Esordisce in Parlamento il 7 dicembre 1886 nella discussione sul bilancio della pubblica istruzione con un discorso sull'importanza dell'insegnamento tecnico, di cui denuncia l'inadeguatezza nel Paese.
Dai banchi della Camera critica aspramente la politica fiscale dei governi di sinistra, denunciando gli eccessivi carichi fiscali sulla terra, sui fabbricati, sulla ricchezza mobile, che insieme alla crescita della spesa per gli armamenti e al conseguente disavanzo del bilancio dello Stato, frenano lo sviluppo economico. Si oppone, quindi, alla politica di Crispi, che ritiene del tutto inadatta a rafforzare la struttura economica del Paese.
Rieletto deputato dalla XVII alla XX legislatura, diventa Ministro delle finanze nel 1891 nel primo Governo del marchese Di Rudinì, ma dopo circa un anno si dimette per non venir meno all'impegno assunto con gli elettori di non aumentare le tasse, necessarie per finanziarie nuove spese militari.
Dopo la sconfitta di Adua del 1896 è chiamato nuovamente al governo in qualità di Ministro del tesoro nel secondo Governo di Rudinì.
Dopo aver ricoperto la carica di Vicepresidente della Camera dal 18 novembre 1898 al 30 giugno dell'anno successivo, il 15 novembre 1899 ne è eletto Presidente e si trova a dover affrontare l'ostruzionismo della "estrema" per le leggi eccezionali riproposte dal generale Pelloux. Colombo, determinato ad assicurare il regolare svolgimento dei lavori, reagisce alle tensioni con una proposta organica di modifiche al Regolamento, proposta che contribuisce a surriscaldare ulteriormente gli animi. Il 31 marzo 1900 presenta le dimissioni, ma nella seduta del 2 aprile 1900 è rieletto alla Presidenza della Camera. Presiede solo due sedute, in quanto la ripresa dell'ostruzionismo porta allo scioglimento della Camera stessa, il successivo 18 maggio.
Nelle elezioni del 3 giugno 1900 Colombo è sconfitto nel collegio che lo ha più volte eletto dal candidato socialista Luigi Majno. L'11 novembre dello stesso anno è nominato senatore e continua ad occuparsi di questioni economico-finanziarie e di problemi di bilancio, in qualità di membro della Commissione finanze di Palazzo Madama.
L'intensa attività politica non gli impedisce tuttavia di proseguire i suoi impegni scientifici e imprenditoriali. Oltre agli incarichi di rilievo nella società elettrica Edison, della quale diventa presidente nel 1896, Colombo diventa rettore del Politecnico alla morte di Brioschi nel 1897, presidente del Collegio degli ingegneri e architetti e del Credito italiano dal 1909.
Muore improvvisamente a Milano il 16 gennaio 1921.
