A los dieciocho años fue a probar suerte a la ciudad de Buenos Aires. Allí conoció a Litto Nebbia, y a Gustavo Santaolalla, quien le dio la oportunidad de tocar al comienzo de los espectáculos de artistas más reconocidos.
Consiguió tocar con diferentes artistas, entre las cuales estaba David Lebón, y en el Buenos Aires Rock Festival en 1971, 1972, y 1973. Ese mismo año fue lanzado su primer álbum homónimo, grabado de manera independiente junto a Gustavo Santaolalla durante los dos años anteriores. Su canción principal fue En el país de la libertad, y el disco logró bastante reconocimiento
Un año después, su segundo LP La banda de los caballos cansados, mantuvo el mismo estilo de tratar de entender el destino de los pueblos, el por qué de las injusticias.
Realizó una serie de conciertos con un grupo estable de músicos, como así también otras presentaciones con Porsuigieco, el grupo formado con Raúl Porchetto, Charly García, Nito Mestre y María Rosa Yorio. Tuvieron un relativo éxito y lanzaron un disco homónimo en 1976.
Mientras tanto, él continuaba tocando con su otro grupo, y tenía un contrato para dos shows, pero la separación de la banda lo forzó a hacer esos shows por su cuenta. Al público pareció gustarle su show como solista, y Gieco decidió continuar su carrera de esa manera. En 1976 lanzó El fantasma de Canterville.
El disco sufrió una dura censura por parte del "Proceso de Reorganización Nacional"; el tuvo que cambiar la letra de seis canciones y eliminar otras tres por completo. Sin embargo, el disco fue un éxito y realizó conciertos no sólo en Argentina, sino también en otros países de Sudamérica. Debido a la situación política de Argentina, se mudó a Los Ángeles por un año, y en 1978 editó IV LP, con una de sus canciones más famosas: Sólo le pido a Dios.
