La présidente Salomé Zourabichvili, une pro-occidentale critique du gouvernement de son pays mais dont les pouvoirs sont limités, a de son côté salué la "victoire" des manifestants.
"Je veux féliciter la société pour sa première victoire, je suis fière de ce peuple qui a fait entendre sa voix", a-t-elle dit dans une allocution télévisée depuis New York.
Dans la foulée, le ministère de l'Intérieur a, lui, annoncé "la libération" de manifestants arrêtés depuis mardi, répondant ainsi à une des requêtes de l'opposition.
"Des enquêtes sont en cours afin de déterminer, d'identifier et d'arrêter ceux qui ont attaqué la police", a toutefois indiqué le ministère dans un communiqué.
Parmi la foule réunie jeudi dans le centre-ville de Tbilissi, nombreux agitaient drapeaux géorgiens, ukrainiens et celui de l'UE. "L'hymne à la joie", l'hymne européen, a aussi été chanté.
"Notre gouvernement est notre seul obstacle à l'adhésion à l'UE", déplore Eka Kamkamidzé, une mathématicienne de 39 ans. "Soit ils démissionnent et la Géorgie rejoint l'Europe, soit ils restent au pouvoir et nous sommes la proie de Poutine".
Les manifestants, dont de nombreux étudiants, répondaient à l'appel de plusieurs partis d'opposition, malgré le retrait plus tôt jeudi par le parti au pouvoir "Rêve géorgien", d'un projet de loi jugé répressif par ses détracteurs.
L'opposition géorgienne a prévu de se réunir vendredi midi, lorsque le Parlement doit officiellement retirer le projet de loi.
"Rien à voir avec cela"
Le gouvernement géorgien est accusé d'avoir voulu introduire une législation inspirée du modèle russe pour classer comme "agents de l'étranger" les ONG et médias recevant plus de 20% de leur financement de l'étranger, sous peine d'amende.
Ex-république soviétique du Caucase, la Géorgie est secouée depuis des années par une crise politique symptomatique de son tiraillement entre l'Europe et la Russie. Moscou et Tbilissi se sont affrontés en 2008 dans une courte guerre remportée par l'armée russe.
Face aux troubles qui agitent ce pays voisin, le Kremlin s'est dit jeudi "préoccupé", tout en niant tout lien avec le projet de loi sur les "agents de l'étranger".
"Le Kremlin n'a absolument rien à voir avec cela", a déclaré son porte-parole Dmitri Peskov, alors que les manifestants comparent le projet géorgien avec la loi en vigueur en Russie qui sert à réprimer toutes voix critiques.
La délégation de l'Union européenne en Géorgie a salué l'annonce du retrait du texte, exhortant le gouvernement à "reprendre les réformes pro-européennes".
Dans son communiqué, le Rêve géorgien estime que le projet de loi a été "présenté sous un mauvais jour de façon trompeuse", ajoutant qu'il allait lancer des consultations publiques pour "mieux expliquer" le but de ce texte.
"Attachement aux valeurs démocratiques"
Ces manifestations s'inscrivent dans un contexte plus large de crise politique.
Tbilissi ambitionne officiellement de rejoindre l'UE et l'Otan, une orientation prise après la "révolution des roses" de 2003 qui avait amené au pouvoir le pro-occidental Mikheïl Saakachvili, désormais opposant et emprisonné.
Mais plusieurs mesures récentes du gouvernement actuel, comme le projet de loi sur les "agents de l'étranger", ont jeté le doute sur le maintien des aspirations pro-occidentales, l'opposition l'accusant de soutenir Moscou.
Jeudi soir, les Etats-Unis ont dit "saluer" l'abandon du projet de loi qui "va à l'encontre des valeurs euro-atlantiques", tout en appelant le gouvernement à le "retirer complètement".
Le président français, Emmanuel Macron, s'est lui félicité que "l'attachement des Géorgiennes et Géorgiens aux valeurs démocratiques, à la liberté de la presse et d'association, a été entendu".
Pour Thomas de Waal, spécialiste du Caucase au centre de recherche Carnegie Europe, la façon dont la Géorgie sort de la crise actuelle pourrait être déterminante pour son avenir.
"C'est un moment important pour la Géorgie, qui est encore une démocratie, mais une démocratie en difficulté", a-t-il déclaré.