L'histoire est narrée durant l'été 1945, dans le Japon de la Seconde Guerre mondiale.
Seita est un adolescent de quatorze ans. Sa jeune sœur Setsuko en a quatre. Leur père est un officier supérieur de la marine impériale japonaise enrôlé dans les forces navales depuis plusieurs années, ils vivent donc avec leur mère dans la ville de Kobe. Or, les forces armées américaines réalisent à l'époque un lourd bombardement à la bombe incendiaire de cette ville portuaire. La mère n'a pas pu s’enfuir à temps du gigantesque incendie qui va survenir dans la cité. Elle est très gravement brûlée puis meurt de ses blessures.
De ce fait, les deux enfants se retrouvent livrés à eux-mêmes. Après avoir vainement tenté de contacter leur père, Seita et Setsuko partent habiter chez une tante éloignée. Un temps relativement accueillante, la tante traite progressivement les deux enfants comme des fardeaux.
Aussi, Seita et Setsuko partent et se réfugient dans un abri désaffecté, en dehors de la ville, près d'un lac. Celui-ci est illuminé la nuit par des milliers de lucioles. Les problèmes s'enchaînent : la nourriture vient à manquer et Setsuko est victime d'anémie. Seita se met alors à voler de la nourriture, mais est supris par un fermier. En désespoir de cause, il part en ville vider le compte en banque de ses parents et apprend à l'occasion la capitulation du Japon et la destruction de la marine japonaise.