作品のタイトルは主人公の源吉が「己は西郷隆盛だぞ！」と怒鳴り歩いていたことに由来する。西南戦争で没後３０年が経過していたものの、西郷人気は衰えることはなかったのだろう。源吉はこのため「西郷」という仇名がつくことになり、語り手「私」も終始彼を「西郷」と称している。
　この「西郷」はかつて親に勘当された過去がある。しかも酒好きで飲むと議論をふっかけるという具合で、決して褒められた人間ではない。だが、この多少変わり者の男には憎めないところもある。子供が学校に通うようになるとしきりに訪れて授業を参観し、途中嘴を挟むことがあっても、教師の側も変に咎めだてすることもしていない。
　もともと病弱だった弟の市蔵が亡くなると、「西郷」はその妻だったお友に積極的にアプローチした。彼女は「かなりの容色（きりょう）」だったのである。当初は二人が喧嘩する姿も見られたが、やがていつしかお友は妊娠し夫婦となる。お友は市蔵との間にも一人子供がいたが、「西郷」との再婚後も新たに３、４人の子供を設けている。「西郷」は家庭において必ずしも亭主関白ではなかったようで、けっこう妻のお友に頭が上がらなかったらしい部分も伺える。
　冬に雪が降りしきり、川沿いの家々は雪を掻き出して流したが、流し切れなくて土手を崩してわざと空地へ水を落とす作業をした。「私」の家も同様である。薄暗くなってから「西郷」がやってきた。自分たちの家に水がどんどん流れ込むことを訴えに来たのだった。これに対し「私」の父は「なぜお前の許でも出て川を流さない」と反論する。このときの「西郷」の剣幕は恐ろしいものに「私」には感じられた。そこへ現れたのがお友である。彼女が顔を出したことで明らかに「西郷」の態度に変化が見られる。彼女は夫を一喝したうえで「この土性なしの酔っぱらいが、仕方のない爺で困りがす」と皆に謝った。
　「私」の父はこのとき「西郷」に対してやや強気な態度を見せていた。最近の「西郷」は今年のお祭りの際に若い衆を煽動して「村会議員を擲り殺せ」などと穏やかならぬ言動をしたという噂も入ってきており、「あの位に言って置かないと、訳も解らない癖にのさ張る」という懸念が父親にはあったからである。このとき既に「西郷」は５０歳ぐらいの年齢になっていた。
　今でも「西郷」は百姓をし、酔っては女房にどやされているという。「私」の４番目の弟が尋常科を卒業するとき成績は２番だったが、首席は「西郷」の息子だったとのこと。それを知って「私」の母が「あんなおん襤褸の『西郷』の子に負けたか、馬鹿！　死んじまえ！」と負けず嫌いの性格を露わにしたという。「私」はその話を聞いて「大変面白く」感じる。「私」の記憶では、その「西郷」の息子は色の白い、おとなしい子だった。親と子供はまったく関係ないのだが。