1835年（天保6）東京・芝に生まれる。
　　　　　　　  生家は、米問屋（呉服屋説も）「伊勢屋」を営んでいた。
　　　　　　　  また、旗本出身説もある。
　　　　　　　  谷斎の門柱には4つ以上の表札がかかっていたと言われている。
　　　　　　　  初め茶道具の目利きを習う。
1856年（安政3）21歳で浅草派の玉陽斎光雛に根付を師事した。
1859年（安政6）4年間修行をした。
1870年（明治3）根付師としての活動は1870年前後が中心であった。
　　　　　　　  作品自体の特異性に加え、作者名の刻印に特徴がある。
1894年 (明治27) 2月21日、フグ料理の中毒により死去。

江戸時代末期、明治初頭の根付師。
象牙よりも鹿角を好んで使用し、仏具・蝙蝠・霊芝（茸）の作品が多く残されている。
生粋の江戸っ子で、高価な象牙より、安価な鹿角を芸術的価値を持たせることが谷斎の本領であった。
「谷斎彫り」といわれる独特な作風で時代の人気を得て、当代人気番付にも頻繁に登場した。
谷斎ものを持たない芸者は本物ではないとまで言わしめた。
天才肌の角彫師だが、月1個か2個しか作品を作らず、
別名「赤羽織の谷斎」とと呼ばれ、柳橋や新橋界隈では有名な幇間であった。
芝居小屋や相撲の場でよく知られた生粋の遊び人であったと伝わる。
荒木舜庵の娘庸と結婚し、二児を儲けるも、庸が若くして亡くなると、後に平井定吉の娘とくと再婚する。
長男は、明治の文豪、尾崎紅葉であるが、紅葉は幇間としての父の存在を公にしたくなかったようで、
父についての言及はほとんどなかった。

根付（ねつけ）とは、江戸時代に煙草入れ、矢立て、印籠、小型の革製鞄の中に食べ物や小銭、薬やたばこ等々などを紐で帯から吊るし持ち歩くときに用いたその時の留め具です。
江戸時代から近代にかけての古根付と、昭和、平成の現代根付に大別される。

製作国の日本以上に、日本国外では骨董的蒐集品として高く評価されており、
日本では郷誠之助と高円宮憲仁親王とが蒐集家として有名である。
2人が遺した膨大な蒐集品は、東京国立博物館に寄贈され、有名なコレクションとして所蔵されている。

ポケットの無い男性用の着物で袋や印籠等を持ち歩く場合に、袋や印籠などに付けられた紐の他方の端に取付け、紐を帯の下に挟み、
根付を帯の上方に出す事によって引っ掛って袋や印籠などが落ちないようにする為に作られた。