江戸時代末期、明治初頭の根付師で、明治の文豪、尾崎紅葉の父でもある。
東京・芝に生まれる。
米問屋（呉服屋説も）「伊勢屋」を営んでいたとされるが、米騒動の頃閉めたものと推定される。
谷斎には旗本出身説もある。
谷斎の門柱には4つ以上の表札がかかっていたと言われているが、その使い分けは不明である。
初め茶道具の目利きを習い、その後21歳で浅草派の玉陽斎光雛に根付を師事した。
1859年まで4年間修行をした。弟子は二人。
象牙よりも鹿角を好んで使用し、仏具・蝙蝠・霊芝（茸）の作品が多く残されている。
生粋の江戸っ子で、高価な象牙より、安価な鹿角を芸術的価値を持たせることが谷斎の本領であった。
「谷斎彫り」といわれる独特な作風で時代の人気を得て、当代人気番付にも頻繁に登場した。
谷斎ものを持たない芸者は本物ではないとまで言わしめた。
作品自体の特異性に加え、作者名の刻印に特徴がある。
根付師としての活動は1870年前後が中心であった。
天才肌の角彫師だが、月1個か2個しか作品を作らず、別名「赤羽織の谷斎」とと呼ばれ、柳橋や新橋界隈では有名な幇間であった。
芝居小屋や相撲の場でよく知られた生粋の遊び人であったと伝わる。
荒木舜庵の娘庸と結婚し、二児を儲けるも、庸が若くして亡くなると、後に平井定吉の娘とくと再婚する。
長男が作家の尾崎紅葉であるが、紅葉は幇間としての父の存在を公にしたくなかったようで、父についての言及はほとんどなかった。
ただし、谷斎は紅葉を大学に入れさせるために、太鼓持ちになって金持ちから金をせしめたという説もある。
ある日自宅の表札に「尾崎徳太郎」（長男、尾崎紅葉の本名）と書かれているのを見て驚いた遊び仲間に対し、「徳太郎は息子ですが、こんな親父を恥じると思うのでみんなには黙っていてください」と、紅葉を気遣ったという話が残っている。
1894年 （明治27）2月21日死去。
遊び仲間の講談師ら3人で品川に漁に行き、その場で船頭にふぐを料理させて食べ、中毒により当日の晩に亡くなった。