上総助がはじめて毛利家の家臣になった1569年は、上総助は30歳前後で是斎・平左衛門はまだ幼年期。豊臣秀吉による九州国分けで浪人となった1587年までの18年間、上総助は子供たちと一緒に植木庄で暮らしていた。九州国分けで浪人したときは40代後半で、是斎・平左衛門は20代ぐらい。その後、日向で高橋元種に召し抱えてもらえたのは、おそらく上総助に縁故があったのだろう。
日向の高橋家では、召し抱えられた1587年から改易になった1613年まで、26年間もあった。上総助は1605年前後に60代半ばで亡くなり、おそらく是斎が跡目を継いでいたのであろう。その当時、是斎・平左衛門はすでに40歳ちょっと、是斎はその後高橋家の家老職にも就いていたが、1613年に高橋家は東北に改易となり2人とも浪人。当時、是斎・平左衛門は40代後半ぐらい。
先に平左衛門が筑後の田中忠政に召し抱えられ、700石の知行を頂き、主君と共に江戸屋敷で奉公、是斎も連れだっていた。しかし1620年、田中忠政が亡くなったときに忠政には嫡子がなく筑後は改易、平左衛門は再び浪人となった(2人とも50代半ば)。すると今度は、是斎が柳生宗矩との縁故で、ちょうど江戸に居た豊前の細川忠利に仕えることができた。
細川忠利は、少年時代に江戸に人質として出されていたが、そのため徳川秀忠世代の有力旗本との親交が深かった。また、大名としては珍しく柳生新陰流の剣士であり、師範である柳生宗矩とはもちろん仲が良かった。
細川忠利が豊前に帰るときには、是斎は25人扶持知行100石を頂くことになった。是斎が平左衛門親子のこともお願いしたところ、平左衛門・長男仁右衛門親子は20人扶持で召し抱えられることになり、その後、次男小源太も召し抱えられた。このとき、1591年生まれの仁右衛門は29歳、小源太・三男の四兵衛も20代半ばぐらいだった。
是斎に関しては、はっきりしないが男の子はいなかったように思われる。
細川忠利が豊前から肥後へ加増移封となった1632年、是斎はもちろん平左衛門親子も肥後にお供できることになり、平左衛門(すでに60代中〜後半)は500石、三男四兵衛(おそらく30台後半)も150石拝領できることになった。ただ、3年後の1635年に平左衛門は亡くなると、なぜか長男仁右衛門(そのとき44歳)は平左衛門の跡目を相続できず、豊前時代からの10人扶持のままであった。
この細川忠利が肥後に移封した1632年以降、肥後細川藩には立て続けに大事件が発生した。
細川家が来る前の1625年、加藤忠広が治めていた熊本を大地震が襲い、熊本城はかなりの被害を受け、城内の火薬庫が爆発して50人以上の死者が出た。その復旧がまだ十分でない1933年、つまり細川家が熊本に来た翌年であるが、再び大地震が熊本を襲い、その後も大きな余震が続いた。
「もう本丸には居たくない」と書いた細川忠利の書状では、狩野是斎(60代後半)が草稿を担当しており、以下のようにちょっとだけメジャーな歴史資料に登場する。
その4年後、今度は島原・天草の乱(1637-38年)が勃発する。百姓一揆の性格が大きい島原の乱は島原藩領域だったが、キリシタン天草四郎の率いる天草の乱は肥後の領内であった。その後2つが合体した一揆軍の討伐には九州の大名が結集して行われ、細川忠利も自ら参陣して武勲を上げている。これに対して狩野家先祖が関与した記録は見当たらないが、藩の一大事であり、きっと頭を悩ませた出来事であったと思われる。
そして細川忠利は、1641年、父親の忠興よりも先に亡くなって長男の光利が跡を継ぎ、時代は次の世代に移って行く。