家庭菜園をしようと庭の土を掘ってみたら粘土質だった件

涼しくなったので土作りに取り組んでみたいと思い、庭を掘ってみたら、粘土質っていうか粘土そのものが出てきました。赤茶色や灰色・青色です。
表面から5～10cmくらいはいわゆる真砂土っぽい表土で、その下はずっと粘土みたいなんです。ここに家庭菜園を作るのはむずかしいですか？
おおよそ4かけ4の16㎡くらいです。今まで何も作っていなくって、雑草はあまり生えませんが抜いていました。強めの雨が長めに降ると水たまりができますが、ぬかるみになるほどではないので水は抜けてると思います。
雨水と書かれたマンホールの蓋を小さくしたようなものがあってこれが排水溝なのかな？
牛糞堆肥とバーク堆肥、苦土石灰を入れて耕してみようと意気込んでいたのですが、粘土が出てくると思っていなかったのでびっくりしています。いわゆる普通の土？園芸用養土も足したほうがいいでしょうか。
それとも、そもそもここに畑を作るのはやめたほうが良いのかご意見を伺いたいです。よろしくお願いします。