城立在一处谷地，占地甚广，外边是用石头垒砌建成的墙壁，高达丈於。石壁墙垣相当宽厚，足以容纳数名兵卒在上面奔走守御。每隔数十步，就有矢仓，楼中皆有弓箭手。
山城外的四面，近处林密密集，荆棘杂草丛生。城下挖有宽深沟堀，独有一条窄道相连，自东、西两座城门通向山谷，远处则环绕峭壁群山，纵然有人想要从其他方位攻城，野难以施展。
城内的尼子军守军已经得知，山道外的关砦内退兵的传讯，知道了敌军将至城下，因而提前便做好了完善的城防守备。此时城墙上边的守军，多持弓箭、标梭，脚边摆放满了滚石、檑木，美作军显是无机可乘。
宇喜多直家策马观望，看了会儿对方的种种守御措施，心中了然，现在离与内应动手的时间还早，因此也不急於现在便攻城，回到军中，下达命令。
先令长船贞亲率儿玉党本队，列阵稻荷山城门外，严防敌军突袭。
继令原田贞佐等美作豪族的兵马，铲除稻荷山城外的林木杂草，修筑营砦的同时，大张旗鼓的赶制各类粗糙的攻城器械，相比较于内应献城，宇喜多直家还是认为凭借优势人数，发动强攻更加可靠一些。
明石景季问道：“和泉守，我等何时攻打此城？”这位文治奉行出身的家老，虽然不谙军略，可纸上谈兵的见识还是有一些。
宇喜多直家说道：“争取今晚入夜前，先将营砦先立好，等营砦立好后，即可开始攻城！”
户川通安数次回望稻荷山城的壁垒，又望了望天色，说道：“和泉守，山城墙垣外多树、多草。除了应当尽早清理干净，入夜后也当多布置兵卒把手，免得尼子军半夜效仿我军，也来一次放火夜袭。”
宇喜多直家点头说道：“所言不差。”又笑道：“如城内尼子军真赶来出城夜袭，倒是最好不过，正好可让咱们先败他一阵，鼓壮一番士气。”
如户川通安所言，到入夜时，用来筑营的空地还没有将林木尽数砍伐干净。宇喜多直家遂令冈家利和马场职家二人带百名精锐，担任起夜间巡视警戒的重任。
一夜过去，城内的尼子军并未敢冒死出城夜袭围城的敌军。
宇喜多直家失望之余，与诸人说道：“地利在彼，而敌军懦不敢战，可见其城内守将乃是无勇无谋之辈，不足为虑。且待攻城器械打造完备，即可全力攻城，我料城垣虽险，然却不足以为其屏障，诸位若能鼓用奋迅，今夜或可於城内宴饮庆功！”
鼓励士气的言语虽然豪迈，但取胜却遥遥无期。
美作军兵营垒筑成后，全力打造云梯、飞桥等攻城器械，当晚休整一夜。
翌日，开始派兵攻打稻荷山城的墙垣。
城内的尼子军虽然不多，但百姓两千余人，足够上阵守御的丁壮占了半数，再是其城内无主，再是其守备武士无勇无谋，凭借这些丁壮的数量，城内尼子军储备军械