故事发生在清朝道光三十年（1850）的尼山黄土村。村里有家肉铺，铺中所卖的猪羊肉，皆由屠户陈三每日早晨送来。陈三养了一只黄狗，与他形影不离。

一日，肉铺店主开门后，未见陈三送肉。担心耽误生意，店主便到门首张望，却只看到那只黄狗狂奔而来，不见陈三身影。黄狗跑到店主跟前，衔住他的衣服，呜呜哀叫，似有话要说。店主挥手驱赶，黄狗却死活不走。

见它可怜兮兮的模样，店主心动了，问道：“你主人为何没来？莫不是出了事？你是想带我去看他吗？”黄狗听后，低头哀鸣，眼巴巴地看着店主，随后在前缓缓而行。店主跟在后面，走了约三里地，黄狗在一座废弃的旧屋前停下。

这座旧屋不知建于何年，前有小路，后依山林。因当时局势动荡，早已无人居住，荒废成了流浪汉的栖身之所。黄狗并未进屋，而是来到屋后山林边，见店主跟来，它跃入小溪，不多时便叼上一具尸体。店主上前一看，竟是陈三，他双手被绳子捆在身后，绳上还系着一块大石。

店主大惊，急忙跑回村中，喊来里长及村众一同查看。等众人赶到，却见黄狗已蜷曲在陈三尸体旁死去。里长心中感伤，嘱咐众人看守尸体，自己则火速前往县衙呈告。

此时的知县名叫林宇，江苏苏州人，进士出身，此前为邻县县丞，今年刚升任尼山黄土村所在县的知县，地方志称其“公正廉明”。林知县接到里长呈告，立刻带领衙役、仵作前往出事地点勘验。

仵作检验尸体发现，死者口中塞有破布，生前应是被人捆绑并塞口以防喊叫。身上有棍棒伤，但都非致命伤，应是生前遭过殴打。捆绑死者的是常见的麻绳，无法判断来源，身后所系大石也是山林常见之石，经溪水浸泡没留下痕迹。黄狗则是因叼死者上岸时用力过猛，溪水呛入肺中，呼吸不畅而死。

勘验尸体时，林知县仔细观察围观者，试图寻找线索。只见人们表情各异，有好奇者踮脚观看，有怕见死尸者躲在人群后听议论，还有些妇女低声哭泣，其中一名少妇哭得最为伤心，后来被一个男人带走了。

林知县勘验完毕，召集里长及甲长等询问情况，得知此屋废弃已久，鲜有人至，是荒凉之地，常有流浪汉来此避风雨。若不是黄狗引店主前来，他们根本不会知道有人在此遇害。

林知县查看屋中各处，发现屋后有堆废弃木材似被人翻动过，屋前空场有用石块搭成的简易炉灶，从灶内柴灰看，昨天还有人在此烧饭。他不禁怀疑，是不是流浪汉所为？他们居无定所，会不会因自己前来勘验而畏罪潜逃？基于此，林知县采取了两项措施。

其一，封锁道路。尼山黄土村位于一座大山脚下，离县城仅20里地，但交通不便，离最近的镇子也有大约10里地，且当时没有大路，山上居民出山只能走山路。山上居民众多，远离县城，为便于管理，朝廷在该山设有巡检司，有30名弓兵，管辖临县三都及顷山林。