Tại Hưng Yên, để bắt cha Viên, quân lính mua chuộc hai người Công giáo có họ hàng với cha. Ngày 01-8-1838, cha Viên bị quân lính vây bắt ở họ Cầu Chay, xã Như Thiết. Cha đã kịp ẩn trốn trong vườn mía dày đặc, nhưng lại ra trình diện khi nghe tiếng kêu thảm thiết của bé con chủ nhà bị tra tấn. Cha nói: “Tôi là đạo trưởng Viên các anh đang tìm bắt đây. Xin đừng làm khổ đứa trẻ này nữa”.

Trước lời khuyên chối đạo để được tha về, cha Viên cương quyết trả lời: “Dù có chết tôi cũng không bước qua thập giá. Tôi là đạo trưởng mà bước qua thập giá, thì ai theo đạo nữa!”