Три полных года сэр Эдвард был фаворитом при дворе императора, с утра до ночи занимаясь работой в лабораториях, а также сплетнями и дебошами с шумными компаниями в «Золотом шаре». Ему было позволено наносить редкие визиты в резиденцию фон Розенберга неподалеку от Крумлова, и историки утверждают, что Келли выманил у чеха огромную сумму — около трех сотен тысяч флоринов. Это отчасти подтверждается тем фактом, что иностранец вскоре завладел ценными землями в Чешском государстве. Келли поселился в роскошных апартаментах и регулярно дарил дорогие подарки тем, кто сомневался в его благосостоянии. После свадьбы с одной из своих служанок Келли пожертвовал на благотворительность золотые кольца, стоившие четыре сотни фунтов.
Фортуна, которая так благоволила сэру Эдварду, неожиданно одарив его благосостоянием и благородными титулами, столь же внезапно отвернулась от него, и произошло это из-за одного непредвиденного события. Ссора с одним из слуг императора обернулась дуэлью, и Келли по несчастливой случайности убил своего противника. Рудольф осуждал дуэли и запрещал их и не сделал исключения даже для своего любимого алхимика. На самом деле император, похоже, боялся, что Келли сбежит из страны со всеми своими алхимическими секретами — королева Елизавета I убеждала Келли вернуться на родину. И Рудольф, и Елизавета, видимо, не сомневались в способности Келли производить золото в больших количествах, а император еще и надеялся, что тюремное заключение сможет склонить Келли к сотрудничеству. Испуганный яростью своего патрона, Келли попытался бежать, но был пойман драгунами и заключен в Белую башню на Градчанах; позже его перевели в Пурглитц и бросили там в страшную темницу. С человеком, упавшим с небывалых высот, обходились, как с обычным преступником: еду ему подавали через отверстие в двери его камеры, отказав ему в просьбе писать в камере книги. Но худшее ожидало его впереди: император, получив над ним безраздельную власть, решил выпытать у него секрет изготовления чудесного порошка, превращающего основные металлы в золото. Сэра Эдварда подвергли жесточайшим пыткам, а комендант крепости допрашивал его, пока он бился в агонии. В письме императорского секретаря к коменданту, датированном 8 февраля 1592 года, указаны вопросы, ответы на которые император желал вырвать у истерзанного узника. Ответов, естественно, не последовало.
Заключенный, потеряв надежду на спасение, решился на побег. Его друзья подкупили тюремщиков, опоили стражей отравой, раздобыли хороших лошадей и спрятали их в удобных укрытиях. Келли выбрался из своей камеры, но, спускаясь по веревке по стене темницы, упал с большой высоты, сломал ногу и повредил внутренние органы; он был тотчас схвачен и снова замурован в крепости, где смерть вскоре освободила его от страданий.