malloc: not enough space error.
というのが出て失敗しました。
対策を検索したところ、こちらのコメントに解決方法がありましたので投稿しておきます。
ここからplatform-tools.zipをダウンロード。好きなところに展開。(コマンドラインで指定しやすいパスの方がいいと思う)
ここからNexus 5のAndorid 5.0 (LRX21O)のファクトリーイメージをダウンロード。tgzファイルを先ほどのフォルダに展開します。さらにimage-hammerhead-lrx21o.zipを同じフォルダに展開します。
コマンドラインを起動し、先ほどのフォルダにカレントフォルダを変更します。
コマンドラインから以下を順番に実行。
fastboot flash bootloader bootloader-hammerhead-hhz12d.img
fastboot reboot-bootloader
fastboot flash radio radio-hammerhead-m8974a-2.0.50.2.21.img
fastboot reboot-bootloader
fastboot flash system system.img
fastboot reboot-bootloader
fastboot flash userdata userdata.img
fastboot flash recovery recovery.img
fastboot flash boot boot.img
fastboot erase cache
fastboot flash cache cache.img
fastboot reboot
起動するまでじっくり待ちましょう。