ويعتبر الزرقاوي المسئول عن العديد من العمليات أشهرها تفجير مبنى الأمم المتحدة الذي أدى إلى مقتل ممثلها سيرجيو دي ميللو والمئات من العمليات الانتحارية التي تقدر بـ 800 عملية ضد قوات التحالف بقيادة امريكا في العراق وقوات الأمن العراقية. وحددت واشنطن مبلغ 25 مليون دولار ثمناً لمعلومات قد تفضي للقبض على الزرقاوي.
واتهمت الولايات المتحدة الزرقاوي بتدريب المقاتلين في شمال العراق حتى قبل غزو العراق 2003 ، وتفجير فنادق في العاصمة العراقية بغداد تستخدمها الاستخبارات الأمريكية والشركات الأمنية، وقطع رأس المواطن الأمريكي «نيك بيرغ» في العراق عام 2004 كما صوّره شريط الفيديو في 11 مايو 2004، والرهينة الكوري كيم سون ايل. ويعتقد أن ياسين جراد والد الزوجة الثانية لأبي مصعب الزرقاوي هو الذي نفذ العملية الانتحارية التي أدت إلى مقتل محمد باقر الحكيم وعشرات العراقيين في مدينة النجف .
كما ينسب لأبي مصعب ضلوعه في عدد من محاولات القيام بعميات ارهابية على الأراضي الأردنية، وحكم على الزرقاوي غيابيا بالسجن 15 عاما خلال محاكمة 28 مشتبها به اتهموا بالتخطيط لشن هجمات ضد أهداف غربية في الأردن في سبتمبر 2000. واتهمت السلطات الأردنية الزرقاوي في ديسمبر 2002 بتجنيد متطرفين لإطلاق النار على الدبلوماسي الأمريكي لورانس فولي الذي قتل خارج منزله في عمان قبل ذلك بشهرين.
في مايو 2005 أصيب الزرقاوي ، وفي7/7/2005 تبنى تنظيم القاعدة في بلاد الرافدين، عملية اختطاف السفير المصري لدى العراق إيهاب الشريف . و قام تنظيم القاعدة في بلاد الرافدين بتنفيذ ثلاثة تفجيرات في العاصمة الأردنية عمان في 9 نوفمبر 2005 أدت لقتل 57 شخصا.