תפילה שנכתבה באירופה בתגובה למסעי הצלב, שהחלו בסוף המאה האחת-עשרה, וגבו חייהם של יהודים רבים; ידועות בהקשר זה במיוחד גזירות תתנ"ו (1096), שהמיטו חורבן על קהילות יהודיות חשובות באשכנז, ובראשן קהילות שו"מ – שפיירא, וורמייזא ומגנצא.
באמירת 'אב הרחמים' רבו בעבר מנהגים שונים בין קהילות יהודי אירופה. בימינו המנהג הנפוץ ביותר הוא לאומרה מדי שבת, לפני החזרת ספר התורה לארון הקודש ותפילת מוסף. מקובל גם שלא לאומרה בשבתות חגיגיות כאותן שמברכין בהן את החודש, ומנגד – בתקופת האבל של ימי ספירת העומר אומרים אותה אף בשבתות חגיגיות אלו.
התפילה, המשובצת פסוקי מקרא רבים, מבקשת מהקדוש ברוך הוא לזכור את הנהרגים על קידוש שמו, ולנקום את נקמתם. אולם תפילות, כמעט לעולם, אינן רק פרי יוצריהן, אלא גם פרי הנושאים אותן בפיהם; לגרעין ההיסטורי המקורי שעבורו נוצרה התפילה נוסף בדורנו מימד נוסף, הולם מאוד בכאבו: בדעתם ובתודעתם של רבים מכוונת כעת התפילה גם למקדשי-השם בתקופת השואה, "קְהִלּוֹת הַקֹּדֶשׁ שֶׁמָּסְרוּ נַפְשָׁם עַל קְדֻשַּׁת הַשֵּׁם / הַנֶּאֱהָבִים וְהַנְּעִימִים בְּחַיֵּיהֶם וּבְמוֹתָם לֹא נִפְרָדוּ".