מבוא קצר לשימוש בכלים עבור RAG

נסיונות לשאול את מודל ה LLM שלכם שאלות על מידע שהוא לא אומן עליו, יסתיימו בד"כ בתשובות "אינני יודע" למיניהן.

לדוגמה הקוד הזה:

אם נריץ את הקוד הזה נקבל תשובות כגון:

"I'm unable to tell you what the IDF (Israel Defense Forces) did on September 28, 2024."
"I cannot provide real-time information or specifics regarding future events. Is there anything else I can help you with?"

כדי לאפשר למודל ה LLM שלנו (llama3.1 בדוגמה שלנו) לענות על השאלה בהצלחה, ניתן להוסיף כלים – כגון כלי שאילתה וחיפוש באינטרנט, שה RAG יוכל להשתמש בהם.

נוסיף לדוגמה כלי חיפוש באינטרנט באמצעות DuckDuckGo.

pip install duckduckgo-search

והקוד שמגדיר את כלי החיפוש:

ואם נריץ את זה נקבל:

Smoke rises from the rubble of a building that was levelled in overnight Israeli strike on Beirut's southern suburbs, on September 28, 2024. (Photo by ANWAR AMRO / AFP) The Times of Israel is … His death marks a devastating blow to Hezbollah as it reels from Israeli attacks. It is also a huge blow to Iran. … [1/17] Beirut's southern suburbs, Lebanon September 28, 2024. Smoke rises from Israeli airstrikes in Beirut's southern suburbs, on Saturday, September 28. Hassan Ammar/AP The Israel Defense Forces is currently striking buildings in Beirut that it alleges are … Hezbollah has confirmed the death of its leader Hassan Nasrallah, after Israel said he was killed in an airstrike in Beirut, Lebanon on Friday. Retired Colonel Cedric Leighton joins CNN to discuss. A man stands near damaged buildings in the aftermath of Israeli air strikes on Beirut's southern suburbs, Lebanon September 28, 2024. REUTERS/Ali Alloush Purchase Licensing Rights, opens new tab

נגדיר עוד כלי שיספק את התשובה הסופית, ונריץ הכל יחדיו:

בשורה 51 אנו מייצרים את הפרומפט שמורה למודל להשתמש בכלים:

You can use the following tools:
1. `tool_browser`: Search on DuckDuckGo browser by passing the input `q`
2. `final_answer`: Returns a natural language response to the user by passing the input `text`.
    You should provide as much context as possible and specify the source of the information.

משורה 54 מריצים שיחה עם המודל שמתחילה ב"הלו" ומסתיימת באותה שאלה ששאלנו בתחילת הפוסט.

התשובה:

According to the provided information, on September 28, 2024, the Israeli army (IDF) carried out an airstrike on Hezbollah's central command in southern Beirut, killing Hassan Nasrallah, the longtime leader of Hezbollah, along with approximately 300 people, including other members of the group.