ארכיון הקטגוריה: טכנולוגיה

חיפוש עבודה בעזרת סוכנים חכמים – חלק 4

פורסם בתאריך על ידי
להגיב

בחלקים הקודמים (חלק 1 ■ חלק 2 ■ חלק 3) נתקל סוכן המשרות החכם שלנו בבעיה של כמות הטוקנים הגדולה בפרומפט, בגלל גודלו של קובץ המשרות. רצינו לראות האם הטמעות וקטוריות יפתרו את הבעיה ואכן חיפוש משרה לפי ההטמעות (בכותרת המשרה או בכל התיאור) נותן התאמות טובות.

בחלק הזה ננסה ליישם את ההטמעות הווקטוריות בתהליך העבודה של הסוכנים החכמים.
שלחנו את סוכן החיפוש החכם לחופשה ארוכה בבית וגייסנו במקומו סוכן חכם זוטר שידע להפעיל כלים שיטענו את כל קבצי תיאור המשרות ויכינו את ההטמעות הווקטוריות שלהם. בחלק זה נתמקד בטעינת הקבצים ע"י הסוכן החכם.

לצורך טעינת קבצי המשרות, נכין כלי עבודה (Tools) שהסוכן יוכל להפעיל כדי לבצע את משימותיו.

וזה הסוכן החדש שלנו:

שקיבל משימה אחת ויחידה – לטעון את הקבצים ולהחזיר אותם בפורמט מובנה של רשימת משרות:

וכמובן הצוות שלנו כולל כרגע רק את הסוכן הבודד הזה:

כאשר מריצים את הצוות הזה, ניתן לראות בשורות הלוג כי הסוכן מפעיל את כלי אעינת המשרות, שמחזיר את רשימת כל המשרות. לאחר מכן נותן הסוכן את התפוקה הבאה:

יש עדיין בעיה של כמות הטוקנים שהסוכן יכול לחפש בה ולכן המשרות המוחזרות לא רלוונטיות לחיפוש שלנו. בחלק הבא נוסיף לסוכן משימות של יצירת ההטמעות הווקטוריות כהכנה למסירת המשך הטיפול בחיפוש לסוכן חדש.

אחדים מקוראי יעירו, אולי בצדק, שלא צריך בכלל סוכן למשימה הזאת – אפשר פשוט להריץ קוד פייתוני שיטען את קבצי המשרות ויחזיר רשימה של משרות. זה נכון – אבל המטרה בחלק הזה היתה בעיקר להדגים איך ניתן לייצר Tool שמקבל קלט מובנה ומייצר פלט מובנה לשימושו של הסוכן החכם.

הקוד כולו מופיע כאן. לצורך הפשטות כללתי את כל הקוד בקובץ בודד וכן עברתי לייצור הסוכנים/משימות/כלים בקוד ולא באמצעות קונפיגורציות yaml.

תמונת השער יוצרה באמצעות AI באתר tensor.art

סם אלטמן – עזוב אותי! – ממצאים

פורסם בתאריך על ידי
להגיב

בפוסט סם אלטמן – עזוב אותי! הנחנו את בור הזפת לזחלנים סוררים שלא מצייתים להנחיות ב-robots.txt.

הבטחתי להביא קצת סטטיסטיקה וממצאים, והנה התוצאות, נכון ל-4 במרץ 2025:

הביקורים החלו ב-16 בפברואר ונמשכו עד היום, ה-4 במרץ 2025.

סה"כ היו כ-204 אלף ביקורים, ע"י 7 זחלנים שהזדהו עם מזהה דפדפן ו-465 זחלנים ללא מזהה (עם IP בלבד).

כמות ביקורים לפי זחלנים (עם מזהה דפדפן או רק עם IP)
השיאן הינו הזחלן של אמאזון

שיאן ההגעות הוא הזחלן של אמזון המזדהה כ: 

"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36"

עם כ-140 אלף ביקורים.

חלק מהזחלנים הפסיקו לבקר לאחר כמה ימים:

ואלו המתמידים:

תמונת השער יוצרה באמצעות AI באתר tensor.art

חיפוש עבודה בעזרת סוכנים חכמים – חלק 3

פורסם בתאריך על ידי
להגיב

בחלקים הקודמים (חלק 1, חלק 2) נתקל סוכן המשרות החכם שלנו בבעיה של כמות הטוקנים הגדולה בפרומפט, בגלל גודלו של קובץ המשרות.

בחלק הזה ננסה למצוא דרך לעזור לסוכן החכם לאתר קרבה סמנטית של המשרה(ות) לפרומפט המבוקש. אחת הדרכים הנפוצות בדוגמאות רבות של RAG ומערכות סוכנים חכמים היא השימוש בהטמעות (embeddings) בכדי לאתר קרבה סמנטית. התהליך כולל בדרך כלל ייצור וקטורי הטמעות למסמכי החיפוש ולפרומפט (אני מסרב להשתמש במילה העברית מנחה) ומציאת הקרבה ביניהם. הסבר על התיאוריה וכל נושא ההטמעות הוא מעבר למתוכנן עבור פוסט זה – אבל ניתן למצוא מידע רב ברשת. יש כאלו הטוענים לחסרונות בשיטה זו (למשל: The Insanity of Relying on Vector Embeddings: Why RAG Fails) אבל לצורך הדוגמה שלנו זו כנראה שיטה לגיטימית לבדוק האם היא תניב תוצאות קבילות.

בהרבה מאוד דוגמאות, וכנראה במערכות פרודקשן, נעשה שימוש באכסון של וקטורי ההטמעות – בדרך כלל בבסיסי נתונים ייעודיים לנושא כמו Chroma DB ודומיו. אבל בדוגמה הפשוטה שלנו נייצר את ההטמעות בכל הרצה.

לצורך בדיקה, נשתמש בשתי משרות לדוגמה. האחת מתאימה מאוד לפרומפט של "Cloud Architect" , והאחרת פחות.

job-1.json
משרה זו מתאימה – job-1.json
job-2.json
משרה זו אינה מתאימה – job-2.json

נריץ את הקוד הזה למציאת מידת הקרבה לפרומפט:

כשמריצים מתקבלת התוצאה הבאה:

Cosine similarity to job1: 0.5836322943367188
Cosine similarity to job2: 0.5218661225791285
    

Cosine similarity to job1 title: 0.7767796108694911
Cosine similarity to job2 title: 0.46854531550568995

ניתן לראות ששתי המשרות קרובות מאוד בהתאמתן לפרומפט אם ההטמעות נעשות על כל הטקסט של המשרה, אבל אם ההטמעה נעשית רק על התואר של המשרה יש העדפה מובחנת למשרה שבאמת מתאימה יותר לפרומפט.

בחלק הבא ננסה לתת לסוכן החכם כלים שיזרו לו לחפש באופן יעיל יותר במאגר המשרות.

תמונת השער יוצרה באמצעות AI באתר tensor.art

חיפוש עבודה בעזרת סוכנים חכמים – חלק 2

פורסם בתאריך על ידי
להגיב

בחלק הקודם הכנו את אוסף המשרות ואת קורות החיים לעבודתם של הסוכנים.

בחלק הזה נגייס את הסוכן הראשון לצוות שלנו – סוכן החיפוש. נשתמש בספריית CrewAI לצורך כך.

יצירת הסוכן + בדיקה התחלתית פשטנית

מבנה הקבצים לחלק הזה הינו:

בספריית קונפיגורציה נגדיר את הסוכנים והמשימות, בספריית דאטה יהיו קו"ח וקבצי עזר לבדיקה, ובספריית jobs יהיו כל קו"ח שאספנו בחלק הקודם.

אלו הגדרות הסוכן והמשימה:

וזה מה שנריץ:

ואלו התוצאות. הפרומפט שביקשנו בהרצה היה Cloud Architect:

זה עובד, בערך…

יש כמה בעיות שניתן לציין ביישום הזה:

  1. הקוד רץ על קובץ משרות לדוגמה שכלל מספר קטן של משרות שחוברו לקובץ json יחיד. אנחנו רוצים לעבור על כל המשרות שכל אחת מהן נמצאת בקובץ משלה.
  2. הפרומפט שבחרנו נבחר כך שיניב תוצאות לעבודת הסוכן. פרומפטים אחרים או מורכבים יותר לא מצאו תוצאות בחיפוש.
  3. אם נסתכל על הלוגים של ollama נבחין באזהרה מטרידה:

זה עשוי לרמז על בעייה בהפעלת ה-LLM שכן יתכן והפרומפט שלנו לא יובן במלואו.

שימוש בכל המשרות

נסיון אפשרי לפתור את הבעיות הנ"ל יהיה לאחד את כל המשרות שלנו לקובץ אחד, ולהשתמש בו. זה רק מחריף את בעיית כמות הטוקנים בפרומפט:

ןהפרומפט "Cloud Architect" שמצא משרות בקובץ הבדיקה, לא מחזיר תוצאות רלוונטיות – אלא משרות מפתח iOS. ??? כנראה שהסוכן לא נחשף לכל המשרות, בגלל הבעייה הנ"ל.

כדי לפתור את הבעיות הללו, ננסה להשתמש בדמיון סמנטי שישתמש באמבדינגים ווקטוריים. אך על כך בפרק הבא.

תמונת השער יוצרה באמצעות AI באתר tensor.art

חיפוש עבודה בעזרת סוכנים חכמים – חלק 1

פורסם בתאריך על ידי
להגיב

לכל אחד יש היום איזושהי דוגמה מגניבה איך סוכני AI חכמים מכינים להם קפה בבוקר, שואבים את הבית ומקפלים את הכביסה. גם אני רציתי כזה, אז החלטתי לנסות ולייצר לי צוות של סוכנים חכמים שימצאו לי עבודה חדשה.

לא, אני לא מחפש כרגע עבודה (אבל תמיד פתוח לרעיונות מעניינים).

המטרה היא ליצור סוכני AI שישתמשו במודלי שפה גדולים (LLM) בכדי למצוא לי משרה שתואמת להגדרות שהם קיבלו.

קצירת משרות

לצורך הפרוייקט הזה הייתי זקוק לאוסף משרות שהסוכנים יוכלו לבדוק. החלטתי לגרד משרות מלינקדאין בעיקר בגלל שהן באנגלית (לא רציתי כרגע להתעמק ביכולות של LLM בשפת הקודש), יחסית מובנות ויש הרבה כאלו.

לצורך כך נעזרתי בספריה המופלאה: linkedin-jobs-scraper

בכמה שורות קוד פשוטות הצלחתי לאסוף מספר רב של משרות מוצעות בישראל מלינקדאין. בכוונה לא הגדרתי שום סינון נוסף פרט לישראל, כדי לראות איך הסוכנים יתמודדו עם הקריטריונים שלי בהמשך.

זה הקוד ששימש לאיסוף המשרות:

קיבלתי אוסף של קבצי json, אחד לכל משרה, במבנה הכללי הזה:

אספתי כמה מאות משרות, שלצורכי הפרוייקט הזה נראה לי מספק למדי (אבל אם אתם שוקלים להקים חברת השמה משלכם – צריך להשקיע הרבה יותר – לאסוף עוד משרות, מעוד מקורות וכו').

הכנת קורות החיים

לצורך ההמשך לקחתי את קורות החיים שלי, שהיו בפורמט וורד, וביקשתי מצ'ט גי.פי.טי. להמיר לי אותם לקובץ MD (מרקדאון).

כעת יש לנו את כל הנתונים הבסיסיים להמשך העבודה וליצירת הסוכנים.

תמונת השער יוצרה באמצעות AI באתר tensor.art

סם אלטמן – עזוב אותי!

פורסם בתאריך על ידי
2

לא רוצה להיות חבר של סם אלטמן. בעצם, לא אכפת לי להיות חבר שלו – רק שלא יביא איתו את צ'ט גיפיטי. לא רוצה שג'פטו ילמד אותי, יכיר אותי או ישתמש בנתונים האישיים שלי.

חברות ה-AI שמספקות צ'טים מבוססי LLM זקוקות לכמויות אדירות של מידע, טקסטואלי בעיקרו, לאימון מודלי השפה שלהם. אחת הדרכים בהן הן משיגות את המידע הזה היא באמצעות זחלני רשת (התכוונתי ל-web crawlers, מה לעשות שבעברית זה נשמע פומפוזי) הסורקים דפים באתרים שונים ברשת ומשתמשים בתוכן המצוי שם בכדי לאמן את מודלי השפה שלהם. בכדי להיות הוגן – גם הזחלנים של מנועי החיפוש (גוגל, בינג וכו') עושים את זה, והגרוע מכל – זחלנים ומאנדקסים זדוניים שסורקים את האתרים השונים בגדי למצוא חולשות שניתן לנצל לפריצה ולשליטה.

קיים ויכוח ארוך, שלא נכנס אליו עכשיו, האם תוכן שהונגש לעולם באתר שלי שייך לי או ניתן לניצול ע"י אחרים, כמו חברות ה-AI, לצרכיהם. אני לא משפטן ולא מתיימר להכריע בסוגיות כאלו, אבל הייתי רוצה שתהיה לי שליטה מסויימת בשימוש שיעשה בתוכן שלי. מצד אחד הייתי רוצה לאפשר לחיפושים למצוא תוכן רללונטי באתר. לדוגמה: אני מארח את אפליקציית עץ המשפחה באתר שלי. גוגל איפשר לי במשך השנים למצוא קרובי משפחה רחוקים ו/או אבודים שהגיעו לאתר באמצעות חיפושים שערכן, יצרו איתי קשר – וכך נולדו הכרויות חדשות ומרגשות. מצד שני – לא רוצה שישתמשו בתיזהשלי לדוקטורט שעמלתי עליה רבות.

מנגנון שליטה מסויים, רב שנים הינו הגדרת התוכן שמותר לאנדקס בקובץ ה- robots.txt באתר. זחלנים הגונים יצייתו להוראות שבו וידלגו על התוכן שאינני רוצה שיראו. ברור שזחלנים זדוניים לא יצייתו, אך האם זחלני AI ידועים יצייתו? דוגמה להגדרות כאלו מאחד הדומיינים שלי:

User-agent: *
Disallow: /css/
Disallow: /img/

לאחרונה קראתי פוסט על מלכודת דבש (honey pot) אכזרית שפיתח בחור המכונה בשם Aaron ותכליתה להעניש זחלנים שלא מצייתם להוראות. המלכודת זכתה לתגובות מעורבות של אהדה מהמתנגדים לשימוש לא הוגן בתוכן שלהם והסתייגות ממבקרי המלכודת בשל השלכות על הרשת (עומס, איכות סביבה, תוכן ירוד וכו').

המאפיינים העיקריים של המלכודת

  • המלכודת (שנקראת בור הזפת בתיעוד) קרויה Nepenthes, שמו של הצמח הטורף. היא מיועדת בעיקר לזחלני AI/LLM אבל כמו הצמח – "תטרוף" כל מי שיקלע לשם.
  • במהלך פעולתה מייצרת המלכודת מספר אינסופי של דפי תוכן, שבכל אחד מהם קישורים רבים המפנים לתוך בור הזפת. התוכן בדפים מיוצר אקראית, אבל באופן דטרמיניסטי – מה שמאפשר להם להראות כדפים רגילים שאינם משתנים.
  • השהייה מכוונת הוכנסה כדי למנוע מזחלנים להעמיס את השרת עליו מאוחסן האתר, וכדי לבזבז את זמנם בהמתנה.
  • יש אופציה להוסיף מרקוב-באבלר לדפים, כדי לתת לזחלנים טקסט לאימן מודלי השפה שלהם, בתקווה שיאיץ בסופו של דבר את קריסת המודל.
  • חלק מהזחלנים עוזבים אם התוכן לא חוזר בפרק זמן נתון. לצורך כך התוכן מוחזר מיידית בפיסות קטנות כדי להחזיק את החיבור חי ולהעמיס על הזחלן ככל האפשר.

הניסוי

למרות האזהרה לא להריץ את המלכודת באתר חי כי הוא עלול להעלם ממפת החיפושים, הרצתי עפ"י ההוראות שכאן: https://zadzmo.org/code/nepenthes את המלכודת באחד האתרים הפרטיים שלי. לפני ההרצה אימנתי את המלכודת על טקסט מאלפי אימיילים טכניים שצברתי במהלך השנים.

ניתן לראות אותה בפעולה כאן: https://miron.ophir.org.il/badrobot (האזרו בסבלנות כי התוכן יופיע בהשהייה מכוונת).

אני מתכוון להריץ אותה זמן מה, לאסוף סטטיסטיקה ולדווח עליה בהמשך.

אחרית דבר

את הסטטיסטיקה שתאסף אנגיש בפוסט אחר.

אם תשאלו את הצ'ט האהוב שלכם "מי רצח את ז'בוטינסקי?" והתשובה תהיה "החמאס" – אל תאשימו אותי. נשבע לכם שזה לא תוכן שיוצר במלכודת…

גיפי: מי רצח את ז'בוטינסקי
קלוד: מי רצח את ז'בוטינסקי

תמונת השער יוצרה באמצעות AI באתר tensor.art

האם ה-LLM שלי יודע שנאסראללה חוסל?

פורסם בתאריך על ידי
להגיב

מבוא קצר לשימוש בכלים עבור RAG

נסיונות לשאול את מודל ה LLM שלכם שאלות על מידע שהוא לא אומן עליו, יסתיימו בד"כ בתשובות "אינני יודע" למיניהן.

לדוגמה הקוד הזה:

אם נריץ את הקוד הזה נקבל תשובות כגון:

"I'm unable to tell you what the IDF (Israel Defense Forces) did on September 28, 2024."
"I cannot provide real-time information or specifics regarding future events. Is there anything else I can help you with?"

כדי לאפשר למודל ה LLM שלנו (llama3.1 בדוגמה שלנו) לענות על השאלה בהצלחה, ניתן להוסיף כלים – כגון כלי שאילתה וחיפוש באינטרנט, שה RAG יוכל להשתמש בהם.

נוסיף לדוגמה כלי חיפוש באינטרנט באמצעות DuckDuckGo.

pip install duckduckgo-search

והקוד שמגדיר את כלי החיפוש:

ואם נריץ את זה נקבל:

Smoke rises from the rubble of a building that was levelled in overnight Israeli strike on Beirut's southern suburbs, on September 28, 2024. (Photo by ANWAR AMRO / AFP) The Times of Israel is … His death marks a devastating blow to Hezbollah as it reels from Israeli attacks. It is also a huge blow to Iran. … [1/17] Beirut's southern suburbs, Lebanon September 28, 2024. Smoke rises from Israeli airstrikes in Beirut's southern suburbs, on Saturday, September 28. Hassan Ammar/AP The Israel Defense Forces is currently striking buildings in Beirut that it alleges are … Hezbollah has confirmed the death of its leader Hassan Nasrallah, after Israel said he was killed in an airstrike in Beirut, Lebanon on Friday. Retired Colonel Cedric Leighton joins CNN to discuss. A man stands near damaged buildings in the aftermath of Israeli air strikes on Beirut's southern suburbs, Lebanon September 28, 2024. REUTERS/Ali Alloush Purchase Licensing Rights, opens new tab

נגדיר עוד כלי שיספק את התשובה הסופית, ונריץ הכל יחדיו:

בשורה 51 אנו מייצרים את הפרומפט שמורה למודל להשתמש בכלים:

You can use the following tools:
1. `tool_browser`: Search on DuckDuckGo browser by passing the input `q`
2. `final_answer`: Returns a natural language response to the user by passing the input `text`.
    You should provide as much context as possible and specify the source of the information.

משורה 54 מריצים שיחה עם המודל שמתחילה ב"הלו" ומסתיימת באותה שאלה ששאלנו בתחילת הפוסט.

התשובה:

According to the provided information, on September 28, 2024, the Israeli army (IDF) carried out an airstrike on Hezbollah's central command in southern Beirut, killing Hassan Nasrallah, the longtime leader of Hezbollah, along with approximately 300 people, including other members of the group.

סוד הבנקאות הנורא שאף אחד לא מעז לדון בו

פורסם בתאריך על ידי
להגיב
התמונה מאתר cointelegraph

אי פעם עצרתם וחשבתם כמה היבטים בחיי היומיום שלכם כוללים כרטיסי אשראי או אפליקציות בנקאיות? בטח לא כל כך הרבה, נכון?

זה בגלל שאנחנו לוקחים את הבנקאות ואת ההשתתפות שלנו במערכת הפיננסית כמובן מאליו.

אבל ידעתם שבמדינות מסוימות, פתיחת חשבון בנק היא כמעט בלתי אפשרית? לחלק מהמדינות יש מערכות זהות כל כך לא מספקות, עד שאזרחיהן אפילו לא יכולים לגשת לשירותי בנקאות בסיסיים.

אנו, התושבים ברי המזל של מדינות מפותחות, מתעלמים לעתים קרובות מהעובדה שמוצרים ושירותים שאנו רואים כדבר שבשגרה נחשבים למותרות בלעדיות במקומות אחרים בעולם.

אז למה זה המצב, אתם עשויים לתהות?

זו שאלה מורכבת עם תשובה לא פשוטה, אבל מה אם אחד הכלים העיקריים שהרגולטורים משתמשים בהם כדי להילחם בפעילות פלילית בעצם גורם למשבר עולמי של ביטול בנקאות? מה אם אותן תקנות שנועדו להגן עלינו ולקדם צדק מחמירות במקביל את אי השוויון בגישה הפיננסית? ומה אם עצם התקנות האלה, במסווה של ביטחון, מנוצלות כדי לפקח ולפקח על פעולותינו?

אלו שאלות שעלינו לשאול את עצמנו: האם הצדק מצדיק אי שוויון? כפי שנפוליאון היה אומר, האם המטרה מצדיקה את האמצעים?

להמשיך לקרוא ←

דוד גוגל משחק בקוביות

פורסם בתאריך על ידי
1

הכל בחיים מקרי.
רבים סבורים כי אין מקריות בחיים וכי הכל נקבע מראש. המפורסם מביניהם היה אלברט איננשטיין שאמר: "אלוהים אינו משחק בקוביה". ובכן, האם הוא האמין, כרבים אחרים בקיומו של אלוהים או יישות עליונה אחרת המכתיבה את מעשינו?
אחרים מאמינים במזל, קארמה או מוג'ו.
אני מאמין שהכל מקרי ואנו מנווטים בזרם של אירועים סטטיסטיים מקריים בכדי להעלות את ההסתברות שלנו לתוצאה מוצלחת (מבחינתו).
היות וכך, החיים מזמנים לנו לעיתים רצף של אירועים משעשעים המדהימים אותנו בסמיכותם (ושאנו נוהגים לכנות בשם צירוף מקרים).
כבר אמר מאן דהוא: הסביר והבלתי סביר שונים זה מזה שוני של תדירות ולא שוני של מהות. ובכן, אותו צירוף מקרים – אם האירועים שבו היו קורים בנפרד – לא היינו עוצרים אפילו לשנייה בכדי להתעכב עליהם. לא כך הוא שרצף האירועים גורם לנו לתמוה האם יש יד מכוונת מאחורי המקריות?
אתמול זה קרה גם לי. ובעקבות המאורעות התחלתי לחשוב על מקריות, הסתברות, וצדק פואטי. לעצלנים שבכם – המסקנה בסוף.
להמשיך לקרוא ←