איך סוכני AI רואים את המסך: צילומי מסך או עץ הנגישות

כדי להשתמש במחשב, סוכן צריך לענות על שאלה אחת שוב ושוב: מה יש עכשיו על המסך? יש שתי דרכים לענות עליה.

דרך 1: צילומי מסך

מצלמים, שולחים למודל ראייה, שואלים ״איפה כפתור השליחה?״, מקבלים קואורדינטות ולוחצים שם.

זה עובד על כל דבר שנראה, וזה היתרון. המחיר:

• ניחוש. המודל מסיק מה זה מלבן כחול. כפתורים דומים מתבלבלים.
• קואורדינטות. חלון שזז, מסך בגודל אחר או עמוד שגלל שולחים את הלחיצה למקום אחר.
• משקל. תמונות כבדות. כל צעד איטי ויקר יותר.
• פרטיות. צילום מסך מכיל את כל מה שעל המסך, לא רק את מה שהמשימה צריכה.

דרך 2: עץ הנגישות

כל מערכת הפעלה גדולה מתארת את החלונות שלה לקוראי מסך, כדי שאנשים עיוורים יוכלו לעבוד. התיאור הזה הוא עץ: חלון מכיל סרגל כלים, סרגל הכלים מכיל כפתור בשם ״שליחה״, והכפתור פעיל.

סוכן שקורא את העץ יודע שמשהו הוא כפתור השליחה, לא שהוא נראה כמו כפתור שליחה. ב-ands כל רכיב מקבל הפניה קצרה, והפעולות מכוונות אליה:

ands_look  → button "Send" @s7k2:e14
ands_act   → click @s7k2:e14

למה זה עדיף לסוכנים:

• מדויק. הוא לוחץ על הרכיב, לא על נקודה.
• קל. טקסט ולא תמונות, אז הצעדים מהירים.
• ניתן לבדיקה. שער הבטיחות יודע בדיוק על מה עומדים ללחוץ, לפי השם, אז הוא מבדיל בין ״שליחה״ ל״שמירת טיוטה״, בעברית ובאנגלית. זה מה שהופך את רמות האישור לאמינות.

כשהעץ לא מספיק

יש אפליקציות שמציירות את הפקדים בעצמן (משחקים, חלק מהתוכנות הישנות, קנבסים). שם העץ דל, ו-ands יכול לעבור לצילום מסך. מכיוון שצילום מסך יכול לתפוס כל דבר על המסך, הוא פעולה רגישה וצריך אישור.

למפתחים

אם אתם בונים סוכן, מקבלים את שניהם דרך MCP: ands_look לעץ, ands_act ו-ands_press כדי לפעול עליו, ו-ands_screenshot למקרה הנדיר. ההתקנה היא שורה אחת: ראו שליטה באפליקציות במחשב ל-Claude Code.