Token Economics ב-LLMs הוא חישוב עלות השימוש לפי input tokens (מה שמכניסים ל-prompt) ו-output tokens (מה שה-LLM מייצר). דוגמה: Claude Sonnet 4 = $3 ל-1M input + $15 ל-1M output. הבנת token economics קריטית לכל מי שבונה product מבוסס AI - היא תלויה כמעט תמיד ב-margin.
המודל הכלכלי של שימוש במודלי שפה, הנמדד ב'טוקנים' (חלקי מילים). הבנה של כמה טוקנים צורכת כל שאילתה היא קריטית לחישוב עלויות בריצה של אפליקציות AI.
כי היא נספרת על הקלט ועל הפלט גם יחד. הנחיה ארוכה שנשלחת בכל קריאה משלמת את עצמה שוב ושוב, גם כשהתשובה קצרה.
מקצרים את ההנחיה הקבועה, שולחים רק את ההקשר הרלוונטי לשאלה, ומשתמשים במודל קטן יותר למשימות פשוטות. רוב החיסכון מגיע משלושת אלה.
לא. במשימות שדורשות הסקה מרובת שלבים מודל זול מייצר יותר טעויות, והתיקון האנושי עולה יותר ממה שנחסך.
קטגוריה: AI & Automation