טוקן הוא יחידת טקסט קטנה שהבינה מעבדת.
לא בדיוק מילה. לא בדיוק אות. משהו באמצע.
כמו שאת הנפח של קובץ מודדים בג׳יגה, את כמות הטקסט שהבינה צריכה לעבד מודדים בטוקנים.
1לדוגמה בערך:
- 100 מילים באנגלית = כ-75 טוקנים
- 100 מילים בעברית = כ-200 טוקנים
2למה עברית “עולה” יותר?
כי בעברית המילים מתפרקות אצל הבינה ליותר חלקים קטנים. לכן אותו רעיון בעברית יכול לתפוס יותר מקום מאשר באנגלית.
3ומה זה משנה לנו?
ככל שאנחנו מכניסים לשיחה יותר טקסט, יותר מסמכים, יותר הוראות, ויותר היסטוריה משיחות קודמות הבינה צריכה לעבד יותר טוקנים. זה יכול להשפיע על הזיכרון של השיחה, ובחלק מהמערכות גם על העלות.
4אז איך עובדים חכם יותר?
- כותבים הוראות קצרות וברורות
- פותחים שיחה חדשה לנושא חדש
- לא מדביקים חומר מיותר
- שומרים מידע קבוע בקובץ או בפרויקט מסודר
5השורה התחתונה:
לא צריך להיבהל מטוקנים. פשוט להבין שככל שהטקסט שלנו קצר, ברור ומסודר יותר, הבינה עובדת טוב יותר, ואנחנו מקבלים תשובות מדויקות יותר.
ידעתם שעברית “עולה” יותר טוקנים מאנגלית?
כמה זה עזר לכם?
טרם דורג — היו הראשונים
התחברו עם Google כדי לדרג


