תפסיק לבזבז כסף על AI איטי. הרובוטריקים שלנו הורידו את העלויות ב-30%.

לכל בקשת AI יש עלות. כאשר לדגם לוקח יותר זמן להגיב, חשבון הענן שלך יכול לעלות עם כל הנחיה. העיכוב משפיע גם על תמיכת לקוחות, עיבוד מסמכים, חיפוש וזרימות עבודה יומיומיות אחרות. דגם שנראה סביר בנפח נמוך עלול להתייקר ככל שהשימוש יגדל. אני רואה את הדפוס הזה לעתים קרובות: צוותים בוחרים מודל גדול עבור כל משימה, גם כאשר שנאי קטן יותר יכול לספק את התוצאה הדרושה עם פחות מחשוב. המודלים מבוססי השנאים שלנו נועדו להפחית את העבודה הנדרשת למשימות AI נפוצות. בהתאם לדגם, עומס העבודה, אורך הקלט והגדרת ההגשה, צוותים מסוימים עשויים להפחית את עלויות ההסקה בעד 30% תוך שמירה על איכות הפלט מתאימה למקרה השימוש שלהם. המספר אינו הבטחה לכל פרויקט. זהו מדד מעשי לבדיקה מול יעדי התנועה והאיכות שלך. הנה איך הגישה עובדת. התאימו את הדגם למשימה לא כל בקשה צריכה דגם גדול לשימוש כללי. מערכת תמיכה שמסווגת כרטיסים, מחלצת פרטי הזמנה או מזהה שפה עשויה לעבוד היטב עם שנאי קטן יותר. מודל גדול יותר יכול להישאר זמין עבור בקשות הדורשות נימוקים מעמיקים יותר או תשובות ארוכות יותר. פיצול זה עוזר להפחית חישוב מיותר. זה גם הופך את התנהגות המערכת לקלה יותר למדידה. צמצם עיבוד חוזר יישומים רבים שולחים את אותו הקשר עם כל בקשה. פרטי מוצר, טקסט מדיניות ופרטי חשבון עשויים להתווסף שוב ושוב, גם כאשר רק חלק קטן השתנה. הגדרה טובה יותר יכולה להשתמש בהנחיות קצרות יותר, בהקשר שניתן לשימוש חוזר, בקלט מובנה או בתוצאות במטמון היכן שהמשימה מאפשרת זאת. פחות אסימוני קלט פירושם בדרך כלל פחות זמן עיבוד ועלויות שימוש נמוכות יותר. מדוד יותר ממהירות תגובה פלט מהיר הוא שימושי, אבל המהירות לבדה לא מראה אם ​​דגם מתאים. אני ממליץ לעקוב אחר: - עלות לכל בקשה - זמן תגובה ממוצע ושיא - שימוש באסימוני קלט ופלט - שיעורי שגיאה וניסויים חוזרים - דיוק משימות - זמן סקירה אנושית - שינויים באיכות לאחר דחיסה או ניתוב של מודל מודל שחוסך כסף אך יוצר יותר עבודה ידנית לא עשוי להפחית את העלות הכוללת של זרימת העבודה. השתמש בניתוב במקום בדגם אחד-עבור-כולם שכבת ניתוב פשוטה יכולה לשלוח בקשות קלות לדגם קטן יותר ולשמור דגמים גדולים יותר למקרים שצריכים יותר קיבולת. לדוגמה, קמעונאי מקוון עשוי להשתמש בשנאי קומפקטי כדי לזהות שאלות לגבי מצב ההזמנה. בקשות הכוללות החזרים כספיים, חריגות מדיניות או שפת לקוחות לא ברורה יכולות לעבור למודל גדול יותר לבדיקה. עיצוב זה נותן לכל בקשה את רמת העיבוד הדרושה לה. בדוק עם הנתונים שלך בנצ'מרקים ציבוריים יכולים לעזור בהשוואה מוקדמת, אבל הם לא מחליפים בדיקות המבוססות על התנועה שלך. ערכת הערכה שימושית עשויה לכלול: - שאלות נפוצות של משתמשים - קלט ארוכות וקצרות - שגיאות כתיב - שפות מעורבות - מקרי קצה - בקשות הדורשות סקירה אנושית הפעל את אותו סט דרך המודל הנוכחי שלך והאפשרות הזולה יותר. השווה איכות, מהירות ועלות תפעול כוללת. חיסכון של 30% שימושי רק כאשר התוצאה עדיין עומדת בדרישות השירות שלך. שקול צוות עיבוד מסמכים שמטפל בחשבוניות בכל יום. המודל הקיים שלו עשוי לקרוא כל עמוד באותה רמת עיבוד. שנאי קטן יותר יכול לחלץ שמות ספקים, תאריכים וסיכומים, בעוד שמסמכים חריגים עוברים לדגם גדול יותר או לבודק אנושי. הצוות עשוי להפחית את השימוש במחשוב מבלי לשנות את תהליך הבדיקה עבור קבצים קשים. התוצאה הטובה ביותר מגיעה ממערכת שיודעת מתי להשתמש במודל קטן יותר, מתי לבקש עיבוד נוסף ומתי לערב אדם. פתרונות השנאים שלנו יכולים לתמוך בתהליך זה באמצעות בחירת מודל, בדיקת עומס עבודה ומעקב אחר עלויות. אתה יכול להתחיל עם זרימת עבודה אחת, להשוות את התוצאות ולהרחיב רק כאשר הנתונים תומכים בשינוי. עלויות AI נמוכות יותר אינן נובעות מבחירה בדגם הקטן ביותר עבור כל בקשה. הם מגיעים משימוש במודל הנכון, הגבלת עבודה חוזרת ומדידת זרימת העבודה המלאה.

בינה מלאכותית יכולה להאיץ את החיפוש, התמיכה, סקירת המסמכים ושירות הלקוחות. זה גם יכול להעלות את חשבונות הענן מהר מהצפוי. ראיתי את אותו דפוס בפרויקטים רבים של בינה מלאכותית: צוות מתחיל עם מודל שנאי גדול, שולח דרכו כל בקשה, ומשלם עבור קיבולת לא מנוצלת, הנחיות חוזרות ונשנות, פלטים ארוכים וזמן GPU לא פעיל. המודל עובד, אך העלות אינה תואמת את הערך של כל בקשה. הגדרה חכמה יותר יכולה להפחית את ההוצאות בעד 30% בעומסי עבודה מסוימים. התוצאה המדויקת תלויה בתעבורה, בגודל הדגם, בחומרה, באורך הפקודה ובאיכות עבודת האופטימיזציה. הנה איך הייתי ניגש לזה. ### 1. למדוד את העלות הנוכחית אני מתחיל בתמונת עלות ברורה במקום לשנות את הדגם באקראי. אני בודק: - עלות לכל בקשה - אסימונים המשמשים לקלט ופלט - שימוש במעבד גרפי או מעבד - זמן תגובה ממוצע - תעבורת שיא - קיבולת סרק - בקשות שמחזירות תוצאות בעלות ערך נמוך - הנחיות חוזרות ושאילתות כפולות דוח פשוט יכול לחשוף לאן הולך הכסף. לדוגמה, עוזר תמיכה עשוי להוציא יותר על הנחיות ארוכות מאשר על התשובה עצמה. ההנחיה עשויה לכלול את אותה מדיניות חברה, רשימת מוצרים והוראות חשבון בכל בקשה. הנתונים האלה נותנים לי יעד עבודה. בלעדיו, חשבון נמוך יותר עשוי להגיע עם תשובות איטיות יותר או איכות נמוכה יותר. ### 2. התאימו לכל משימה את הדגם הנכון דגם שנאי גדול שימושי למשימות קשות, אך בקשות יומיות רבות אינן זקוקות לקיבולת המלאה שלו. אני יכול לנתב בקשות פשוטות למודל קטן יותר: - בדיקת סטטוס הזמנה - חיפושים בקטגוריות מוצרים - סיווג טקסט קצר - זיהוי שפה - מילוי טפסים בסיסי - שאלות חוזרות של לקוחות המודל הגדול יותר יכול להתמודד עם משימות הדורשות חשיבה מעמיקה יותר, כגון ניתוח מסמכים מורכב או מקרי תמיכה מרובי שלבים. גישת ניתוב דגמים זו שומרת על איכות היכן שהיא חשובה ומפחיתה את מספר השיחות היקרות. בקשה לא צריכה את אותו דגם לכל שלב. ### 3. צמצם את גודל ההנחיות ארוכות מגדילות את השימוש באסימונים. הם גם יכולים להפוך את המערכת לאטית יותר. אני בודק את ההנחיה ומסיר: - הוראות חוזרות - דוגמאות ישנות - פרטי מוצר שלא נעשה בהם שימוש - טקסט מדיניות כפול - הקשר שאינו משפיע על התשובה אני שומר על הכללים שמנחים את המודל ומעביר מידע יציב למערכת אחזור טובה יותר. המטרה היא לא לעשות כל הנחיה קצרה. המטרה היא להפוך כל אסימון לשימושי. בוט תמיכת לקוחות עשוי לקבל 4,000 אסימונים לפני שהוא עונה על שאלה שצריכה רק 500. קיצוץ הקלט הזה ל-2,000 אסימונים יכול להוריד את העלות של כל בקשה מבלי לשנות את חווית המשתמש. ### 4. השתמש במטמון לעבודה חוזרת ונשנית מערכות AI רבות מקבלות שאלות דומות במהלך היום. מטמון יכול לאחסן תשובות לבקשות בעלות אותה כוונה ומידע יציב. זה יכול לעזור ב: - שאלות לגבי מדיניות משלוח - שעות עבודה - מפרטי מוצר - מדריכי תהליכים פנימיים - הוראות טכניות נפוצות מידע דינמי עדיין זקוק לבדיקה חדשה. אומדן מסירה, יתרת חשבון או ספירת מלאי לא אמורים להסתמך על תשובה ישנה במטמון. אני מתייחס למטמון כאל תכונה איכותית כמו גם כלי עלות. כללי המטמון חייבים לכלול זמן תפוגה ודרך לרענן מידע כאשר המקור משתנה. ### 5. שליטה באורך הפלט דגמים מסוימים מייצרים תשובות ארוכות יותר ממה שהמשתמשים צריכים. מילים נוספות צורכות אסימונים ומגדילות את זמן התגובה. קבעתי מגבלות פלט מעשיות על סמך המשימה: - משפט אחד לתווית - פסקה קצרה לתגובת תמיכה - רשימה מובנית להשוואת מוצר - תגובה ארוכה יותר רק כאשר המשתמש מבקש פירוט זה לא אומר לכפות כל תשובה לאותו פורמט. מערכת טובה נותנת לדגם מספיק מקום להשלים את המשימה תוך הימנעות מחזרות מיותרות. ### 6. שפר את יעילות ההגשה המודל הוא רק חלק מהחשבון. גם הדרך שבה זה מתנהלת חשובה. אני סוקר: - גודל אצווה - הגדרות קוונטיזציה - ניצול GPU - כללי קנה מידה אוטומטי - שימוש בזיכרון - תורי בקשות - זמן התחלה קרה - קיבולת בתקופות עם תעבורה נמוכה קוונטיזציה יכולה להפחית את צרכי הזיכרון, אך יש לבדוק אותה מול משימות אמיתיות. ירידה קטנה באיכות עשויה להיות מקובלת לסיווג ולא מתאימה לבדיקה משפטית או רפואית. הבחירה הנכונה תלויה במקרה השימוש ובתהליך הבדיקה. קנה מידה אוטומטי יכול לעזור למערכת להתאים את הקיבולת לביקוש. שירות שפועל במלוא התפוקה בשעות שקט עשוי לשלם עבור משאבים שאף אחד לא משתמש בהם. ### 7. איכות מעקב לצד עלות חשבון נמוך יותר אינו תוצאה שימושית אם המערכת יוצרת יותר שגיאות. אני עוקב אחר עלות יחד עם: - שיעור תשובות נכונות - שיעור ביקורת אנושי - שביעות רצון המשתמש - זמן תגובה - בקשות שנכשלו - הסלמות לצוות התמיכה - דוחות הזיות. כל דגם או שינוי הבהרה פועלים נגד הסט הזה לפני השחרור. דוח עלויות עשוי להראות הפחתה של 30%, בעוד שדוח איכות מראה שתשובות חשובות הפכו פחות אמינות. זה לא שיפור גמור. המערכת זקוקה להתאמה נוספת. ### דוגמה לעלות מעשית דמיינו לעצמכם שירות תמיכה בבינה מלאכותית שמטפל ב-100,000 בקשות בכל חודש. הצוות מצא כי: - 40% מהבקשות פשוטות - 25% מכילות תוכן הנחיות חוזרות ונשנות - 15% יכולים להשתמש בתשובות מאוחסנות - קיבולת GPU נשארת לא פעילה בחלק מהיום הצוות מנתב בקשות פשוטות לדגם קטן יותר, מקצר הנחיות חוזרות ונשנות, מוסיף שמירה בטוחה במטמון ומתאים את הקיבולת בהתאם לביקוש. אם החשבון החודשי יורד מ-$10,000 ל-$7,000, החיסכון הוא 30%. דוגמה זו מבוססת על עומס עבודה אפשרי, לא על הבטחה לכל עסק. חיסכון בפועל צריך להימדד לאחר הפריסה. ### תוכנית השקה בטוחה יותר אני מעדיף שינויים קטנים שניתן למדוד. 1. רשום את העלות והאיכות הנוכחית. 2. בחר זרימת עבודה אחת בנפח גבוה. 3. בדוק דגם קטן יותר או הנחיה קצרה יותר. 4. השווה עלות, מהירות ואיכות התשובה. 5. שחרר את השינוי לנתח מוגבל מהתנועה. 6. סקור שגיאות ומשוב משתמשים. 7. הרחב את השינוי כאשר הנתונים תומכים בו. תהליך זה מסייע במניעת טעות נפוצה: שינוי של מספר חלקים של המערכת בבת אחת ואיבוד מעקב אחר מה גרם לתוצאה. תוכנית עלות הבינה המלאכותית הטובה ביותר אינה בחירה בדגם הקטן ביותר או קיצוץ של כל תגובה. מדובר בשליחת הבקשה הנכונה למודל הנכון, תוך שימוש רק בהקשר החשוב, ובדיקת איכות בכל שלב. עם מדידה ברורה ובדיקה קפדנית, צוותים עשויים להוריד את עלויות השנאים בעד 30% בעומסי עבודה מתאימים תוך שמירה על השירות שימושי עבור האנשים המסתמכים עליו.

הוצאות בינה מלאכותיות יכולות לעלות בשקט. צוות מוסיף עוד הנחיות, שולח היסטוריות צ'אט מלאות, משתמש במודל גדול עבור כל משימה, ורואה את החשבון החודשי גדל. יחד עם זאת, המשתמשים עדיין מצפים לתשובות מהירות. גיליתי שהבעיה העיקרית היא רק לעתים רחוקות בקשה אחת יקרה. העלות בדרך כלל מגיעה מבחירות קטנות שחוזרות על פני אלפי בקשות. הפחתה של 30% יכולה להיות אפשרית עבור חלק מהצוותים מבלי להאט את חווית המשתמש. התוצאה תלויה בתעבורה, במחירי הדגמים, בגודל הפקודה ובאופן שבו המערכת מטפלת בבקשות. אין חיסכון קבוע לכל עסק. אני מתחיל בסקירת עלויות פשוטה. עקוב אחר המספרים האלה במשך מחזור חיובים אחד לפחות: - סך כל הבקשות - אסימוני קלט ממוצעים - אסימוני פלט ממוצעים - עלות לדגם - זמן תגובה - שיעור שגיאות וניסיון חוזר - בקשות שצריכות מודל בעל יכולת גבוהה - בקשות שיכולות להשתמש במודל קטן יותר זה נותן לי תצוגה ברורה לאן הולך התקציב. צוותים רבים מגלים שקבוצה קטנה של משימות חוזרות ונשנות יוצרת את רוב העלות. דוגמה שימושית היא עוזר תמיכה שמטפל ב-12,000 בקשות בכל חודש. המערכת שולחת כל שאלה לדגם גדול. כל בקשה כוללת את היסטוריית הלקוח המלאה, מדריך המוצר והנחיות פנימיות. הבקשה הממוצעת עולה כ-$0.08, מה שיוצר חשבון דגם חודשי של כ-$960. סקירה מעשית עשויה להראות כי: - 55% מהשאלות הן שאילתות חשבון או מוצר פשוטות - 25% זקוקים לחיפוש מסמכים - 15% זקוקים לתשובה מפורטת - 5% זקוקים לביקורת אנושית. שליחת כל 12,000 הבקשות לאותו דגם היא לעתים נדירות הכרחית. אני מפריד את התנועה לפי משימה. דגם קטן יותר יכול להתמודד עם שאלות קצרות כגון: - "איך אני מאפס את הסיסמה שלי?" - "איפה אני יכול למצוא את החשבונית שלי?" - "איזה סוגי קבצים אתה מקבל?" מודל חזק יותר יכול להתמודד עם מסמכים ארוכים, בקשות לא ברורות והנמקות רב-שלביות. אדם יכול לסקור מקרים רגישים או חריגים. ניתוב מודל זה יכול להוזיל עלות תוך שמירה על אותה רמת שירות עבור בקשות מורכבות. אני לא שופט דגם לפי המחיר בלבד. אני משווה את איכות התשובה, זמן התגובה ומספר הניסיונות החוזרים שהיא יוצרת. הגודל המהיר משפיע גם על החשבון. מערכות רבות מצמידות את אותו בלוק הוראות גדול לכל בקשה. אני מצמצם את החומר הזה על ידי: - הסרת כללים חוזרים - העברת מידע קבוע למאגר ידע ניתן לחיפוש - שליחת רק את קטע המסמכים הרלוונטי - שמירה על היסטוריית לקוחות במגבלה שימושית - החלפת דוגמאות ארוכות בדוגמאות קצרות - הפרדת הוראות מערכת מנתוני המשימה הנחיה קצרה יותר יכולה גם לשפר את זמן התגובה מכיוון שלמודל יש פחות תוכן לעיבוד. המטרה היא לא להסיר הקשר שימושי. המטרה היא להסיר הקשר שלא עוזר לענות על השאלה הנוכחית. שמירה במטמון יכולה להתמודד עם בקשות חוזרות ונשנות. אם משתמשים רבים שואלים את אותה שאלת מוצר, המערכת לא צריכה ליצור תשובה חדשה בכל פעם. אני מאחסן תשובות מאושרות לשאלות יציבות ומגדיר תקופת בדיקה למידע שעשוי להשתנות. לדוגמה, מדיניות משלוח עשויה להישאר ללא שינוי למשך מספר שבועות. מחיר מוצר עשוי להשתנות מדי יום. שני סוגי המידע הללו זקוקים להגדרות מטמון שונות. אני גם מאחסן תוצאות מסמכים משותפות כאשר מספר בקשות מחפשות באותו מקור. זה מפחית עבודה כפולה תוך מתן אפשרות לתשובה הסופית להתאים לשאלת המשתמש. אצווה מסייעת במשימות שאינן דורשות תשובה מיידית. יצירת דוחות, תיוג דואר אלקטרוני, תיוג מסמכים וניקוי נתונים יכולים לרוב לפעול בקבוצות. צוות יכול לאסוף את המשימות הללו ולעבד אותן במרווחי זמן מוגדרים במקום לשלוח כל פריט כבקשה חיה נפרדת. גישה זו אינה מתאימה לצ'אט חי. זה יכול להתאים לעבודת רקע שבה עיכוב קצר לא משפיע על הלקוח. ניסיונות חוזרים ראויים לתשומת לב רבה. בקשה שנכשלה עשויה להישלח שוב פעמיים או שלוש. זה מעלה את העלות ויכול לגרום למערכת להרגיש איטית יותר. אני בודק את הסיבה לכל ניסיון חוזר: - שגיאת רשת זמנית - פסק זמן של בקשה - פורמט תגובה לא חוקי - תגובת מסנן תוכן - כשל בכלי - תכנון לקוי של הנחיות מגבלת ניסיון חוזר, טיפול ברור בשגיאות ופלט מובנה יכולים למנוע שיחות חוזרות. המערכת לא צריכה להמשיך לבקש מאותו דגם את אותה התשובה כאשר הבעיה האמיתית היא כלי שבור או נתונים לא חוקיים. מהירות ועלות משתפרים לעתים קרובות יחד כאשר זרימת העבודה פשוטה יותר. אני מסיר שיחות מיותרות כגון: 1. סיווג בקשה עם דגם אחד 2. שכתובה עם דגם שני 3. חיפוש מסמכים עם שיחה שלישית 4. יצירת תשובה בשיחה רביעית יש משימות שצריכות מספר שלבים. חלקם לא. אני בודק אם שתי שיחות יכולות להחליף ארבע מבלי להפחית את איכות התשובה. תהליך בדיקה מעשי נראה כך: - בחר 100 עד 300 בקשות נציג - רשום את העלות הנוכחית וזמן התגובה - צור זרימת עבודה בעלות נמוכה יותר - השוואת דיוק תשובות ושביעות רצון המשתמש - בדוק מקרי קצה ובקשות רגישות - פרסם את השינוי לקבוצת תעבורה קטנה - סקור את התוצאות לפני שימוש רחב יותר. בקרת עלויות לא אמורה ליצור בעיית תמיכה חדשה. הפחתה לדוגמה עשויה להיראות כך: - ניתוב דגם: עלות נמוכה יותר ב-15% - הנחיות קצרות יותר: עלות נמוכה יותר ב-8% - שמירה במטמון של תשובות חוזרות: עלות נמוכה יותר ב-5% - פחות ניסיונות חוזרים: עלות נמוכה יותר ב-3% נתונים אלה הם דוגמאות, לא הבטחה. חיסכון מכל שינוי יכול לחפוף, אז אני מחשב את הסכום הכולל לאחר בדיקה במקום להוסיף כל אחוז ביחד. הצוות צריך גם בדיקת איכות. אני עוקב אחר: - נכונות - מידע חסר - טון - זמן תגובה - קצב הסלמה - תלונות לקוחות - תוצאות סקירה אנושית תשובה זולה יותר שיוצרת יותר כרטיסי תמיכה אינה חיסכון אמיתי. אני מעדיף הפחתה מדודה עם שירות יציב על פני קיצוץ גדול שפוגע באמון. ההשקפה שלי פשוטה: בקרת עלויות בינה מלאכותית פועלת בצורה הטובה ביותר כשהיא מתחילה בניתוח תעבורה, לא עם מתג מודל נמהר. השתמש במודל קטן יותר שבו המשימה מאפשרת זאת, שמור על מיקוד הנחיות, השתמש שוב בתוצאות יציבות ושמור עיבוד בעלויות גבוהות יותר לבקשות שבאמת זקוקות לכך. גישה זו נותנת לצוות דרך ברורה להורדת הוצאות תוך שמירה על מהירות ואיכות התשובה בבדיקה.

צוותים רבים רוצים תוצאות AI חזקות יותר מבלי לראות את חשבונות ה-API עולים עם כל הנחיה. הבעיה היא לעתים קרובות לא כמה AI משתמשת בחברה. כך כל משימה מוקצית למודל. תוכנית פשוטה לניתוב מודל יכולה לעזור לשלוט בעלויות AI תוך שמירה על איכות יציבה. אני שולח עבודה מורכבת למודל בעל יכולת גבוהה ומנתב משימות שגרתיות לאפשרות בעלות נמוכה יותר. זה יכול להפחית הוצאות מבוזבזות, וחלק מהצוותים עשויים לראות חיסכון של קרוב ל-30%, בהתאם לדפוסי השימוש. ## בעיית העלות מודל בודד משמש לעתים קרובות לכל בקשה: - מיון הודעות לקוח - טיוטות תיאור מוצר - מיצוי נתונים - סקירת קוד - סיכומי מחקר - ניתוח עסקי מורכב משימות אלו אינן זקוקות לאותה רמת עיבוד. בקשת סיווג קצרה עשויה לעבוד היטב עם דגם קטן יותר. סקירת מסמכים משפטיים או ניתוח טכני מפורט עשוי להזדקק למודל חזק יותר. כאשר כל בקשה עוברת לאותו דגם יקר, החברה עשויה לשלם עבור קיבולת גבוהה יותר ממה שהמשימה דורשת. ## המהלך החכם: נתב משימות לפי קושי אני משתמש במבנה פשוט בן שלוש רמות. ### משימות שגרתיות אלה כוללות: - מיון כרטיסי תמיכה - זיהוי כוונת ההודעה - חילוץ שמות, תאריכים ומספרי הזמנה - שכתוב טקסט קצר - יצירת תגי מוצר פשוטים מודל בעלות נמוכה יותר יכול לעתים קרובות להתמודד עם עבודה זו כאשר פורמט ההנחיה והפלט ברורים. ### משימות סטנדרטיות אלה כוללות: - כתיבת תשובות מלקוחות - סיכום דוחות - יצירת טיוטות של מסע פרסום - השוואת תכונות המוצר - יצירת הערות פנימיות מודל בינוני עשוי לספק איזון טוב בין עלות ואיכות פלט. ### משימות מורכבות אלה כוללות: - ניתוח רב-שלבי - תכנון טכני - סקירת מסמכים ארוכה - איתור באגים בקוד - החלטות עסקיות הדורשות יותר הקשר בקשות אלו יכולות להישלח למודל בעל יכולת גבוהה יותר. המטרה היא לא להימנע מדגמים חזקים יותר. המטרה היא להשתמש בהם במקום בו הם מוסיפים ערך. ## דוגמה לעלות מעשית תארו לעצמכם שצוות תמיכה שולח 100,000 בקשות בינה מלאכותית בכל חודש. בסביבות 70,000 בקשות רק מסווגות הודעות או מחלצות פרטים בסיסיים. 30,000 הנותרים דורשים תשובות ארוכות יותר או ניתוח מעמיק יותר. אם כל הבקשות משתמשות במודל בעלויות גבוהות, ייתכן שהחשבון החודשי יהיה גדול מהנדרש. הצוות יכול לבדוק את ההגדרה הזו: 1. נתב בקשות בסיסיות למודל בעלות נמוכה יותר. 2. שמור בקשות סטנדרטיות על דגם בינוני. 3. לשלוח בקשות מורכבות לדגם החזק יותר. 4. סקור מדגם של תפוקות בכל שבוע. 5. העבר משימות בין קבוצות כאשר האיכות משתנה. אם העלות החודשית המקורית היא 10,000$, הפחתה של 30% תביא אותה לכ-7,000$. התוצאה בפועל תלויה בנפח האסימון, מחירי המודל, אורך ההנחיות, אורך הפלט ומספר הבקשות שצריכות עיבוד חזק יותר. את החיסכון יש למדוד, לא להניח. ## איך אני מגדיר ניתוב מודל ### מפה את עומס העבודה הנוכחי. אני אוסף שבוע או שבועיים של נתוני בקשה ורושם: - סוג בקשה - אורך קלט - אורך פלט - מודל בשימוש - זמן תגובה - שיעור שגיאות - שיעור תיקון אנושי - עלות לכל בקשה זה מראה לאן הולך התקציב. צוות עשוי לגלות שבקשות קצרות וחוזרות על עצמן אחראיות לרוב השימוש בו. ### צור כללי ניתוב ברורים הכללים יכולים להישאר פשוטים: - בקשת סיווג קצרה ← מודל בעלות נמוכה יותר - בקשת כתיבה רגילה ← מודל בינוני - בקשת ניתוח מורכבת ← מודל חזק יותר - תגובה בעלת אמון נמוך → שלח למודל חזק יותר או לבודק אנושי בדיקת ביטחון יכולה להשתמש בציון, מבחן שטח נדרש או סקירה של פורמט התגובה של המודל. ### בדיקת איכות הפלט בקרת עלויות לא אמורה להפחית את איכות שירות הלקוחות. אני משווה תשובות מדגמים שונים מול אותו סט של בקשות. הסקירה יכולה לבדוק: - דיוק - טון - שלמות - עיצוב - תאימות למדיניות - זמן עריכה אנושי תגובה זולה יותר הדורשת תיקון כבד עלולה לא ליצור חיסכון אמיתי. ### עקוב אחר המספרים הנכונים לוח מחוונים שימושי יכול להראות: - עלות לכל 1,000 בקשות - אסימונים ממוצעים לבקשה - עלות לפי סוג משימה - קצב הסלמה - זמן תיקון אנושי - איכות תגובת הלקוח המספרים הללו מקלים על ההחלטה. אם מודל בעלות נמוכה יותר מטפל במשימה היטב ומצמצם את זמן הבדיקה, זה עשוי להתאים. אם לא, המשימה יכולה לעבור לדגם אחר. ## דוגמה לעסק קטן קמעונאי מקוון בן חמישה אנשים השתמש בבינה מלאכותית כדי לענות על שאלות מוצר ולארגן הודעות תמיכה. הצוות שלח כל בקשה לדגם אחד מכיוון שההגדרה הייתה קלה לניהול. לאחר בחינת הנתונים שלו, הצוות גילה שרוב הבקשות כללו קטגוריות מוצרים, שאלות משלוח ופרטי הזמנה. רק קבוצה קטנה יותר נזקקה לתשובה מפורטת. הקמעונאי יצר שלושה מסלולים: - פרטי הזמנה בסיסיים ← מודל בעלות נמוכה יותר - שאלות מוצר ← מודל בינוני - תלונות ובקשות מורכבות ← מודל חזק יותר עם סקירה אנושית לאחר מכן הצוות השווה את איכות התגובה במשך שבועיים. הוא שמר על תוכנית הניתוב החדשה לאחר שראה הוצאות נמוכות יותר של מודלים וללא עלייה ברורה בתיקוני הלקוחות. התוצאה הגיעה מהתאמת הכלי למשימה, לא מהסרת תכונות AI. ## טעויות נפוצות שיש להימנע משימוש במודל אחד לכל בקשה יכול להעלות עלויות מבלי לשפר את התוצאות. שליחת היסטוריית צ'אט ארוכה עם כל הנחיה יכולה גם להגדיל את השימוש באסימונים. אני מסיר הקשר שאינו בשימוש, מתמקד בהוראות ומאחסן מידע חוזר בפורמט מובנה. קיצוץ בעלויות ללא בדיקות איכות יוצר סיכון נוסף. דגם עשוי לייצר תשובה זולה יותר שאינה מלאה, לא ברורה או לא מתאימה ללקוח. אני גם נמנע משינוי של כמה חלקים של המערכת בבת אחת. כאשר כללי המודל, הנחיה, זרימת העבודה וכללי הביקורת משתנים ביחד, קשה לזהות מה גרם לתוצאה. ## תוכנית פשוטה להתחיל - רשום את 10 משימות ה-AI המובילות לפי שימוש חודשי. - קבץ אותם לפי קושי. - בדוק מודל בעלות נמוכה יותר בעבודה שגרתית. - שמור מדגם סקירה לבדיקות איכות. - מעקב אחר עלות וזמן תיקון למשך שבועיים. - התאם את כללי הניתוב על סמך הנתונים. הפחתת עלויות בינה מלאכותית אינה דורשת שירות חלש יותר. תוכנית ניתוב מבוססת משימות יכולה לתת לכל בקשה את רמת העיבוד שהיא זקוקה לה, בזמן שהצוות שומר על שליטה על איכות, פרטיות והוצאות. השאלה הכי שימושית היא לא "באיזה דגם עלינו להשתמש לכל דבר?" זה "איזה דגם מתאים למשימה הזו?" רוצה ללמוד עוד? אל תהסס ליצור קשר עם איימי וו: amy.wu@ihuagroup.com/WhatsApp +8613612662976.

Ashish Vaswani, 2017, Attention Is All You Need Jared Kaplan, 2020, Scaleing Laws for Neural Language Models Jordan Hoffmann, 2022, Training Compute-Optimal Large Language Models Tim Dettmers, 2022, LLM.int8: 8-Bit Matrix Multiplication for Transformers at Scale2022o, A Scale2022o. תשומת לב מדויקת חסכונית בזיכרון עם IO-Awareness Song Han, 2016, דחיסה עמוקה: דחיסה של רשתות עצביות עמוקות עם גיזום, קוונטיזציה מאומנת וקידוד האפמן