דילמת האנרגיה של AI: האם LLMs יכולים לייעל את צריכת החשמל שלהם?

כאשר OpenAI השיקה את ChatGPT בסוף 2022, זה עורר גם עונג וגם דאגה. AI גנרטיבי הוכיח פוטנציאל מדהים - יצירת מאמרים, פתרון בעיות קידוד ואפילו יצירת אמנות. אבל זה גם עורר אזעקות בקרב אנשי איכות הסביבה, חוקרים וטכנולוגים. הדאגה הכי גדולה? צריכת האנרגיה המסיבית הנדרשת כדי להכשיר ולהפעיל מודלים של שפה גדולה (LLM), מעוררת שאלות לגבי קיימותם ארוכת הטווח.

ככל ש-LLM ממשיכים לעצב מחדש תעשיות כמו חינוך ושירותי בריאות, אי אפשר להתעלם מההשפעה שלהם. מאמר זה מעלה שאלה חשובה: האם המערכות החכמות הללו יכולות לייעל את עצמן כדי להפחית את צריכת החשמל ולמזער את טביעת הרגל הסביבתית שלהן? ואם כן, כיצד זה עשוי לשנות את נוף הבינה המלאכותית?

אנו נפרק את אתגרי האנרגיה של תכניות LLM, מאימון להסקת מסקנות, ונחקור אסטרטגיות חדשניות לכוונון עצמי שיכולות להפוך את הבינה המלאכותית לבר-קיימא יותר.

הבנת אתגר האנרגיה של AI

אימון מול מסקנות

ההכשרה של גוגל במודלים גדולים של שפה כמו GPT-4 או PaLM דורשת כמות עצומה של משאבי חישוב. לדוגמה, אימון GPT-3 לקח אלפי GPUs פועלים במשך שבועות, וצרכו אנרגיה כמו מאות משקי בית בארה"ב בשנה. טביעת הרגל הפחמנית תלויה בתמהיל האנרגיה המניע את מרכזי הנתונים. גם לאחר האימון, שלב ההסקה - שבו מודלים מטפלים במשימות בעולם האמיתי - מוסיף לשימוש באנרגיה. למרות שהאנרגיה הנדרשת עבור שאילתה בודדת היא קטנה, כאשר אנו לוקחים בחשבון שיש מיליארדי אינטראקציות כאלה המתרחשות על פני פלטפורמות שונות מדי יום, היא הופכת לבעיה משמעותית.

מדוע לימודי תואר שני צורכים כל כך הרבה אנרגיה?

• גודל דגם: ה-LLM של היום רגישים לפרמטרים; יש להם מיליארדי או אפילו טריליונים של פרמטרים שדורשים הרבה משאבים לעיבוד, עדכון ואחסון.

  
  

• אילוצי חומרה: השימוש בשבבים מבוססי סיליקון מוגבל על ידי יכולות העיבוד שלהם ולפיכך הצורך באשכולות של GPUs או TPUs כדי להגדיל את השימוש באנרגיה באופן אקספוננציאלי.

• צורכי קירור: מרכזי נתונים התומכים בעומסי עבודה חישוביים גבוהים הם חמים ומערכות הקירור יכולות לצרוך עד 40% מהחשמל אם הן אינן חסכוניות באנרגיה.

אגרה סביבתית וכלכלית

העלויות מבחינת איכות הסביבה כוללות את פליטת הפחמן וכן את צריכת המים בקירור בעוד שההוצאות התפעוליות מהוות בעיה עבור חברות ה-AI הקטנות יותר. העלויות השנתיות עשויות להגיע למיליארדים, מה שהופך את הקיימות לנושא חשוב לא רק סביבתי אלא גם כלכלי.

פירוט צריכת אנרגיה של דגם AI

כדי להבין כיצד LLMs צורכים אנרגיה, בואו נפרט אותה:

אסטרטגיות לאופטימיזציה עצמית

חוקרים בוחנים כיצד LLMs יכולים לייעל את השימוש באנרגיה שלהם, תוך שילוב של עבודת תוכנה עם שינויים בחומרה.

גיזום מודל וקונטיזציה

• גיזום: פרמטרים מיותרים המשפיעים על הדיוק במידה מוגבלת מוסרים, וכתוצאה מכך הקטנת גודל הדגם מבלי לפגוע ברמת הדיוק.
• קוונטיזציה: זה מפחית את הדיוק (למשל, מ-32 סיביות ל-8 סיביות) של הנתונים, מה שמפחית את דרישות הזיכרון והחישוב.

קוונטיזציה וגיזום שימושיים אך כאשר משתמשים בהם עם לולאות משוב שבהן מודל מסוגל לקבוע אילו חלקים הם חיוניים ואילו חלקים ניתן לכימות אז זה הופך להיות יעיל למדי. זהו תחום חדש, אבל הפוטנציאל קיים ברשתות אופטימיזציה עצמית.

היסק דינמי (חישוב מותנה)

הרעיון של חישוב מותנה מאפשר למודלים להשתמש רק באותם נוירונים או שכבות שרלוונטיים למשימה נתונה. לדוגמה, גישת Mixture-of-Experts (MoE) של גוגל מחלקת את הרשת לתת-רשתות מיוחדות המשפרות את ההדרכה והפחתת צריכת האנרגיה על ידי הגבלת מספר הפרמטרים הפעילים.

למידת חיזוק לכיוונון

למידת חיזוק יכולה לייעל פרמטרים כמו קצב למידה וגודל אצווה, איזון דיוק וצריכת אנרגיה כדי להבטיח שהמודלים פועלים ביעילות.

אופטימיזציה מרובת מטרות

בנוסף לאופטימיזציה לדיוק, LLMs יכולים גם לבצע אופטימיזציה למטרות אחרות: דיוק, חביון וצריכת חשמל, באמצעות כלים כגון Google Vizier או Ray Tune. לאחרונה, התייעלות אנרגטית הפכה ליעד מכריע במסגרות אלו.

חידושי חומרה ועיצוב משותף של AI

• מעגלים משולבים ספציפיים ליישום (ASICs): שבבים למטרות מיוחדות לשיפור היעילות בביצוע משימות AI.
• מחשוב נוירומורפי: שבבים בהשראת המוח, עדיין בפיתוח כדי למזער את צריכת החשמל בעת ביצוע חישובי רשת עצבית נמצאים בפיתוח.
• מחשוב אופטי: חישוב באמצעות אור יכול להתגבר על מגבלות המערכת האלקטרונית כדי להקטין את צריכת החשמל של המערכת.

מערכות בינה מלאכותית שנוצרו באמצעות תכנון משותף של חומרה עם תוכנה מאפשרות התאמה בו-זמנית של אלגוריתמי תוכנה ומשאבי חומרה.

השוואת טכניקות אופטימיזציית אנרגיה בינה מלאכותית

מודלים עתידיים של AI כנראה ישלבו מספר טכניקות כדי להשיג הפחתת אנרגיה כוללת של 60-70%.

אתגרים למיטוב עצמי של AI

• פשרות דיוק : תכונות מסוימות, כגון גיזום וכימות, עשויות לפגוע מעט ברמת הדיוק.
• מגבלות תשתית של מרכז נתונים: אנחנו עדיין פועלים תחת ההנחה של הסתמכות על שבבי סיליקון לא יעילים.
• פערי ביצועי אנרגיה: אין כיום תקן אוניברסלי למעקב אחר יעילות אנרגטית.
• רגולציה ממשלתית: כללי קיימות קפדניים עשויים לכפות על אימוץ מודלים יעילים.

השלכות עתידיות

LLMs לאופטימיזציה עצמית יכולים להפחית את צריכת האנרגיה ב-20% או יותר עבור מיליארדי שאילתות, מה שיוביל לחיסכון עצום בעלויות ובפליטה. זה עולה בקנה אחד עם יעדי אפס נטו העולמיים ומשפיע על מספר מגזרים:

• ארגונים : לימודי LLM חסכוניים באנרגיה יכולים להגביר את החשיפה בשירות לקוחות ובניתוח.
• מחקר : יוזמות קוד פתוח כמו Hugging Face עשויות להאיץ את החדשנות.
• מדיניות : תקנים לשקיפות אנרגטית יכולים לדחוף אופטימיזציה עצמית כנורמה.

מַסְקָנָה

LLMs הביאו רמה חדשה של תחכום בעיבוד השפה, אך בעיית צריכת האנרגיה שלהם היא דאגה גדולה. עם זאת, אותו מודיעין שהוליד את המודלים הללו מספק את הפתרון. טכניקות כמו גיזום, קוונטיזציה, חישוב מותנה ותכנון משותף של חומרה מצביעות על כך שניתן לתכנן LLMs המנהלים את צריכת האנרגיה שלהם בעצמם. ככל שהמחקר מתקדם, הסוגיה הופכת פחותה האם AI בר קיימא אפשרי ויותר של כמה מהר תעשיית הטכנולוגיה יכולה להתאחד כדי להשיג זאת - מבלי לוותר על חדשנות למען הסביבה.

הפניות

1. בראון, T., et al. (2020). "מודלים של שפה הם לומדים מעטים". התקדמות במערכות עיבוד מידע עצבי , 33, 1877-1901. (מקור היפותטי לנתוני אימון GPT-3.)
2. Strubell, E., Ganesh, A., & McCallum, A. (2019). "שיקולי אנרגיה ומדיניות ללמידה עמוקה ב-NLP." הליכים של האסיפה השנתית ה-57 של ACL , 3645-3650. (מקור המחשה על עלויות האנרגיה של AI.)
3. Fedus, W., et al. (2021). "Switch Transformers: קנה מידה לטריליון דגמי פרמטרים עם דלילות פשוטה ויעילה." arXiv preprint arXiv:2101.03961 . (בסיס לדיון בתמהיל של מומחים.)
4. Patterson, D., et al. (2021). "פליטת פחמן והדרכה ברשת עצבית גדולה." arXiv preprint arXiv:2104.10350 . (מקור להערכות אנרגיית אימון.)
5. מחקר של גוגל. (2023). "ויזיר: שירות לאופטימיזציה של Black-Box." בלוג בינה מלאכותית של גוגל . (הפניה לכלי המחשה.)