מבוא
הפקת תמונות באמצעות בינה מלאכותית מודרנית מקורה בפריצות הדרך בתחום הלמידה העמוקה באמצע שנות ה-2010. החל משנת 2014, החלו חוקרים לפתח רשתות נוירונים המייצרות תמונות חדשות לחלוטין, במקום רק לזהות אותן. המודלים הגנראטיביים העמוקים המוקדמים יכלו לייצר רק תוצאות קטנות ומטושטשות, אך התקדמות מהירה הביאה עד מהרה ליצירת תמונות פוטוריאליסטיות ברזולוציה גבוהה לפי דרישה.
מאמר זה מתאר את ההיסטוריה האקדמית של יצירת תמונות באמצעות בינה מלאכותית בעידן הלמידה העמוקה – מהופעתן של רשתות גנראטיביות יריבות (GAN) ב-2014 ועד למודלים הדיפוזיים החזקים של ימינו, המסוגלים לצייר תמונות על סמך הנחיה טקסטואלית פשוטה. לאורך הדרך, נראה כיצד איכות המודלים, הרזולוציה, השליטה הסמנטית והנגישות השתפרו באופן דרמטי, והובילו למהפכה בתחום הבינה המלאכותית היצירתית.
GANs: רשתות גנראטיביות-יריבות מובילות מהפכה (2014)
- הוצגו על ידי Ian Goodfellow et al. בשנת 2014.
- גנרטור ומבדיל בלולאת אימון יריבה.
- הדגמים הראשונים יצרו תמונות ברזולוציה נמוכה (למשל, 32x32).
- DCGAN (2015) הציג ארכיטקטורות קונבולוציוניות.
- Progressive GAN (2017) איפשר סינתזה של תמונות ברזולוציה גבוהה (1024×1024).
- BigGAN (2018): GANs מותנים-סוג שהוכשרו ב-ImageNet.
- מגבלות עיקריות: קריסת מצב, חוסר יציבות באימון.
VAE ומודלים אוטוריגרסיביים ברמת פיקסל (2014–2016)
- מפענחים אוטומטיים וריאציוניים (VAE) מאת Kingma & Welling (2013): מרחב סמוי הסתברותי + טריק של פרמטריזציה מחדש.
- יתרונות: אימון יציב, מרחב סמוי ניתן לפרשנות.
- חסרונות: תוצאות תמונה מטושטשות.
- PixelRNN / PixelCNN (2016): מודלים אוטוריגרסיביים של פיקסלים.
- יצירה איטית ביותר, אך הערכת צפיפות טובה.
StyleGAN ו-GAN Refinements (2017–2019)
- StyleGAN מאת Karras et al. (2018–2019):
- מרחב סמוי ביניים + בקרת סגנון לכל שכבה.
- הפרדה בלתי מפוקחת של תכונות סמנטיות (למשל, תנוחה, חיוך).
- סינתזת פנים 1024×1024 פוטוריאליסטית ביותר.
- StyleGAN2 (2020): שיפור באיכות התמונה וביציבות האימון.
- חידושים נוספים: Wasserstein GAN (WGAN), WGAN-GP.
VQ-VAE ו-Transformers (2017–2021)
- VQ-VAE (2017): תמונה → אסימונים דיסקרטיים באמצעות קוד.
- מאפשר שימוש ב-transformers למודלים של רצפי תמונות.
- VQ-VAE-2 (2019): סמויים היררכיים רב-קנה-מידה.
- Image GPT (2020): טרנספורמרים אוטוריגרסיביים על רצפי פיקסלים.
- DALL·E (2021) מאת OpenAI:
- טרנספורמטור בסגנון GPT על טוקנים של טקסט + תמונה.
- מייצר תמונות בגודל 256×256 מתוך הנחיות בשפה טבעית.
VQ-GAN: שילוב בין טרנספורמרים ולמידה יריבה (2021)
- VQ-GAN (2021): משלב בין VQ-VAE + GAN loss.
- המפענח מפיק תמונות חדות יותר מאשר VQ-VAE רגיל.
- משמש בצינורות ייצור מונחי CLIP.
מודלים דיפוזיים תופסים את ההובלה (2020–2022)
- DDPM (Ho et al., 2020): מודלים הסתברותיים לדיפוזיה עם הסרת רעש.
- מתחילים מרעש → מסירים רעש שלב אחר שלב.
- נאמנות תמונה גבוהה, ללא חוסר יציבות באימון יריב.
- דיפוזיה מונחית מסווג וארכיטקטורות משופרות (Nichol & Dhariwal, 2021).
- תוצאות יציבות ומגוונות יותר מאשר GANs.
תנופת יצירת תמונות מטקסט (2021–2022)
DALL·E 2 (2022)
- יצירה מבוססת דיפוזיה + הנחיית CLIP.
- רזולוציה 1024×1024, מילוי, וריאציות מיידיות.
- קפיצת מדרגה משמעותית בתחום הפוטוריאליזם והשליטה הסמנטית.
Google Imagen (2022)
- משתמש במודל השפה T5 להבנה טובה יותר של טקסט.
- ארכיטקטורת מודל דיפוזיה סמויה.
- מוביל במדדי העדפות אנושיות.
Midjourney (2022–)
- מעבדת מחקר עצמאית.
- דורות בסגנון אמנותי, פופולריים מאוד בתעשיות היצירתיות.
Stable Diffusion (2022)
- מודל דיפוזיה סמוי בקוד פתוח מאת CompVis + Stability AI.
- פועל על מעבדי GPU צרכניים (~2.4GB VRAM).
- גישה דמוקרטית ליצירת טקסט לתמונה באיכות גבוהה.
מגמות וחידושים עיקריים
איכות תמונה ורזולוציה
- מכתמים מטושטשים בגודל 32×32 (2014) → פוטוריאליזם בגודל 1024×1024 (2022).
- GANs: הקפיצה הגדולה הראשונה באיכות.
- מודלים דיפוזיים: גיוון וחדות טובים יותר.
בקרה סמנטית
- GANs: עריכות במרחב סמוי ותוויות קטגוריות.
- DALL·E/Imagen: התניה מלאה של טקסט.
- מילוי, עריכה ויצירת קומפוזיציה.
נגישות
- משימוש במעבדה בלבד לשימוש עולמי:
- כלים בקוד פתוח (למשל, Stable Diffusion).
- אפליקציות אינטרנט ו-API.
- יוצרים ואנשים שאינם מתכנתים משתמשים כעת באופן פעיל ב-AI גנראטיבי.
מסקנה
מ-GANs ב-2014 ועד להפצת טקסט-לתמונה בקוד פתוח ב-2022, יצירת תמונות באמצעות בינה מלאכותית הפכה מסקרנות אקדמית לכלי יצירתי נפוץ. התחום התפתח באמצעות:
- ריאליזם מבוסס GAN,
- הבנה סמנטית מונעת על ידי טרנספורמר,
- מודלים דיפוזיים המאפשרים איכות תמונה ובקרה חסרות תקדים.
הכיוונים העתידיים כוללים יצירת וידאו, יצירת נכסים תלת-ממדיים ושילוב הדוק יותר עם מערכות שפה ומולטימודליות. קצב החדשנות מצביע על כך שהדור הבא של הבינה המלאכותית החזותית יהיה עוד יותר סוחף, אינטראקטיבי ונגיש.