برنامه‌های هوش مصنوعی مولد در ساخت تصاویر بصری با جزئیات چشمگیر از ورودی‌های متن بهتر و بهتر شده‌اند؛ اما محققان دانشگاه اوزاکای ژاپن گام بزرگی به جلو برداشته‌اند.

آن‌ها از هوش مصنوعی برای بازسازی تصاویر دقیق و با وضوح بالا از فعالیت مغز انسان‌ها استفاده کردند که هنگام تماشای تصاویر مقابل آن‌ها ایجاد می‌شود.

تیمی در مقاله جدید دانشکده فارغ التحصیل علوم زیستی مرزی اوزاکا، نحوه استفاده از Stable Diffusion، یک برنامه محبوب تولید تصویر هوش مصنوعی را برای ترجمه فعالیت مغز به بازنمایی بصری مربوطه شرح می‌دهد.

اگرچه قبلا آزمایش‌های تصویری شبیه به رایانه‌ای بسیاری وجود داشته است، این آزمایش اولین آزمایشی است که از انتشار پایدار استفاده می‌کند.

برای آموزش سیستم اضافی، محققان هزاران توصیف متنی عکس‌ها را به الگو‌های مغزی داوطلبان که هنگام مشاهده تصاویر از طریق تصویربرداری تشدید مغناطیسی عملکردی شناسایی شده بود، مرتبط کردند.

سطح جریان خون در مغز بسته به نواحی در حال فعال شدن در نوسان است. برای مثال، خونی که به لوب گیجگاهی انسان می‌رود، به رمزگشایی اطلاعات مربوط به محتوای یک تصویر، یعنی اشیاء، افراد و محیط اطراف کمک می‌کند. در حالی که لوب پس سری ویژگی‌های ابعادی مانند پرسپکتیو، مقیاس و موقعیت را کنترل می‌کند. یک مجموعه داده آنلاین موجود از اسکن‌های fMRI که توسط چهار انسان که به بیش از ۱۰۰۰۰ تصویر نگاه می‌کردند، به Stable Diffusion و به دنبال آن توضیحات متنی و کلمات کلیدی تصاویر وارد شد. این به برنامه اجازه داد تا بیاموزد چگونه فعالیت مغز قابل اجرا را به بازنمایی‌های بصری ترجمه کند.

برای مثال، در طول آزمایش، یک انسان به تصویر یک برج ساعت نگاه کرد. فعالیت مغز ثبت شده توسط fMRI با آموزش کلمات کلیدی قبلی Stable Diffusion مطابقت داشت، سپس کلمات کلیدی را به ژنراتور متن به تصویر موجود خود وارد کرد. از آن جا، یک برج ساعت بازسازی شده بر اساس چیدمان لوب اکسیپیتال و اطلاعات پرسپکتیو جزئیات بیشتر شد تا یک تصویر نهایی و چشمگیر شکل بگیرد.

از هم‌اکنون، تولید تصویر Stable Diffusion تقویت‌شده تیم فقط به پایگاه داده تصاویر چهار نفره محدود می‌شود، آزمایش‌های بیشتر به اسکن‌های مغزی آزمایش‌کنندگان اضافی برای اهداف آموزشی نیاز دارد.

با این اوصاف، پیشرفت‌های پیشگامانه این تیم در زمینه‌هایی مانند علوم اعصاب شناختی نویدبخش است. حتی یک روز می‌تواند به محققان کمک کند تا چگونگی درک سایر گونه‌ها از محیط اطراف خود را بررسی کنند.

منبع: popsci