جایزه نوبل فیزیک ۲۰۲۴ چهارم اکتبر ۲۰۲۴ اعلام شد و امسال این جایزه به پروفسور جان هاپفیلد و پروفسور جُفری هینتون اهدا شد. اما اینبار موضوع کمی متفاوت است؛ بهجای اکتشافات معمول درباره دنیای طبیعی، این جایزه برای چیزی کمی مصنوعیتر اهدا شد و بنیاد نوبل نیز در بیانیه مطبوعاتی خود درباره نوبل فیزیک اعلام کرد: «برای اکتشافات و اختراعات بنیادی که یادگیری ماشینی را به کمک شبکههای عصبی مصنوعی، ممکن ساختند.»
دو مدل یادگیری ماشینی (ML) برجسته شدند: شبکه هاپفیلد و ماشین بولتزمن. این ممکن است برخی را شگفتزده کند؛ چون انگار به نظر میرسد یادگیری ماشینی چندان نسبتی با فیزیک نداشته باشد اما بسیاری از مفاهیم بنیادی یادگیری ماشینی اولیه از سیستمهای مرتبط با فیزیک الهام گرفتهاند.
اهمیت این جایزه چیست؟
به نظرم این جایزه به پیشرفتهای اخیر در هوش مصنوعی مولد (در تولید متن/تصویر/ویدئو) اشاره دارد و یادآوری میکند که پایههای این مدلهای مدرن ریشه در فیزیک دارند. بهطور خاص، شبکههای هاپفیلد و ماشینهای بولتزمن میتوانند بهعنوان برخی از اولین مدلهای مولد در نظر گرفته شوند که اصول فیزیکی را از سیستمهای طبیعی برای آموزش و استنتاج به عاریه گرفتهاند.
در این مقاله، به کارهای برجسته ج. هاپفیلد در سال ۱۹۸۲ و ج. هینتون و همکاران در سال ۱۹۸۵ میپردازم. البته پیشنهاد مؤکدم این است که مقالههای اصلی را بخوانید.
پیش از پرداختن به این مفاهیم، باید فیزیکی را که الهامبخش آنهاست، درک کنیم.
دادههای دیجیتال و محاسبات اساسا بر پایه اعداد باینری- صفرها و یکها- بنا شدهاند. این مفهوم از کجا در فیزیک پدید آمده است؟
در آهنرُباها!
هر آهنربا قطب شمال و جنوب دارد و اگر آن را دو قسمت کنیم، هر نیمه آن، یک آهنربای جدید است با قطبهای شمال و جنوب خودش. اگر به تقسیمکردن ادامه دهیم، درنهایت به کوچکترین آهنربا میرسیم؛ یعنی الکترون در یک اتم. مثل یک فرفره کوچکِ چَرخان، هر الکترون جهتی دارد که به آن میگوییم اسپین. این اسپینها مقادیر کوانتومی هستند، بهطوریکه هنگام اندازهگیری فقط میتوانند مقادیر گسستهای داشته باشند؛ یعنی وقتی ما اسپین یک الکترون را اندازهگیری میکنیم، نتیجه همیشه یکی از چند مقدار ممکن است و نمیتواند مقداری بین این مقادیر باشد. هر اسپین میتواند همجهت یا مخالف جهت باشد و هیچ مقدار دیگری میان این دو حالت وجود ندارد. این رفتار گسسته و باینری مبنای نحوه ذخیرهسازی دادهها در هارددیسکهای مغناطیسی است.
چگونه این اسپینها بین صفرها و یکها تصمیم میگیرند؟
درون یک آهنربا، بسیاری از اسپینها یک شبکه تشکیل میدهند. بسته به نوع ماده، هر اسپین در این شبکه ممکن است تمایل داشته باشد که با همسایگان خود همجهت یا مخالف جهت شود. مانند جریان آبی که در یک نهر جاری است، این اسپینها به مرور زمان برای کاهش انرژی سیستم، جهت خود را تغییر میدهند و زمانی متوقف میشوند که انرژی به حداقل خود برسد.
از نظر معادلات، انرژی تقریباً بهصورت زیر بیان میشود:
انرژی مساوی است با تعاملات دوتایی + تمایلات (بایاسها)
بگذارید برای تشریح این معادله مثالی بزنیم؛ فرض کنید آهنربا، شهری کوچک است و هر اتم در آن یک نفر. هر نفر (اتم) یک عقیده (اسپین) دارد که میتواند روبهبالا یا روبهپایین باشد؛ مثلاً، اگر عقیده روبهبالا باشد، میتوانیم بگوییم که آن شخص طرفدار تیم آبی است و اگر عقیده روبهپایین باشد، طرفدار تیم قرمز است.
«تعاملات دوتایی» در این مثال، مثلِ این است که هر نفر بخواهد با همسایههایش دوست باشد. اگر همسایهها عقیده یکسانی داشته باشند، خیلی خوشحال میشوند و انرژی کمتری مصرف میکنند اما اگر عقیدههایشان متفاوت باشد، ناراحت میشوند و انرژی بیشتری مصرف میکنند.
«تمایلات (بایاسها)» هم مثل این است که هر نفر از قبل یک تمایل شخصی داشته باشد؛ مثلاً، ممکن است یک نفر از بچگی طرفدار تیم آبی بوده باشد و همیشه سعی کند عقیدهاش را حفظ کند.
انرژی کل شهر به مجموع خوشحالی یا ناراحتی همه افراد بستگی دارد. اگر همه افراد با هم موافق باشند و با همسایههایشان دوست باشند، انرژی کل شهر کم میشود اما اگر اختلافنظر زیاد باشد و افراد با هم دعوا کنند، انرژی کل شهر زیاد میشود.
در آهنربا هم همین اتفاق میافتد. اتمها (اسپینها) سعی میکنند طوری بچرخند که با همسایههای خود همجهت شوند تا انرژی سیستم کم شود. انگار که مردم شهر سعی کنند با هم دوست شوند و اختلافات را کم کنند.
پس طبق معادله بالا، انرژیِ کل آهنربا برابر است با مجموع انرژیهایی که از تعامل بین هر دو اتم به وجود میآید (تعاملات دوتایی) بهعلاوه انرژیهایی که از تمایلات اولیه هر اتم به وجود میآید (بایاسها)؛ بنابراین، انرژی آهنربا به این بستگی دارد که اتمها چهقدر با هم موافق هستند و چهقدر به عقیده اولیه خود پایبند هستند.
عبارتهای تعاملات دوتایی تعیین میکنند که آیا اسپینهای مجاور تمایل دارند با یکدیگر همجهت (همبسته) یا مخالف جهت (ضد همبسته) شوند، درحالیکه تمایلات یا بایاسها جهتگیری کلی اسپینها را مشخص میکنند، مانند چگونگی تاثیر میدان مغناطیسی زمین که باعث میشود آهنرباها به سمت شمال قرار گیرند.
درون یک ماده، این فیزیک است که معادله دقیق انرژی را تعیین میکند که بهراحتی هم قابلتغییر نیست اما روی رایانه، میتوانیم هر نوع انرژی دلخواهی را شبیهسازی کنیم و اسپینها را به هر الگوی مطلوبی سوق دهیم. این همان اساس شبکه هاپفیلد و ماشین بولتزمن است.
از اسپین تا حافظه
مغز شبکه عظیمی از نورونهاست. هر نورون میتواند فعال یا غیرفعال باشد. ماشین بولتزمن هم شبیه به همین است: یک شبکه از واحدهای محاسباتی است که هریک میتوانند دو حالت داشته باشند: روشن یا خاموش. این ماشین میتواند الگوهایی را در دادهها پیدا کند؛ مثلاً، میتواند تصاویر را تشخیص دهد یا متن را بفهمد. همچنین میتواند دادههای جدیدی بسازد که شبیه به دادههای آموزشی باشد؛ مثلاً، میتواند تصاویر جدیدی از چهره انسان بسازد. از این ماشین برای حل مسائل پیچیده و تشخیص تقلب استفاده میشود. ماشین بولتزمن یک ابزار قدرتمند در هوش مصنوعی است که میتواند برای حل مسائل پیچیده استفاده شود. بااینحال، درک کامل آن به دانش فنی بالایی نیاز دارد.
پس نورونهای مغز میتوانند در یکی از دو حالت قرار بگیرند: برانگیخته یا مهارشده. این نورونها نیز مشابه اسپینها در یک شبکه با یکدیگر تعامل دارند. این شباهت دانشمندان را به این فکر انداخت که از شبکههای اسپین برای مطالعه شناخت و هوش استفاده کنند. پروفسور هاپفیلد از این ایده برای ایجاد یک مدل حافظه استفاده کرد. در واقع، شبکههای هاپفیلد مدلهای مصنوعی حافظه هستند که از اسپینهای الکترونی در مواد الهام گرفته شدهاند.
یک مدل حافظه به دو عملکرد کلیدی نیاز دارد: ذخیره و بازیابی خاطرات. در زبان مدلهای یادگیری ماشین (ML)، این عملکرد مشابه با آموزش یک شبکه عصبی و استفاده از آن برای استنتاج است.
چگونه؟ شبکه هاپفیلد از فیزیک شبکههای اسپین الهام میگیرد: این شبکه با بهحداقلرساندن یک تابع انرژی، آموزش میبیند و استنتاج میکند.
در اینجا، s نشاندهنده یک اسپین یا نورون، w وزنهای تعاملی بین نورونهای مجاور و b تمایلات یا بایاس نورونهاست. کل انرژی، مجموع مشارکت هر نورون است. در شبکههای اسپین، شبکههای هاپفیلد و ماشینهای بولتزمن (که بعدا بحث میشوند)، معادله انرژی یکسان است.
شبکههای هاپفیلد را میتوان بهعنوان نوعی شبکه عصبی در نظر گرفت که وظیفه اصلی آنها ذخیره و بازیابی خاطرات یا الگوهاست. این شبکهها از رفتار اسپینهای الکترونی در مواد مغناطیسی الهام گرفته شدهاند.
چگونه شبکهها خاطرات را ذخیره و بازیابی میکنند؟
ابتدا کوتاه به کلیت موضوع میپردازیم و سپس آن را با جزئیات بیشتری شرح میدهیم:
ذخیره خاطرات (آموزش شبکه): در اینجا بحث آموزش شبکه مطرح است. در شبکههای هاپفیلد، خاطرات یا الگوها بهصورت حالتهای پایدار یا مینیممهای انرژی ذخیره میشوند. برای ذخیره یک الگو، وزنهای بین نورونها طوری تنظیم میشوند که وقتی شبکه در آن الگو قرار میگیرد، انرژی سیستم به کمترین مقدار خود برسد؛ بهعبارت ساده، وزنها تنظیم میشوند تا الگوهای موردنظر ما به حالتهای طبیعی و پایدار شبکه تبدیل شوند.
بازیابی خاطرات (استنتاج): بخش بعدی، بازیابی همین خاطرههاست که در واقع همان استنتاج است. وقتی یک ورودی ناقص یا نویز به شبکه داده میشود، شبکه شروع به بهروزرسانی نورونها میکند. درواقع این نورن دارد تعادل شبکه را بهم میزند. در هر مرحله، هر نورون براساس ورودیهای خود و وزنهای متصل به آن تصمیم میگیرد که به حالت فعال (+۱) یا غیرفعال (-۱) برود. این فرآیند ادامه مییابد تا شبکه به یک حالت پایدار برسد. درنهایت، شبکه به نزدیکترین الگوی ذخیرهشده به ورودی اولیه همگرا میشود، یعنی خاطره اصلی را بازیابی میکند.
اما آنچه در شبکههای هاپفیلد اهمیت دارد تابع انرژی است که شبیه زمین بازی عمل میکند، یعنی حدی دارد و وضعیت کلی شبکه را نشان میدهد. این تابع انرژی مشابه انرژی در فیزیک است؛ سیستمها برای به تعادل رسیدن بهسمت کمترین انرژی ممکن حرکت میکنند. در شبکه هاپفیلد، حالتهای با انرژی کمتر پایدارتر هستند و شبکه بهطور طبیعی با آن همگرا میشود. با تعریف مناسب وزنها، الگوهای موردنظر ما به این حالتهای با انرژی کم تبدیل میشوند.
شبکه هاپفیلد مانند منظرهای پر از تپهها و درههاست. هر دره نشاندهنده خاطره یا الگویی ذخیرهشده است. اگر یک توپ (نماینده ورودی ناقص) را روی این منظره رها کنید، توپ بهطور طبیعی به پایینترین نقطه نزدیکترین دره میغلتد. این بدان معناست که شبکه از ورودی ناقص بهسمت الگوی کامل حرکت میکند.
پس شبکهها یاد میگیرند که چگونه الگوهای خاصی را بهعنوان «خاطره» ذخیره کنند. وقتی بخشی از آن الگو را به شبکه میدهید، شبکه میتواند با تکمیل آن، خاطره کامل را بازیابی کند. این کار را با جستجوی حالت با کمترین انرژی انجام میدهد، یعنی حالتی که بیشترین تطابق را با الگوی ذخیرهشده دارد.
آموزش
چگونه شبکه هاپفیلد دادههای ورودی را بهعنوان خاطرات ذخیره میکند؟ وزنها و بایاسها به گونهای تنظیم میشوند که انرژی متوسط هنگام ورودی دادهها به حداقل یا کمینه خود برسد. برخلاف شبکههای عصبی مدرن، چون تابع انرژی بسیار ساده است، ما میتوانیم مستقیماً وزنها و بایاسهای بهینه را محاسبه کنیم و به آموزش پیچیده نیاز نیست.
از نظر فنی، انرژی ممکن است با وزنهای بسیار بزرگ بهسمت منفی بینهایت پیش برود؛ بنابراین محدودیتها یا تنظیمات اضافی لازم است تا یک راهحل تعریفشده به دست آید (یعنی میبایست مجموع مربعات همه وزنها و بایاسها برابر یک باشد).
یکبار دیگر به مثال توپ غلتان از سر تپهها برگردیم. اگر وزنها خیلی بزرگ باشند، یعنی اندازه تپهها بلند باشد، توپ از تپهها که پایین میافتد بهسمت منفی بینهایت سقوط میکند (که معادل انرژی بینهایت منفی است). محدودیتها مانند این هستند که ارتفاع تپهها را محدود و تابعی مشخص برای آن تعیین کنیم تا توپ در یک محدوده یا تابع تعریفشده باقی بماند و از کنترل خارج نشود.
استنتاج
چگونه یک خاطره ذخیرهشده را بازیابی میکنیم؟ از نظر یادگیری ماشینی، این یک مسئله مولد است. با وجود یک ورودی با اختلال که نظم اولیه را بهم میزند یا یک ورودی ناشناخته، شبکه هاپفیلد نزدیکترین خاطره ذخیرهشده را با کمینه کردن انرژی آن پیدا میکند، درحالیکه وزنها و بایاسها ثابت میمانند.
فرض کنید توپ یا سنگی را بالای تپهای میگذاریم که همان حالت ورودی ما (خاطره یا داده اولیه) است. این توپ ممکن است کمی از تپه موردنظر منحرف شده باشد (مثل حالتی که ورودی شما دارای noise است). وقتی توپ را رها کنیم، بهسمت پایین تپه میرود؛ جایی که کمترین انرژی را دارد. این نقطه پایین، خاطرهای است که شبکه هاپفیلد سعی دارد آن را بازیابی کند.
بازیابی خاطره در شبکه هاپفیلد به این صورت است که وقتی ورودی (مثلاً یک تصویر یا داده) با نویز وارد میشود، شبکه شروع به تغییر حالت نورونها میکند تا انرژی کل سیستم کمینه شود. هر چه انرژی کمتر باشد، توپ به نقطه پایدار خود (خاطره ذخیرهشدهای که به ورودی شباهت بیشتری دارد) نزدیکتر میشود. پس از چندین مرحله، شبکه به حالتی میرسد که تغییرات متوقف میشوند، یعنی توپ به پایینترین نقطه رسیده است که همان خاطره ذخیرهشده است.
این فرآیند شبیه به این است که توپ، بدون توجه به این که از ابتدا دقیقاً کجا قرار دارد، همیشه به سمت پایینترین نقطه تپه میغلتد. در اینجا تپهها نشاندهنده خاطرات ذخیرهشده در شبکه هستند و توپ نشاندهنده ورودیهای شما (چه نویزدار و چه ناقص).
درست مانند آهنربا، ما نورونها (اسپینها) را در حالت ورودی شروع میکنیم و سپس بهصورت تکراری اجازه میدهیم هر نورون تغییر کند تا انرژی کل کاهش یابد؛ بهاینترتیب، شبکه هاپفیلد بهعنوان یک شبکه عصبی بازگشتی عمل میکند (زیرا حالت بعدی به حالت قبلی وابسته است). این بهروزرسانیها تضمین میکنند که درنهایت متوقف میشوند و ورودی به خروجی تبدیل میشود.
مثال ساده دیگری هم میتوان مطرح کرد؛ فرض کنید تصویری از چهره فردی را به شبکه هاپفیلد دادهایم تا آن را به خاطر بسپارد. وقتی بعداً تصویری ناقص از همان چهره (مثلاً چهره بدون چشمها) به شبکه میدهیم، شبکه با بهروزرسانی نورونها کمکم به حالتی میرسد که تصویر کامل و ذخیرهشده را بازیابی کند. این شبیه به بازسازی کامل چهره از تصویر ناقص است.
درحالیکه شبکههای هاپفیلد میتوانند حافظه داشته باشند ولی مشکلاتی هم هست:
تعداد وزنها و بایاسها باید بهطور قابلتوجهی بیشتر از اندازه حافظه باشد (و وزنها اعداد واقعی هستند، نه فقط صفر یا یک).
بازیابی حافظه ممکن است زمانی که برخی خاطرات بیش از حد مشابه باشند، با چالشهایی مواجه شود.
به عنوان یک مدل مولّد، ناکارآمد است؛ چون فقط میتواند خاطرات خود را دقیقاً همانطور که ذخیره شدهاند، بازیابی کند.
راهحل؟ سیستم را گرم کنید. این همان اساس کارِ ماشینهای بولتزمن است.
افزایش دما
وقتی کُنده درخت در آتش میسوزد، مولکولهای چوب بهدلیل گرما انرژی زیادی میگیرند و شروع میکنند به حرکت سریع و تصادفی. این حرکت باعث میشود که پیوندهای بین مولکولها شکسته و چوب بهآرامی خاکستر شود. در این فرآیند، مولکولها به حالتهای مختلفی درمیآیند و پیکربندیهای متفاوتی را تجربه میکنند. در یادگیری ماشین هم، ما میخواهیم مدلها بتوانند به بهترین شکل ممکن دادهها را تحلیل کنند و پیشبینیهای دقیق انجام دهند. این فرآیند شبیه به جستجوی مولکولهای چوب برای یافتن پایدارترین حالت است.
اگر چتجیپیتی فقط بتواند مقالههای ویکیپدیا یا اخبار را بازگو کند، چندان مفید نیست. بهطور مشابه، شبکههای هاپفیلد که از قوانین سخت و قطعی پیروی میکنند، برای بیشتر وظایف یادگیری ماشینی در دنیای واقعی کارآمد نیستند.
مشکل شبکههای هاپفیلد این است که بیشازحد سختگیرانهاند. این در تضاد با شبکههای طبیعی است، جایی که مولکولها پویا هستند و میتوانند پیکربندیهای مختلف را بسیار کارآمد بررسی کنند. این سیستمهای طبیعی در ترمودینامیک مطالعه میشوند؛ جایی که فرآیندهای آشوبی با استفاده از احتمالات و دما، مدلسازی میشوند.
این مسئله الهامبخش پروفسور هینتون شد تا مدلی انعطافپذیرتر، یعنی ماشین بولتزمن را توسعه دهد:
همانطور که ما غذا را در فِر گرم نگه میداریم و از یک منبع انرژی بیرونی برای این کار استفاده میکنیم، حفظ یک سیستم در دمای (T)، معمولاً میبایست به یک منبع حرارتی خارجی متصل باشد. این به سیستم اجازه میدهد تا انرژی را با محیط خارجی و نویزآلود خود تبادل کند؛ درنتیجه، شبکه ما دیگر بهطور قطعی انرژی خود را به حداقل نمیرساند. در عوض، احتمال یافتن شبکه ما در هر انرژی (E) وجود دارد که از توزیع بولتزمن پیروی میکند. این توزیع نشان میدهد احتمال یافتن سیستم در سطوح انرژی پایینتر بیشتر است.
فرمول توزیع بولتزمن که یکی از مفاهیم اساسی در مکانیک آماری و ترمودینامیک است، به ما میگوید که در یک سیستم درحال تعادل ترمودینامیک، احتمال اینکه یک سیستم در حالت خاصی با انرژی E قرار داشته باشد، چهقدر است.
بگذارید با مثال قضیه را سادهتر کنم: اگر دمای فر را خیلی پایین نگه داریم، غذا سرد و سفت میماند (مثل شبکهای که انرژی آن دقیقاً به حداقل میرسد). ولی اگر فر را روی یک دمای معقول بگذاریم، غذا گرم میماند و فقط تغییرات کوچکی در دما رخ میدهد (نوسانات حرارتی). پس بهاینترتیب غذا گرم میماند اما نه اینکه دما را کاملاً ثابت نگه داریم. در شبکههای عصبی، افزودن دما باعث میشود که شبکه از حالتهای انرژی مختلف بازدید کند و بهدنبال کمینهترین انرژی نباشد، بلکه حالاتی با انرژیهای مختلف را بررسی کند.
در شبکه هاپفیلد (با دمای پایین)، سنگ همیشه به پایینترین نقطه تپه سقوط میکند اما در ماشین بولتزمن، بهدلیل وجود دمای غیرصفر، سنگ همیشه به پایینترین نقطه نمیرود. گاهی اوقات به نقاط بالاتر از پایین تپه میماند و میتواند در هر جایی از تپه قرار بگیرد. پس سنگ میتواند در موقعیتهای مختلف بماند، حتی اگر آنها کمینه انرژی نباشند.
چگونه میتوانیم این رفتار را درک کنیم؟
در طبیعت، انرژی کل حفظ میشود اما بهدلیل نویز حرارتی، انرژی بهطور تصادفی بین زیرسیستمهای مختلف توزیع میشود. این امر باعث میشود که تمرکز انرژی در هر زیرسیستم بهطور نمایی دشوار شود؛ ازاینرو هر چه انرژی بهطور یکنواختتر پخش شود، سیستم بهتر میتواند احتمالات مختلف را بررسی کند؛ این همان قانون دوم ترمودینامیک یا اصل حداکثر آنتروپی است.
در عمل، این به معنای آن است که به جای داشتن یک نورون یا اسپین که بهطور قطعی ۱ یا ۰ باشد، اکنون با احتمالات سروکار داریم. پس ماشینهای بولتزمن دیگر مدلهای دقیق حافظه نیستند. این ماشینها (شبیه چتجیپیتی) بهجای اینکه دادههای ورودی را دقیقاً بازتولید کنند، توزیع احتمالی دادهها را مدلسازی میکنند و میتوانند نمونههای جدیدی را فراتر از دادههای آموزشی تولید کنند.
افزودن دما و احتمال، آموزش و استنتاج ماشینهای بولتزمن را بهطور قابلتوجهی نسبتبه شبکههای هاپفیلد اصلاح میکند؛ آنها به پارادایم نزدیکتری در مدلهای مولد مدرن تبدیل میشوند.
آموزش
ازآنجاییکه اکنون همه چیز احتمالی است، ما دیگر فقط انرژی را به حداقل نمیرسانیم. در عوض، مشابه آموزشهای مدرن یادگیری ماشین (ML)، ما احتمال (لگاریتم) مشاهده دادههای ورودی را بهینه میکنیم. این رویکرد را میتوان به مفاهیم فیزیک حرارتی مرتبط کرد؛ جایی که تعادل بین به حداقل یا کَمینه رساندن انرژی و نوسانات حرارتی ما را به مفهوم گستردهتری به نام انرژی آزاد میرساند.
از نظر ریاضی، این رابطه دقیقاً برقرار است:
در این فرمول، T همان دمای سیستم است و Prob احتمال وقوع رویدادی خاص. همچنین log(Prob) لگاریتم طبیعی احتمال است.
یعنی بیشینهسازی احتمالات در ماشینهای بولتزمن معادل با بهحداقلرساندن انرژی آزاد است؛ بنابراین، ماشینهای بولتزمن به معنای واقعی کلمه از اصول ترمودینامیک وام میگیرند. اصولی که برفدانهها و کریستالها را شکل میدهند، تا شبکههای پیچیدهای بسازند که قابلیت تعمیم دارند!
آموزش وزنها و بایاسها در شبکه ما مشابه با آموزشهای مدرن یادگیری ماشین یا همان ML است. ما به شبکه، ورودیهای نمونهای میدهیم و از گرادیان یا شیب نزولی برای بیشینهسازی یک تابع زیان[۱] استفاده میکنیم. پیچیدگیهای اضافیای بهدلیل ماهیت بازگشتی شبکه وجود دارد اما ما در اینجا به جزئیات نمیپردازیم، زیرا خارج از محدوده این بحث است.
استنتاج
پس از آموزش، ماشینهای بولتزمن «مدلهای مولد» کاملی هستند؛ چون احتمالهای واقعی را محاسبه میکنند! با داشتن یک ورودی، میتوانیم برخی از نورونها را ثابت نگه داریم (مانند یک پرامپت برای چتجیپیتی) و بگذاریم ورودیهای دیگر تغییر کنند. در هر مرحله، میتوانیم انرژی را محاسبه کنیم و از آن، احتمال این را که هر نورون یک یا صفر باشد تعیین کنیم. سپس ما یک پیکربندی را بهصورت تصادفی براساس این احتمالات انتخاب میکنیم. این قابلیت برای تولید دادههای جدید، ماشینهای بولتزمن را به برخی از اولین مدلهای مولد هوش مصنوعی تبدیل میکند که خیلی دقیق تحت آموزش و استنتاج تصادفی مبتنی بر داده بوده است.
باوجوداینکه شبکههای هاپفیلد و ماشینهای بولتزمن برخی از بنیانهای مدلهای تولیدکننده مدرن را گذاشتهاند، بهدلیل ناکارآمدیهای محاسباتی خود، دیگر بهطور گسترده استفاده نمیشوند. با این حال، برخی از این ایدهها همچنان پژوهشهای مدرن را پیش میبرند.
ارتباط با هوش مصنوعی مدرن
بهدلیل گستردگی ادبیات هوش مصنوعی، بررسی همه مسائل ظریف و بهبودهای مرتبط با شبکههای هاپفیلد و ماشینهای بولتزمن غیرممکن است. با اینحال، در اینجا برخی از مسائل برجستهای را که من شخصاً مهم و مرتبط میدانم، ذکر میکنم.
در مقایسه با شبکههای عصبی مدرن کنونی، شبکههایی که تا اینجا توصیف کردهایم به دلایل مختلفی ناکارآمد هستند:
این شبکهها براساس یکها و صفرها هستند که ادغام دادههای پیچیده دنیای واقعی مانند تصاویر رنگی و گفتار را که شامل اعداد صحیح و اعداد حقیقی پیوسته هستند، دستوپاگیر میکند.
تعاملات جفت عمومی نورونها در این شبکه آنها را برای بهینهسازی سخت میکند؛ چون هر نورون در این شبکهها با تمام نورونهای دیگر در ارتباط مستقیم است. این نوع اتصال، شبیه به یک شبکه کاملاً متصل است که در آن هر گره به همه گرههای دیگر متصل است. این امر برای شبکههای بسیار بزرگ ازلحاظ محاسباتی گران است.
ساختار در این شبکهها بیش از حد متراکم است و آنها را برای دادههای تصویر، متنی یا سری زمانی که ساختارهای واضح کانولوشنال یا زمانی دارند، ناکارآمد میکند.
آنها با درنظرگرفتن الگوریتم پسانتشار یا همان back-propagation طراحی نشدهاند که باعث میشود کار کردنشان با شتابدهندههای سختافزاری مانند واحدهای پردازش گرافیکی یا پردازش تنسور (GPU/TPU) دشوار باشد.
اولاً، محدودیتهای ناشی از ورودیهای دودویی از سوی شبکههای هاپفیلد مدرن و ماشین بولتزمن محدود شده است. جایگزینی اعداد دودویی با اعداد حقیقی ساده است، زیرا تمام عملیات ریاضی اساسی همچنان قابل اجرا هستند.
دوم اینکه، ارتباطات جفت عمومی معمولاً دیگر استفاده نمیشوند. ارتباطات پراکندهتر که شبیهتر به شبکههای عصبی مدرن هستند، توسعه یافتهاند که بهطور قابلتوجهی کارایی محاسباتی را بهبود میبخشند.
سوم اینکه، مسائل مربوط به ناکارآمدیهای آموزشی میتوانند با پیوند این شبکهها با شبکههای عصبی مدرن کاهش یابند.
حرف آخر…
بحث و جدلهای زیادی پیرامون جایزه نوبل فیزیک امسال وجود داشته است. از میان برخی گفتگوهای همکاران فکر میکنم میتوان این پرسشها را جدی گرفت:
آیا این واقعاً فیزیک است؟
آیا واقعاً شایسته نوبل است؟
آیا کاندیداهای بهتری وجود ندارند؟
درباره پرسشهای دو و سه بحثی نمیکنم ولی در مورد پرسش اول باید بگویم که شبکههای هاپفیلد و ماشینهای بولتزمن قطعاً در زیرمجموعه گستردهتری از فیزیک قرار میگیرند؛ بیوفیزیک، نوروفیزیک و فیزیک محاسباتی.
این زیرمجموعهها سیستمهای پیچیده (بیولوژیکی) را مطالعه میکنند که بیشترشان را نمیتوان دقیق توصیف کرد بس که پیچیدهاند. پروفسور هاپفیلد و پروفسور هینتون مدلهای تقریبی را توسعه دادند و نشان دادند که وقتی با قوانین طبیعی محتمل ترکیب شوند، محاسبات پیچیده امکانپذیر است.
آنان این اصل را اثبات کردهاند که عناصر هوش میتوانند حتی در این سیستمهای ساده ظاهر شوند. پیامدها برای یادگیری ماشین فقط مزایای ثانویه هستند.
برخی ممکن است استدلال کنند که از نظر «خلوص» فیزیک، این جایزه چندان شایسته نوبل نیست. با این حال، به نظرم این رشته در حال تطور است. دانشمندان بیشتری اهمیت استفاده از فیزیک برای مطالعه پدیدههای نوظهور مانند هوش و شناخت را تشخیص میدهند. از این نظر، نوبل فیزیک ۲۰۲۴ جایزهای برجسته است و نشان میدهد فیزیکدان عصر مدرن بودن یعنی چه.
بهشدت معتقدم طبیعت نهایی ماشین محاسباتی است و جای تعجب نیست که بسیاری از مدلهای یادگیری ماشین(ML) مبتنی بر فیزیک برجسته میشوند. فیزیک فقط درمورد قوانین خاص در طبیعت نیست، بلکه درباره اصول کلی است که میتوان بارها و بارها آنها را اعمال کرد. اگر بشر روزی هوش مصنوعی واقعی را توسعه دهد، مطمئنم که باید براساس قوانین فیزیکی ما بنا شود.
[۱] . تابع زیان (Loss Function) معیاری است که برای ارزیابی عملکرد شبکه و بهینهسازی پارامترهای آن (وزنها و بایاسها) استفاده میشود.
دیدگاهتان را بنویسید