فیلمیار: دستیار هوشمند پیشنهاد فیلم مبتنی بر GraphRAG
پروژه کارشناسی مهندسی کامپیوتر
معرفی
این پروژه، که بهعنوان پروژه پایانی مقطع کارشناسی مهندسی کامپیوتر توسعه داده شده، یک دستیار هوشمند پیشنهاد و معرفی فیلم است که بهجای تکیهی صرف بر یک مدل زبانی بزرگ، از ترکیب یک گراف دانش ساختیافته (Knowledge Graph) با یک مدل زبانی مولد استفاده میکند — رویکردی که این روزها با عنوان GraphRAG (Graph-based Retrieval-Augmented Generation) شناخته میشود.
ایده اصلی پروژه ساده است: کاربر به زبان طبیعی (فارسی یا انگلیسی) درباره فیلمها سوال میپرسد یا درخواست پیشنهاد میکند («یک فیلم کمدی با بازی تام هنکس معرفی کن»)، و سیستم بهجای اینکه کل پاسخ را از حافظهی یک مدل زبانی بیرون بکشد، اول در یک گراف دانش واقعی (ساختهشده از دیتاستهای سینمایی TMDB و IMDB در Neo4j) به دنبال اطلاعات دقیق میگردد، و فقط از مدل زبانی برای بیان طبیعی و روان آن اطلاعات استفاده میکند.
این پروژه دقیقاً چهکاری انجام میدهد؟
فیلمیار یک چتبات وب است که:
- به زبان فارسی و انگلیسی، هر دو، بهصورت همزمان پاسخ میدهد (زبان پاسخ بر اساس زبان سوال کاربر انتخاب میشود)
- بر اساس ژانر، بازیگر، کارگردان و سال ساخت فیلم پیشنهاد میدهد یا اطلاعات میدهد
- اطلاعاتی مثل امتیاز IMDB، بازیگران اصلی، کارگردان و ژانر هر فیلم را از یک گراف دانش واقعی استخراج میکند، نه از حدس مدل زبانی
- وقتی گراف محلی پاسخی ندارد، بهصورت خودکار به جستوجوی وب متوسل میشود
- از طریق یک صفحه چت اختصاصی (HTML/CSS/JS) قابل استفاده است، کاملاً مستقل از محیط Google Colab
- بهصورت رایگان، بدون نیاز به سرور اختصاصی، فقط با Google Colab اجرا میشود
معماری و نحوه کار
پردازش هر پیام کاربر از پنج لایه مجزا عبور میکند:
| لایه | وظیفه |
|---|---|
| ۱. استخراج موجودیت (Entity Extraction) | متن آزاد کاربر با Regex و تطبیق فرهنگلغتی/فازی (نه با مدل زبانی) تحلیل میشود تا ژانر، بازیگر، کارگردان و سال از آن استخراج شود |
| ۲. لایه گراف دانش (Neo4j) | از موجودیتهای استخراجشده یک کوئری Cypher ساخته و روی گراف دانش محلی اجرا میشود |
| ۳. لایه مسیریابی (Routing) | اگر گراف محلی نتیجهای نداشت، بهصورت خودکار به جستوجوی وب (DuckDuckGo، با پشتیبانی اختیاری از Tavily) سوئیچ میکند |
| ۴. لایه مدل زبانی مولد (Diffusion LLM) | اطلاعات بازیابیشده در یک قالب پرامپت جای میگیرد و به یک مدل زبانی دیفیوژنی (LLaDA-8B) داده میشود تا پاسخ نهایی را به زبان طبیعی و روان تولید کند |
| ۵. لایه API و رابط کاربری | یک سرور Flask، پیامهای HTTP/JSON را از صفحه چت دریافت و پاسخ را برمیگرداند؛ اتصال عمومی به آن هم از طریق یک تونل Cloudflare برقرار میشود |
یکی از تصمیمات طراحی جالب این پروژه، جدا کردن کامل استخراج موجودیت از مدل زبانی است. مدلهای زبانی — بهخصوص مدلهای دیفیوژنی — در تولید خروجی ساختیافته (مثل کوئری Cypher) ضعیف عمل میکنند؛ به همین دلیل این بخش کاملاً با منطق برنامهنویسی (نه هوش مصنوعی) انجام میشود و مدل زبانی فقط در انتهای مسیر، برای «حرفزدن طبیعی» دربارهی اطلاعاتی که از قبل پیدا شده، به کار گرفته میشود.
انتخاب یک مدل زبانی دیفیوژنی (LLaDA-8B) بهجای مدلهای رایج زنجیرهای (autoregressive) هم یکی از جنبههای تحقیقاتی این پروژه بود — رویکردی که هنوز کمتر در پروژههای عملی به کار گرفته شده و تجربهی متفاوتی نسبت به مدلهای متداولتر مثل GPT به همراه داشت.
تکنولوژیهای استفادهشده
| بخش | تکنولوژی |
|---|---|
| گراف دانش | Neo4j (Community Edition) |
| مدل زبانی | LLaDA-8B-Instruct (مدل زبانی دیفیوژنی) با کوانتیزاسیون ۴-بیتی |
| پردازش زبان طبیعی | spaCy (برای بخشی از استخراج موجودیت)، Regex، تطبیق فازی (rapidfuzz) |
| بکاند | Python، Flask، Flask-CORS |
| کتابخانههای یادگیری ماشین | Transformers، Accelerate، BitsAndBytes، PyTorch |
| جستوجوی وب | DuckDuckGo Search (ddgs)، با پشتیبانی اختیاری از Tavily API |
| پردازش داده | Pandas |
| محیط اجرا | Google Colab (با GPU رایگان T4) |
| ذخیرهسازی دائمی دیتاست | Google Drive (برای جلوگیری از آپلود مکرر دیتاست) |
| دسترسی عمومی | Cloudflare Quick Tunnel |
| رابط کاربری | HTML، CSS، JavaScript (صفحه چت مستقل) |
ویژگیها
- دوزبانه بودن کامل: تشخیص خودکار زبان سوال (فارسی/انگلیسی) و پاسخدهی به همان زبان
- پیشنهاد مبتنی بر داده واقعی: اطلاعاتی مثل امتیاز، بازیگران و کارگردان از یک گراف دانش واقعی میآید، نه از حافظهی مدل زبانی
- مکانیزم بازگشتی هوشمند: در نبود اطلاعات محلی، جستوجوی وب بهصورت خودکار جایگزین میشود
- بارگذاری یکباره دیتاست: دیتاستها فقط یکبار در Google Drive کاربر ذخیره میشوند و در اجراهای بعدی نیازی به آپلود مجدد نیست
- بدون نیاز به سرور اختصاصی: کل پروژه فقط با یک حساب Google Colab رایگان قابل اجراست
- رابط کاربری مستقل: صفحه چت جدا از نوتبوک Colab اجرا میشود و از طریق یک لینک عمومی به سرور وصل میشود
چالشها و راهحلها
توسعهی این پروژه در محیط رایگان Google Colab با محدودیتهای واقعی سختافزاری همراه بود که هرکدام نیاز به راهحل مشخص داشتند:
| چالش | راهحل |
|---|---|
| مدل ۸ میلیارد پارامتری روی GPU رایگان (T4 با ۱۵ گیگابایت VRAM) جا نمیشد | استفاده از کوانتیزاسیون ۴-بیتی (bitsandbytes) برای کاهش چشمگیر مصرف حافظه |
| فرآیند نمونهگیری تکراری مدل دیفیوژنی (تا ۴۸ گام برای هر پاسخ) بدون کنترل مصرف حافظه، ریسک خطای Out-of-Memory داشت | استفاده از torch.inference_mode() بهجای اجرای بدون کنترل گرادیان، و پاکسازی صریح کش CUDA بین گامها و بعد از هر پاسخ |
| مدل دیفیوژنی گاهی بهجای پاسخ نهایی، بخشی از متن دستورالعمل یا زمینه (context) را عیناً در خروجی تکرار میکرد | افزودن یک نشانگر مشخص («پاسخ نهایی:» / «Final answer:») در انتهای پرامپت و پاکسازی خروجی بر اساس آن |
| بارگذاری تنبل (lazy loading) مدل روی اولین درخواست واقعی، باعث میشد اولین سوال کاربر از مهلت زمانی تونل عمومی (Cloudflare) عبور کند و با خطا مواجه شود | بارگذاری مدل بهصورت فعال، بلافاصله بعد از بالا آمدن سرور و پیش از اعلام آمادهبودن آن |
| نصب مجدد Neo4j روی یک سشن از قبل پیکربندیشده با خطا مواجه میشد | افزودن بررسی وجود نصب قبلی پیش از تلاش برای نصب دوباره |
| ناسازگاری نسخهای بین bitsandbytes و ساختار CUDA بهروزرسانیشدهی Colab | ارتقای نسخههای bitsandbytes و accelerate به نسخههایی که مکانیزم تشخیص CUDA خود را بازنویسی کرده بودند |
| تطبیق نام ستونهای دیتاست IMDB با نسخههای مختلف موجود در Kaggle | نگاشت خودکار نام ستونها فقط در صورت نیاز، بدون وابستگی به یک نامگذاری ثابت |
محدودیتهای شناختهشده
صداقت علمی ایجاب میکند این بخش هم بهروشنی بیان شود: این پروژه هنوز با یک محدودیت جدی روبهرو است. دیتاست محلی (TMDB 5000 و IMDB Top 1000) عمدتاً سینمای هالیوود را پوشش میدهد و برای بازیگران و فیلمهای خارج از این دامنه (مثلاً سینمای ایران)، هم گراف محلی و هم جستوجوی وب رایگان میتوانند نتایج ضعیف یا نامرتبط برگردانند. در چنین شرایطی، مدل زبانی دیفیوژنی — که در پیروی دقیق از دستورالعمل نسبت به مدلهای زنجیرهای متداولتر ضعیفتر عمل میکند — گاهی بهجای اعلام «اطلاعاتی پیدا نشد»، ترکیبی نادرست از دانش پیشآموختهی خود تولید میکند. این یکی از زمینههای شناختهشده برای کار آینده روی پروژه است: گسترش پوشش دیتاست و تقویت مکانیزمهای جلوگیری از پاسخ نادرست (hallucination).
دیتاستهای استفادهشده
- TMDB 5000 Movie Dataset — اطلاعات کلی فیلمها، ژانر، بازیگران و کارگردان
- IMDB Top 1000 — امتیازهای IMDB برای تکمیل اطلاعات فیلمهای مشترک
نحوه استفاده از پروژه
این پروژه بهصورت کامل روی Google Colab اجرا میشود و نیازی به نصب چیزی روی سیستم شخصی ندارد.
- دانلود فایل پروژه: نوتبوک را از مخزن گیتهاب پروژه دانلود کنید: لینک مخزن گیتهاب پروژه
- آپلود در Google Colab: فایل
.ipynbدانلودشده را در Google Colab باز کنید. - فعالسازی GPU: از منوی Runtime گزینه Change runtime type را انتخاب و GPU (نوع T4) را فعال کنید — این پروژه بدون GPU قابل اجرا نیست.
- اجرای سلولها بهترتیب: سلولها را یکییکی و بهترتیب از بالا به پایین اجرا کنید.
- اتصال به Google Drive: هنگام رسیدن به سلول بارگذاری دیتاست، یک درخواست دسترسی به Google Drive نمایش داده میشود؛ دسترسی را تأیید کنید.
- بارگذاری دیتاست (فقط بار اول): فایلهای دیتاست را از مسیر زیر دانلود و در همان مرحله آپلود کنید: لینک دانلود دیتاستها از این مرحله به بعد، دیتاستها بهصورت خودکار در Google Drive شما ذخیره میشوند و در اجراهای بعدی (حتی در یک نوتبوک کاملاً تازه) دیگر نیازی به آپلود دوباره نیست.
- دریافت لینک عمومی: در انتهای اجرا، یک لینک عمومی (Cloudflare Tunnel) نمایش داده میشود.
- استفاده از رابط چت: صفحه چت (
ai.movie.narjesrezaei.ir) را در مرورگر خود باز کنید، لینک عمومی را در بخش «اتصال به سرور» وارد کنید و شروع به گفتوگو کنید. صفحه چت
نکته مهم: تا زمانی که میخواهید از دستیار استفاده کنید، سلول آخر نوتبوک (که سرور و تونل را اجرا میکند) نباید متوقف شود و تب مرورگر Colab باید باز و فعال بماند؛ در غیر این صورت اتصال قطع میشود.
جمعبندی
این پروژه تلاشی بود برای ساخت یک سیستم واقعی و کاربردی مبتنی بر رویکرد GraphRAG، با تمرکز بر اینکه تولید پاسخ توسط مدل زبانی، مبتنی بر دادهی واقعی و ساختیافته باشد، نه صرفاً حدس مدل. در طول توسعه با چالشهای واقعی مهندسی نرمافزار و یادگیری ماشین — از مدیریت حافظه GPU گرفته تا رفتار غیرقابلپیشبینی مدلهای زبانی — روبهرو شدم که هرکدام تجربهی ارزشمندی از حل مسئله در شرایط محدودیت منابع واقعی بود.
تشکر و قدردانی
در پایان، لازم میدانم صمیمانه از استاد راهنمای این پروژه، جناب آقای دکتر بگمحمدی، برای راهنماییها، بازخوردهای دقیق و حمایت بیدریغشان در طول انجام این پروژه تشکر کنم. مشاورهها و دیدگاههای ایشان نقش مهمی در شکلگیری و بهبود کیفیت این کار داشت.