Cloudflare امروز ویژگی جدیدی را برای پلتفرم ویدیوی Stream خود اعلام کرد: شرح خودکار با استفاده از هوش مصنوعی (AI). این ویژگی بتا برای همه مشتریان Stream بدون هزینه اضافی در دسترس است و با ماموریت Cloudflare برای ترویج اینترنت در دسترس تر مطابقت دارد.
ویژگی جدید نیاز به خدمات زیرنویس شخص ثالث و گردش‌های کاری پیچیده را که یک مشکل رایج برای سازندگان ویدیو است، از بین میبرد. به طور سنتی، ایجاد زیرنویس شامل سرویس‌های ویژه یا تیم‌های اختصاصی می‌شود که آن را به یک کار زمان‌بر و منابع فشرده، به‌ویژه برای کتابخانه‌های ویدیویی بزرگ تبدیل کرده است. راه حل یکپارچه Stream فرآیند را ساده می کند و به کاربران این امکان را می دهد که زیرنویس ها را فقط با چند کلیک مستقیماً از داشبورد Cloudflare یا از طریق API به ویدیوهای موجود اضافه کنند.
تولید زیرنویس مبتنی بر هوش مصنوعی Stream، حریم خصوصی کاربران را در اولویت قرار می دهد. برخلاف برخی از سرویس‌های شخص ثالث، داده‌های کاربر در طول فرآیند در اکوسیستم Cloudflare ایمن می‌مانند. Cloudflare از محتوای کاربر برای اهداف آموزش مدل استفاده نمی کند. اطلاعات بیشتر در مورد حفاظت از داده ها را می توان در منبع Cloudflare “Your Data and Workers AI” یافت.
شروع به کار با زیرنویس‌های خودکار Stream
از 20 ژوئن 2024، همه مشتریان Stream و مشترکین بسته‌های حرفه‌ای و تجاری (که شامل 100 دقیقه ذخیره‌سازی ویدیو می‌شود) به ویژگی بتا دسترسی خواهند داشت.
در اینجا یک راهنمای سریع برای استفاده از زیرنویس‌های خودکار آورده شده است:
- آپلود ویدیو در جریان (از طریق داشبورد Cloudflare یا API)
- به تب زیرنویس ویدیو بروید.
- روی «افزودن شرح‌ها» کلیک کنید و زبان مورد نظر خود را انتخاب کنید.
- “Generate subtitles with AI” را انتخاب کنید و ذخیره کنید.
- زیرنویس‌ها تا چند دقیقه دیگر در مدیر زیرنویس و در پخش‌کننده ویدیو ظاهر می‌شوند.
همچنین، می‌توان زیرنویس‌ها را از طریق Stream API ایجاد کرد.
محدودیت های فعلی بتا و برنامه های آینده
در حال حاضر، نسخه بتا بدون در نظر گرفتن تاریخ آپلود، از زیرنویس انگلیسی فقط برای ویدیوهای درخواستی و ضبط پخش زنده پشتیبانی می کند. مدت زمان ویدیو به کمتر از 2 ساعت محدود شده است و بهترین کیفیت رونویسی با صدای واضح و حداقل نویز پس زمینه به دست می آید. اگرچه آزمایش داخلی نتایج امیدوارکننده‌ای را نشان داده است، Cloudflare اذعان می‌کند که مدل هوش مصنوعی ممکن است در همه موارد کامل نباشد و کاربران باید صحت زیرنویس‌های ایجاد شده را تأیید کنند.
Cloudflare می گوید که تیم توسعه بر گسترش گزینه های زبان و افزایش طول ویدئوهای پشتیبانی شده در به روز رسانی های آینده تمرکز خواهد کرد.
مشخصات: با استفاده از Workers AI و Whisper ساخته شده است
تیم طراحی Stream از هوش مصنوعی Cloudflare Workers برای دسترسی به Whisper، یک مدل تشخیص خودکار گفتار منبع باز (ASR) استفاده کرد. هوش مصنوعی کارگران استقرار، ادغام و مقیاس بندی مدل هوش مصنوعی را با ارائه یک راه حل کلید در دست ساده کرد. این امر نیاز به مدیریت زیرساخت پیچیده را حذف کرد و به تیم اجازه داد تا بر ساخت ویژگی زیرنویس تمرکز کند.
پیاده‌سازی مدل‌های هوش مصنوعی به طور سنتی با چالش‌هایی مانند تعیین سخت‌افزار مناسب و مدیریت پیچیدگی‌هایی مانند توزیع حجم کار، تأخیر و در دسترس بودن بالا همراه است. هوش مصنوعی کارگران این چالش ها را با ارائه یک محیط مقیاس پذیر و مدیریت شده توسط زیرساخت ها برطرف می کند.
با Workers AI، فرآیند ایجاد زیرنویس در یک اسکریپت Worker فشرده شد که به کمتر از 30 خط کد نیاز داشت. این اسکریپت از کتابخانه @cloudflare/ai برای تعامل با مدل Whisper از طریق یک تماس API استفاده می‌کند.
اطمینان از مقیاس پذیری برای ایجاد سریع زیرنویس
تیم Stream ایجاد زیرنویس سریع و مقیاس پذیر برای تعداد زیادی ویدیو را در اولویت قرار داد. این شامل پیش پردازش داده های صوتی قبل از وارد کردن آن به مدل هوش مصنوعی برای استنتاج کارآمد بود.
محتوای ویدیویی از ضبط‌های کوتاه تلفن گرفته تا فیلم‌های طولانی بسیار متفاوت است. ویدئوها می‌توانند بی‌صدا باشند، حاوی نویز پس‌زمینه باشند یا ضبط‌های پخش جریانی با فرمت‌های فشرده‌سازی متفاوت از فایل‌های دانلود شده باشند. راه‌حل Stream با اطمینان از سازگاری ورودی‌های صوتی با الزامات Whisper، این تنوع را برطرف می‌کند.
پیش پردازش شامل تقسیم صدا به مدت زمان بهینه برای استنتاج مؤثر است. Whisper با صدای 30 ثانیه‌ای به بهترین شکل کار می‌کند، همانطور که در یک رشته GitHub توضیح داده شده است، جایی که توسعه‌دهندگان خاطرنشان می‌کنند: «کلیپ‌های کوتاه‌تر فاقد زمینه هستند، در حالی که کلیپ‌های طولانی‌تر به مدل‌های بزرگ‌تر برای مدیریت پیچیدگی نیاز دارند». خوشبختانه، Stream قبلاً ویدیوها را برای پخش بهینه تقسیم می‌کند و تیم عملکردی را برای ترکیب این بخش‌ها در قطعات 30 ثانیه‌ای قبل از ارسال به Workers AI ایجاد کرده است.
برای بهینه‌سازی بیشتر سرعت پردازش، تیم تا حد امکان عملکردها را موازی کرد. این به معنای ایجاد دسته‌ای از صدا و ارسال درخواست‌ها به Workers AI است که مقیاس‌پذیری پلتفرم را به حداکثر می‌رساند. اگرچه این رویکرد زمان تولید شرح‌ها را به‌طور قابل‌توجهی کاهش می‌دهد، اما به پیچیدگی رسیدگی به پاسخ‌های رونوشت نامرتب می‌افزاید. به عنوان مثال، زیرنویس نیمه دوم ویدیو ممکن است قبل از زیرنویس نیمه اول باشد. برای اطمینان از همگام‌سازی مناسب با ویدیو، تیم سیستمی را برای مرتب‌سازی پاسخ‌های دریافتی و تنظیم مجدد مُهرهای زمانی ایجاد کردند که در نتیجه یک فایل متنی نهایی WebVTT درست شد.
فقط با 10 دلار در سال در خبرنامه ما مشترک شوید و اخبار بازاریابی را مستقیماً به ایمیل خود دریافت کنید. با عضویت، از PPC Land حمایت می کنید. همچنین می‌توانید PPC Land را در LinkedIn، Bluesky، Reddit، Mastodon، X، Facebook و Google News دنبال کنید.
