یک استارتاپ تولید صوت با استفاده از هوش مصنوعی که توسط متخصصان سابق TikTok در بخش‌های هوش مصنوعی و موسیقی تاسیس شده، 11 میلیون دلار سرمایه جذب کرده است تا مدل‌هایی را توسعه دهد که موسیقی و جلوه‌های صوتی را با توجه به اتفاقات روی صفحه تولید کنند.
شرکت Sonilo که در سان فرانسیسکو مستقر است، این سرمایه را با هدایت B Capital و مشارکت Redpoint به دست آورده است. این سرمایه برای تامین قدرت محاسباتی مورد نیاز برای مقیاس‌بندی مدل‌های خود استفاده خواهد شد. این شرکت همچنین قصد دارد دامنه فعالیت خود را با تولیدکنندگان محتوا و پلتفرم‌های توسعه‌دهندگان گسترش دهد و کسب‌وکار صدور مجوز موسیقی خود را توسعه دهد.
فناوری اصلی Sonilo که Sound World Model نام دارد، یک سیستم چندوجهی است که درک ویدیو را با تولید و زمان‌بندی صدا مرتبط می‌کند. این فناوری موسیقی و جلوه‌های صوتی را به عنوان عناصر مستقل در نظر نمی‌گیرد. در عوض، این فناوری با خواندن حرکت و تغییرات احساسی یک صحنه، صدایی تولید می‌کند که به طور طبیعی با آن صحنه مطابقت دارد. کاربران می‌توانند یک کلیپ را آپلود کنند، توضیحی را تایپ کنند یا هر دو را ترکیب کنند تا یک موسیقی متن هماهنگ برای استفاده تجاری دریافت کنند.
شون سونگ، مدیرعامل و بنیانگذار Sonilo گفت: «ما Sonilo را ساختیم تا داستان بصری را درک کند. شما فیلم را به ما می‌دهید و Sonilo درک می‌کند که در هر فریم چه اتفاقی می‌افتد، از جمله سرعت، احساسات و داستان، و موسیقی و جلوه‌های صوتی تولید می‌کند که به طور طبیعی با صحنه مطابقت دارند.»
سونگ که در CMU آموزش دیده است، رهبری کار فناوری هوش مصنوعی چندوجهی در TikTok را بر عهده داشت، جایی که در کنار الکس یین، مدیر ارشد فناوری Sonilo کار می‌کرد. یین دکترای موسیقی کامپیوتری را از دانشگاه یورک دریافت کرده است. کلی لی، مدیرعامل، عملیات موسیقی جهانی TikTok را ایجاد و اداره کرده و سابقه معاملات حقوقی و مشارکت با صنعت موسیقی را دارد. تریستا تیلور، مدیر بازاریابی، در توسعه برنامه‌های کاربردی هوش مصنوعی مصرف‌کننده که در رتبه‌بندی Top 50 a16z قرار گرفته‌اند، کمک کرده است.
این پلتفرم برای تولیدکنندگان محتوا در ویدیوهای کوتاه و درام‌های کوتاه، پلتفرم‌های توسعه‌دهنده که ابزارهای ویدیویی هوش مصنوعی را جمع‌آوری می‌کنند و تیم‌های تولیدی سازمانی طراحی شده است. این پلتفرم همچنین دوبله هوش مصنوعی با همگام‌سازی لب را ارائه می‌دهد، که به مجموعه‌های درام کوتاه و استودیوهای محتوا اجازه می‌دهد تا ویدیو را بدون ویرایش دستی در مرحله پس از تولید به زبان‌های دیگر بومی‌سازی کنند. TapNow و ComfyUI به عنوان شرکای توزیع اولیه به این پلتفرم پیوسته‌اند.
دیزی کای، شریک عمومی در B Capital گفت: «ما معتقدیم که تولید صوت جنبه ضروری از پشته ویدیویی بومی هوش مصنوعی خواهد شد. Sonilo به دلیل فناوری چندوجهی خود برجسته است، زیرا به تولیدکنندگان محتوا دو راه برای تولید موسیقی و جلوه‌های صوتی می‌دهد: توصیف آنچه می‌خواهند در متن، یا ارائه یک ویدیو و اجازه دادن به مدل برای ایجاد صدایی که با صحنه مطابقت دارد.»
در زمینه حقوق، Shutterstock یک شریک صدور مجوز اولیه است. Sonilo گفت که مدل‌های آن از موسیقی دارای مجوز یاد می‌گیرند و هنرمندان و دارندگان حقوق هم حق دریافت هزینه صدور مجوز و هم سهمی از درآمد را دارند. این شرکت در حال نهایی کردن توافقات انتشار و ضبط اصلی با سازمان‌های حقوقی اصلی است که انتظار می‌رود در هفته‌های آینده نهایی شود.
برنامه مصرف‌کننده قرار است در سه ماهه چهارم راه اندازی شود و ابزار تبدیل ویدیو به موسیقی را مستقیماً در اختیار تولیدکنندگان محتوا قرار دهد.
B Capital که در سال 2015 تاسیس شده است، بیش از 9 میلیارد دلار مدیریت می‌کند و تیم‌هایی در 9 مکان در سراسر ایالات متحده و آسیا دارد.