Raqamli texnologiyalar vazirligi tomonidan oʻzbek tilidagi yirik ochiq matnli ma’lumotlar korpusi ishlab chiqilib, Hugging Face platformasida ochiq foydalanish uchun joylashtirildi.
Oʻzbek tilidagi yirik ochiq matnli maʼlumotlar korpusi ishlab chiqilib, Hugging Face platformasida ochiq foydalanish uchun joylashtirildi. Bu haqda Raqamli texnologiyalar vazirligi matbuot xizmati xabar berdi.
Shavkat Mirziyoyev raisligida davlat boshqaruvi, iqtisodiyot tarmoqlari va hududlarda sunʼiy intellekt texnologiyalarini jadal joriy etish masalalari yuzasidan 2025-yil 21-oktyabrida bo‘lib o‘tgan videoselektor yigʻilishida davlat rahbari “Sunʼiy intellekt dasturlari samarali ishlashi uchun ular, avvalo, oʻzbek tilini mukammal darajada tushunishi zarur”, deb taʼkidlab, “Oʻzbek tili korpusi”ni yaratishni topshirgan edi. Korpus aynan shu topshiriq ijrosi doirasida ishlab chiqildi.
Vazirlikning bilrishicha, mazkur korpus jami 5,6 millionta hujjat va 6 milliardga yaqin soʻzni oʻz ichiga oladi. Undagi maʼlumotlar oʻzbek tilining lotin va kirill yozuvlarida jamlangan. Korpus tarkibidan skanerlangan kitoblar, gazeta va arxiv materiallari, qonunchilik hujjatlari, Vikipediya maqolalari, veb-sahifalar hamda ochiq Telegram postlari oʻrin olgan. Toʻplangan matnlar maxsus qayta ishlash jarayonidan oʻtkazilib, sifati boʻyicha saralangan, soha va mavzular kesimida tasniflangan. Shuningdek, shaxsiy maʼlumotlar [Phone], [Name] kabi maxsus belgilar bilan almashtirilgan.
“Ushbu tashabbusning asosiy maqsadi oʻzbek tilidagi raqamli maʼlumotlar bazasini kengaytirish, sunʼiy intellekt modellarining oʻzbek tilini tushunish, qayta ishlash va ushbu tilda sifatli matnlar yaratish imkoniyatlarini oshirishdan iborat”, deyiladi Raqamli texnologiyalar vazirligi xabarida.
Qayd etilishicha, ayni paytda vazirlik mazkur korpusni yetakchi katta til modellari (LLM) ishlab chiquvchilariga taqdim etish boʻyicha ish olib bormoqda. Xususan, Qwen modeli bilan hamkorlikdagi ishlar boshlangan. Bu kelgusida sunʼiy intellekt texnologiyalarining oʻzbek tilidagi imkoniyatlarini yanada kengaytirish, milliy tilimizda ishlaydigan AI yechimlarini rivojlantirish uchun muhim asos boʻlib xizmat qiladi.
Alpha version: 0.9.1.19 build 112101 | Инструменты