Sunʼiy intellektni oʻqitish uchun qariyb 6 mlrd soʻzdan iborat oʻzbek tili korpusi ochildi
Oʻzbekiston Raqamli texnologiyalar vazirligi Hugging Face platformasiga oʻzbek tilidagi matnlarning ochiq korpusini joylashtirdi — 5,6 mln hujjatdan iborat qariyb 6 mlrd soʻz. Toʻplam oʻzbek tilini yaxshiroq tushunadigan va shu tilda kontent yarata oladigan sunʼiy intellekt tizimlarini rivojlantirishga moʻljallangan.

Korpus lotin va kirill yozuvlaridagi materiallarni birlashtiradi. Unga raqamlashtirilgan kitoblar, gazeta maqolalari, arxiv matnlari, qonunchilik hujjatlari, Vikipediya maqolalari, veb-sahifalar va Telegramʼdagi ochiq postlar kiritilgan.
Joylashtirishdan oldin matnlar qayta ishlanib, sifat boʻyicha saralangan, soʻngra sohalar va mavzular yoʻnalishlari boʻyicha taqsimlangan. Vazirlik xabariga koʻra, shaxsiy maʼlumotlar maxsus belgilar bilan almashtirilgan. Jumladan, telefon raqamlari uchun [PHONE], ismlar uchun esa [NAME] belgilaridan foydalanilgan.
Hugging Faceʼdagi toʻplam sahifasida qariyb 5,64 mln yozuv koʻrsatilgan. Korpus Parquet formatida taqdim etilgan boʻlib, undagi maydonlar orasida matn, manba, mavzu sohasi, foydalanilgan yozuv turi va soʻzlar soni bor. Bu maʼlumotlar ishlab chiquvchilarga muayyan oʻqitish vazifalariga mos materiallarni tanlash imkonini beradi. Korpus kartasi.
Bunday toʻplamlar til modellari uchun boshlangʻich material boʻlib xizmat qiladi: katta hajmdagi matnlar asosida tizimlar til qonuniyatlari, soʻzlarni qoʻllash xususiyatlari va tushunchalar oʻrtasidagi aloqalarni oʻrganadi. Har ikki yozuv turining qoʻllab-quvvatlanishi turli oʻzbek tilidagi manbalar bilan ishlash uchun muhimdir.
Ishlanma prezident Shavkat Mirziyoyevning 2025-yil 21-oktabr kuni sunʼiy intellektni davlat boshqaruvi, iqtisodiyot va hududlarda joriy etishni jadallashtirish masalalariga bagʻishlangan yigʻilishda bergan topshirigʻini bajarishning bir qismiga aylandi. Oʻshanda davlat rahbari bunday tizimlar oʻzbek tilini toʻliq tushunishi zarurligini taʼkidlagan.
Vazirlik, shuningdek, korpusni yetakchi katta til modellari ishlab chiquvchilariga taqdim etish ustida ishlamoqda. Idora Qwen bilan hamkorlik boshlanganini maʼlum qildi. Toʻplamdan foydalanish tafsilotlari va uning modellarga integratsiyasi natijalari hozircha oshkor etilmagan.
Korpusni Hugging Faceʼdan yuklab olish mumkin. Korpus kartasida Open Data Commons Attribution — ODC-BY litsenziyasi koʻrsatilgan. U maʼlumotlar bazasidan manbani koʻrsatgan holda foydalanishni nazarda tutadi.




