Двајца македонски истражувачи постигнаа значаен успех во областа на вештачката интелигенција, откако нивниот научен труд беше прифатен на една од најпрестижните светски конференции за машинско учење – International Conference on Learning Representations.
Станува збор за прилепчанецот Антониј Мијоски и Марко Карбевски од Скопје, кои се автори на научниот труд со наслов „Key and Value Weights Are Probably All You Need: On the Necessity of the Query, Key, Value weight Triplet in Self-Attention Transformers“. Трудот ќе биде презентиран во рамки на работилницата DeLTa на конференцијата.
Истражувањето се фокусира на архитектурата на т.н. Transformer (deep learning architecture) модели – технологија што претставува основа за современите системи за вештачка интелигенција како ChatGPT, Gemini и Claude.
Во трудот се анализира клучниот механизам на овие модели, познат како „self-attention“, при што авторите предлагаат можни подобрувања на начинот на кој функционира системот на тежини „Query, Key и Value“, што е една од основните компоненти во работата на трансформер моделите.
Она што го прави овој успех уште повпечатлив е фактот што истражувањето било реализирано без поддршка од институционален истражувачки центар или лабораторија. Авторите истакнуваат дека сите експерименти биле финансирани лично и реализирани од чист ентузијазам, а дел од нив траеле и со месеци.
Според нивните информации, ова е и прв научен труд зад кој стои целосно македонски тим, а кој учествува на конференција од ваков ранг во областа на вештачката интелигенција.
Авторите посочуваат дека нивната долгорочна цел е развој на модели кои би можеле да најдат практична примена во индустријата, а учеството на конференцијата претставува важен чекор во таа насока.