Gelişen teknoloji ile birlikte pazarlama stratejileri de değişiklik göstermektedir. Günümüzde, yapay zeka teknolojilerinin iş dünyasına entegre edilmesiyle birlikte, pazarlama ve reklamcılık sektörlerinde de önemli yenilikler yaşanmaktadır. Golive Arge departmanı olarak, bu değişiklikleri yakından takip ediyor ve farklı firmalar için yenilikçi projeler geliştiriyoruz. Bunlardan biri de Yapay Zeka Destekli Video Pazarlama Uygulamasıdır.

Bu projenin amacı, bir görüntüdeki elbise, ayakkabı gibi pazarlama ürünleri tespit edilerek, görüntü üzerinde ürünün renk ve boyut gibi özelliklerini değiştirmek ve ayrıca görüntüde insan tespiti yapılıp, insanın pozu değiştirilerek farklı bir poz ile görüntü oluşturmaktır. Bu, markaların pazarlama ve reklam çalışmalarını daha etkili ve verimli bir şekilde yapmasına olanak tanır.

Proje, 4 aşamalıdır:

1. Görüntü Sentezi
2. Resmin İçindeki Ürünün Piksel Bazlı Tespiti
3. Resmin İçindeki İnsanın Piksel Bazlı Tespiti
4. 3D İnsan Modellemesi

Görüntü Sentezi

İlk aşamada e-ticaret sitelerinin envanterlerinde var olan ürünlerin 3 boyutlu modellerinin sentezlenmesi amaçlanmıştır. Nerf veya 3 boyutlu iç boyama gibi yöntemler test edilmiştir. Ama GAN tabanlı yöntemlerde başarı oranı daha yüksek olduğu gözlemlenmiştir.

Bu nedenle, projede GAN tabanlı yöntemlerin kullanılmasına karar verilmiştir. Şekil 1 ve 2’de GAN ile üretilen sonuçlardan örnekler gösterilmektedir.

Görüntü sentez aşamasında, GAN elde edilen sentetik görüntülerin, bu görüntülerin türetilmesinde kullanılan gerçek görüntülerle veya bu gerçek görüntülerin ait olduğu veri setinde ki diğer gerçek görüntülerle arasındaki benzeşim düzeyi karşılaştırılmaktadır.

Resmin İçindeki Ürünün Piksel Bazlı Tespiti

Resmin içindeki ürünün piksel bazlı tespiti aşamasında, UNet ağı modifiye edilerek, resim içindeki ürünün (bu projede ayakkabı) piksel bazlı tespiti sağlanmıştır. Bu model, sadece ayakkabı görüntüleri veya insanlar tarafından giyilmiş ayakkabılardan oluşan bir veri seti ile eğitilmiştir. Şekil 3’de sonuçlardan bir örnek gösterilmektedir. Modelin ürettiği sonuçlar ile var olan maskeler accuracy_score, jaccard_score ve f1_score parametreleri ile kıyaslanmış ve sonuçlar şu şekilde bulunmuştur:

• Accuracy Score: 99.3077840684336
• Jaccard Score: 98.65040165159472
• F-1 Score: 99.3077840684336

Resmin içindeki insanın piksel bazlı tespiti

Resmin içindeki insanın piksel bazlı tespiti aşamasında ise, dört kategoride sonuç üreten bir UNet modeli kullanılmıştır. Bu model, resmi saç, cilt, giysi ve arka plan olarak dört sınıfa ayırmaktadır. Model sonucunda üretilen saç, cilt ve giysi kategorileri birleştirilerek bu model ile piksel bazlı insan tespiti sağlanmıştır. Şekil 4’de üretilen sonuçlardan bir örnek gösterilmektedir. Modelin başarı oranı, önceden eğitilmiş hazır bir insan segmentasyonu yapan u2net modeli ile test edilmiştir. Test sonuçları ise şu şekildedir:

• Accuracy Score: 90.80222778320308
• Jaccard Score: 83.42822207931677
• F-1 Score: 90.80222778320308

3D İnsan Modellemesi

Son aşama olan 3D İnsan Modellemesi aşamasında, giysili 3D insan modellemesi projesinin başarısı “lpips” ile ölçülmüştür. 34 farklı insanın, 3 farklı açıdan görüntüleri alınmıştır. Şekil 5’de üretilen sonuçlardan bir örnek gösterilmektedir. Lpips benzerlik oranı 0.788610 bulunmuştur.

Yüksek Başarı Oranı

Sonuç olarak, projenin 3D insan modellemesindeki poz transferinde başarı oranı %88‘e kadar çıktı. Ürün tespitinde başarı %99.30, insan tespitinde %90.8 elde edildi. 3D insan modellemesinde başarı %78‘e kadar çıktı. TÜBİTAK desteği için sunum yapılmıştır.

Bu projenin, pazarlama ve reklamcılık sektöründeki firmalar için büyük bir potansiyel taşıdığına inanıyoruz. Geliştirilen uygulama sayesinde, firmalar, ürünlerini daha etkili bir şekilde tanıtabilecek ve potansiyel müşterilerine daha çekici ve etkili reklamlar sunabilecektir.