Google, Gemini Live’a Guided Vision Özelliğini Ekledi: Telefon Kamerası Artık Çevrenizi Anlatıyor
Google, Gemini Live için erişilebilirlik odaklı yeni özelliği Guided Vision‘ı kullanıma sunmaya başladı. Android cihazların kamerasından gelen görüntüyü gerçek zamanlı olarak analiz eden özellik; çevredeki nesneleri tanımlayabiliyor, küçük yazıları okuyabiliyor ve kullanıcının kamerayı doğru noktaya çevirmesine sesli komutlarla yardımcı olabiliyor.
Özellikle görme engelli ve az gören kullanıcılar düşünülerek geliştirilen Guided Vision, Gemini’ı yalnızca soruları yanıtlayan bir yapay zekâ asistanından çıkarıp çevrede olup bitenleri sözlü olarak aktarabilen bir yardımcıya dönüştürmeyi amaçlıyor.
Gemini Live Guided Vision Nedir?
Guided Vision, Gemini Live görüşmesi sırasında telefonun kamerasının yapay zekâ ile paylaşılmasını sağlıyor. Gemini, kameradan aldığı görüntüyü analiz ederek kullanıcının karşısındaki ortamı veya nesneyi sesli biçimde tarif edebiliyor.
Örneğin kullanıcı telefonunun kamerasını bir odaya doğrultarak çevresinde neler bulunduğunu sorabiliyor. Gemini yalnızca ilk görüntüyü açıklamakla kalmıyor; kullanıcı daha sonra gördüğü bir nesnenin rengini, şeklini veya nerede bulunduğunu sorarak konuşmaya devam edebiliyor.
Sistemin dikkat çekici taraflarından biri de kameranın doğru konumlandırılması için aktif olarak yardımcı olması.
Kamera çok yukarı bakıyorsa Gemini telefonun aşağı doğru eğilmesini, aranan nesne kadrajın dışında kalıyorsa kameranın sağa veya sola çevrilmesini, görüntü fazla yakınsa ise kullanıcının biraz geri çekilmesini isteyebiliyor.
Böylece sistem yalnızca görüntüyü analiz etmek yerine kullanıcı ile kamera arasında gerçek zamanlı bir yönlendirme mekanizması oluşturuyor.
Küçük Yazıları Okuyabiliyor, Nesneleri Bulabiliyor
Guided Vision’ın günlük hayatta oldukça farklı kullanım senaryoları bulunuyor.
Google’ın paylaştığı örneklere göre özellik;
- yiyecek paketlerindeki küçük besin değerlerini okumak,
- restoran menülerindeki yazıları seslendirmek,
- çamaşır makinesi üzerindeki programları tanımlamak,
- nesnelerin renklerini, desenlerini ve şekillerini açıklamak,
- odadaki veya dolaptaki belirli bir nesnenin yerini bulmaya yardımcı olmak,
- bilinmeyen bir ortamın genel görünümünü tarif etmek
gibi işlemlerde kullanılabiliyor.
Örneğin kullanıcı kalabalık bir baharat dolabında karabiberin nerede olduğunu Gemini’a sorabiliyor. Benzer şekilde yere düşürülen bir kulaklığın çevrede hangi noktada bulunduğu konusunda da görsel yardım alınabiliyor.
Özellik yalnızca görme engelli kişilerle sınırlı düşünülmüyor. Google, küçük yazıları okumakta zorlanan yaşlı kullanıcıların veya düşük ışıklı ortamlarda metin okumaya çalışan kişilerin de Guided Vision’dan yararlanabileceğine dikkat çekiyor.
Guided Vision Nasıl Kullanılıyor?
Google, Guided Vision’a Android üzerinde birden fazla yöntemle ulaşılmasını sağlıyor.
Gemini uygulamasının ayarlarından özellik etkinleştirildikten sonra Gemini Live başlatılarak kamera paylaşılabiliyor.
Android’in erişilebilirlik ayarları üzerinden de Guided Vision için bir kısayol oluşturulabiliyor. Kullanıcılar yapılandırmalarına göre ekrandaki erişilebilirlik düğmesini, iki parmakla kaydırma hareketini veya ses tuşlarını kullanarak özelliği başlatabiliyor.
TalkBack kullanan kişiler ise ekrana üç parmakla dokunarak TalkBack menüsünü açıp buradan Guided Vision seçeneğine erişebiliyor.
Bu entegrasyon, Google’ın özelliği ayrı bir yapay zekâ demosundan ziyade Android’in mevcut erişilebilirlik araçlarıyla birlikte çalışan günlük bir yardımcı haline getirmek istediğini gösteriyor.
Aira ile Birlikte Geliştirildi
Google, Guided Vision’ın geliştirilme sürecinde görsel erişilebilirlik hizmetleri sunan Aira ile birlikte çalıştı.
Şirketin açıklamasına göre Gemini Live’ın gerçek dünya koşullarındaki görsel durumları daha iyi anlayabilmesi amacıyla Aira ile birlikte on binlerce saatlik görsel yorumlama verisi üzerinde çalışıldı.
Ayrıca Aira’nın Trusted Tester ağına dahil 1.000’den fazla kullanıcı, sistemi günlük kullanım senaryolarında deneyerek geri bildirim sağladı.
Testlerin Hindistan, Brezilya, Singapur, Endonezya ve Japonya gibi farklı bölgelerdeki görme engelli ve az gören kullanıcıların katılımıyla gerçekleştirilmesi de dikkat çekiyor.
Hangi Android Telefonlarda Çalışıyor?
Guided Vision, Android 9 ve üzerini kullanan uyumlu Android cihazlarda, Gemini Live’ın desteklendiği dil ve bölgelerde kullanıma sunuluyor.
Gemini mobil uygulamasının Android tarafındaki genel sistem gereksinimleri ise en az 2 GB RAM ve Android 9 olarak belirtiliyor.
Google ayrıca Guided Vision’ın dağıtımının kademeli şekilde gerçekleştirildiğini söylüyor. Bu nedenle sistem gereksinimlerini karşılayan bir telefonda bile özellik ilk etapta görünmeyebilir.
Gemini’ın mobil uygulaması Türkçeyi destekliyor. Ancak Guided Vision’ın kullanıcılara açılması bölge, hesap ve dağıtım takvimine bağlı olabileceğinden Türkiye’deki tüm Android kullanıcılarının özelliği aynı anda görmesi beklenmemeli.
Özelliği kontrol etmek isteyen kullanıcılar Gemini uygulamasını ve Android sistem yazılımını güncel tuttuktan sonra Gemini ayarlarında Guided Vision seçeneğinin bulunup bulunmadığına bakabilir.
Google’dan Önemli Güvenlik Uyarısı
Guided Vision gelişmiş görüntü analizi özellikleri sunsa da Google, teknolojinin üretken yapay zekâ kullandığı için hata yapabileceğinin özellikle altını çiziyor.
Şirket bu nedenle özelliğin;
navigasyon, güvenli seyahat, engel tespiti veya baston gibi hareketlilik araçlarının yerine kullanılmaması gerektiğini belirtiyor.
Guided Vision aynı zamanda tıbbi bir cihaz veya profesyonel hareketlilik yardım sistemi olarak da tanımlanmıyor.
Örneğin kullanıcının karşıdan karşıya geçerken yalnızca Gemini’ın verdiği görüntü yorumuna güvenmesi veya fiziksel bir engelin bulunmadığını sistemden teyit etmeye çalışması önerilmiyor.
Yapay Zekâ Erişilebilirlik Alanında Daha Fazla Rol Üstleniyor
Guided Vision, çok modlu yapay zekâ modellerinin günlük hayatta nasıl kullanılabileceğine dair önemli örneklerden biri.
Gemini gibi yeni nesil modeller artık yalnızca yazılı soruları değerlendirmiyor; ses, kamera görüntüsü ve doğal konuşmayı aynı etkileşim içerisinde bir araya getirebiliyor.
Bu yeteneklerin erişilebilirlik özellikleriyle birleşmesi ise yapay zekânın kullanım alanını daha da genişletiyor.
Google’ın Guided Vision yaklaşımında dikkat çeken nokta, sistemin yalnızca “kamerada ne var?” sorusuna cevap vermemesi. Gemini aynı zamanda kullanıcıya kamerayı nasıl hareket ettirmesi gerektiğini söyleyerek ihtiyaç duyduğu görüntüyü elde etmeye çalışıyor.
Bu da gelecekte yapay zekâ asistanlarının telefon kameralarını yalnızca bir görüntü kaynağı olarak değil, kullanıcının fiziksel dünyayla etkileşimine yardımcı olan gerçek zamanlı bir sensör olarak daha fazla kullanabileceğine işaret ediyor.
