MIT araştırmacıları, herhangi bir parlak nesneyi bir tür kameraya dönüştüren yeni bir bilgisayar görüş sistemi sunuyor: gözlemcinin köşeleri veya engellerin arkasını görmesini sağlıyor.

Bir kişinin yakın çevresi hakkında değerli ve genellikle gizli bilgiler, nesnenin yansımasından elde edilebilir. Bunları kamera olarak yeniden tasarlayarak, duvarlardan veya gökyüzüne bakmak gibi daha önce hayal bile edilemeyen beceriler gerçekleştirilebilir. Nesne geometrisi, malzeme özellikleri, 3B ortam ve gözlemcinin bakış açısı gibi birçok faktör yansımaları etkilediğinden bu zordur. İnsanlar, bir nesnenin geometrisini çözerek ve ondan yansıyan aynasal radyasyondan onu dahili olarak aydınlatarak, çevreleyen ortamın örtülü kısımları hakkında derin ipuçları ve çıkarımlar elde edebilir.

MIT ve Rice’daki bilgisayarla görme araştırmacıları, gerçek ortamın görüntülerini üretmek için yansımaları kullanmanın bir yolunu geliştirdiler. Yansımaları kullanarak, parlak nesneleri “kameralara” dönüştürerek, kullanıcının seramik kahve fincanı veya metal kağıt ağırlığı gibi sıradan öğelerin “merceklerinden” dünyaya baktığı izlenimini veriyorlar.

Araştırmacıların kullandığı yöntem, belirsiz geometriye sahip parlak nesnelerin radyasyon alan kameralarına dönüştürülmesini içeriyor. Ana fikir, nesnenin yüzeyini dijital bir sensör olarak kullanarak çevreden yansıyan ışığı iki boyutlu olarak kaydetmektir.

Araştırmacılar, ortamın radyasyon alanlarının restorasyonu sayesinde, yalnızca doğrudan sahnedeki parlak nesne tarafından görülebilen ancak gözlemci tarafından görülemeyen yeni perspektifler sunan yeni görüş sentezini açıklıyor. Ayrıca, radyasyon alanını kullanarak sahnedeki yakındaki nesneler tarafından üretilen aglodratları hayal edebiliriz. Araştırmacılar tarafından geliştirilen yöntem, nesnenin geometrisini, dağınık radyasyonunu ve 5D ortamının radyasyon alanını aynı anda tahmin etmek için nesnenin birkaç fotoğrafı kullanılarak uçtan uca öğretilir.

Araştırma, nesneyi yansımasından ayırmayı, böylece nesnenin dünyayı bir kamera gibi “görmesini” ve çevresini kaydetmesini amaçlar. Bilgisayar görüşü, bir süredir yansımalarla mücadele ediyor çünkü bunlar, şekli bilinmeyen bir 3B sahnenin bozuk 2B temsili.

Araştırmacılar, nesnenin yüzeyini sanal bir sensör olarak modelliyor ve nesne tarafından görüldüğü şekliyle dünyanın üç boyutlu bir temsilini oluşturmak için nesnenin etrafındaki 5 boyutlu çevre radyasyon alanının iki boyutlu projeksiyonunu topluyor. Çevrenin radyasyon alanının çoğu, nesnenin yansımaları dışında engellenir. Görüş alanının ötesinde, romanın görüntüsünü sentezlemek ya da sadece sahnedeki parlak nesne tarafından doğrudan görülebilen ancak gözlemci tarafından görülemeyen yeni perspektifler sunmak, ortamın radyasyon alanlarının kullanılmasıyla mümkün olmaktadır. nesneden çevresine derinlik ve parlaklık tahmini için.

Kısacası, ekip şunları yaptı:

• Yalnızca sanal konileri kullanarak ortamlarının 3B görüntülerini alma yeteneği ile örtülü yüzeylerin nasıl sanal sensörlere dönüştürülebileceğini gösteriyorlar.
• Birlikte, nesnenin 5 boyutlu çevreleyen radyasyon alanını hesaplar ve dağınık radyasyonunu tahmin ederler.
• İnsan gözüyle görülemeyen yeni perspektifler oluşturmak için çevredeki ortamın ışık alanının nasıl kullanılacağını gösterirler.

Bu proje, şekli ve albedo’su bilinmeyen parlak bir elementin birçok fotoğrafından okyanusun beş boyutlu radyasyon alanını yeniden oluşturmayı amaçlıyor. Yansıtıcı yüzeylerden gelen parlama, görüş alanı dışındaki bir sahnenin unsurlarını ortaya çıkarır. Spesifik olarak, parlak nesnenin yüzey kuralları ve eğriliği, gözlemcinin görüntülerinin gerçek dünyaya nasıl eşlendiğini belirler.

Araştırmacılar, yansıyan nesnenin şekli veya bozulmaya katkıda bulunan gerçeklik hakkında daha doğru bilgilere ihtiyaç duyabilir. Parlak bir nesnenin renginin ve dokusunun yansımalarla karışması da mümkündür. Ayrıca, yansımalar üç boyutlu bir ortamın iki boyutlu izdüşümleri olduğundan, yansıtılan sahnelerde derinliği ayırt etmek kolay değildir.

Araştırma ekibi bu engellerin üstesinden geldi. Parlak nesneyi farklı açılardan fotoğraflayarak başlarlar ve çeşitli yansımaları yakalarlar. Orca (Objects Like Radiance-Field Cameras), üç aşamalı süreçlerinin kısaltmasıdır.

Orca, nesneyi farklı açılardan görüntüleyerek çoklu görüntü yansımalarını kaydedebilir; bunlar daha sonra parlak nesne ile sahnedeki diğer nesneler arasındaki derinliği ve parlak nesnenin şeklini tahmin etmek için kullanılır. Görüntüdeki her noktadan gelen ve isabet eden ışık ışınlarının gücü ve yönü hakkında daha fazla bilgi, ORCa’nın 5D radyasyon alanı modeli tarafından yakalanır. Orca, bu 5 boyutlu radyasyon alanındaki veriler sayesinde daha doğru derinlik tahminleri yapabiliyor. Sahne 2 boyutlu bir görüntü yerine 5 boyutlu bir radyasyon alanı olarak işlendiğinden, kullanıcı açılar veya diğer engeller nedeniyle gizlenebilecek ayrıntıları görebilir. Araştırmacılar, ORCa’nın 5D radyasyon alanını topladıktan sonra, kullanıcının alanın herhangi bir yerine sanal bir kamera yerleştirebileceğini ve kameranın üreteceği sentetik görüntüyü oluşturabileceğini açıklıyor. Kullanıcı ayrıca bir öğenin görünümünü örneğin seramikten metale değiştirebilir veya sanal nesneleri sahneye dahil edebilir.

Araştırmacılar, radyasyon alanının tanımını geleneksel görüş hattı radyasyon alanının ötesine genişleterek, çevreyi ve içindeki nesneleri araştırmak için yeni yollar açabilirler. Öngörülen sanal genişlikleri ve derinlikleri kullanan bu çalışma, kameranın görüş alanının dışından gelen bilgileri tahmin etmek gibi sanal nesne yerleştirme ve 3B algılama olasılıklarını açabilir.

tara kağıt Ve proje sayfası. katılmayı unutma 22k+ML Alt RedditVe anlaşmazlık kanalıVe Ve E-posta bülteni, en son AI araştırma haberlerini, harika AI projelerini ve daha fazlasını paylaştığımız yer. Yukarıdaki makaleyle ilgili herhangi bir sorunuz varsa veya atladığımız bir şey varsa, bize şu adresten e-posta göndermekten çekinmeyin: [email protected]

🚀 AI Tools Club’da 100’s AI Tools’a göz atın