Doğal dünya geleceğin robot gözlerine nasıl ilham veriyor

Elektrik Mühendisi Young Min Song, Güney Kore’deki Gwangju Bilim ve Teknoloji Enstitüsü’ndeki meslektaşı ona enstitü çevresindeki çok sayıda sokak kedisinin gözlerinin neden dikey şekilli öğrenciler olduğunu sorduğunu hatırlıyor. Şarkı, doğadan esinlenen robotlar için görsel bileşenler oluşturur, ancak o ana kadar kedicinin kapısındaki vizyonunu düşünmemişti.

Konuşmadan, kedi benzeri, 3D baskılı ayarlanabilir dikey bir öğrenciyle prototip bir robot gözü tasarlamak için şarkıya ilham verdi.¹. Gün ışığında, öğrencinin şekli dairesel yerine yarık benzeri olduğunda, prototip göz yoğun bir arka plana karşı daha doğru bir şekilde tespit edildi. Şarkı ayrıca görüntü sensörünün altına, kedilerin gözlerindeki ışık algılayan retinanın arkasında oturan tapetum lucidum adı verilen yansıtıcı hücrelerin katmanına modellenmiş desenli bir metal reflektör ekledi. Tapetum Lucidum, kaplanların retinayı daha fazla ışıkla besleyerek alacakaranlıkta avlarını görmelerini kolaylaştırdığı gibi, yansıtıcı hücre tabakası robotik gözün loş koşullarda görme yeteneğini geliştirdi.

Şarkı, kedi esintili robotik gözün, kontrast geliştirme gibi daha az yoğun işleme gerektiren, nesneleri izlemek için geleneksel bir dairesel diyafram ile aynı sistemi izlemek için yüksek kaliteli görsel veriler sağladığını gösterdi. Dikey bir öğrenci ile “izleme daha kararlı hale gelir” diyor ve enerji tüketimi azalıyor. “Görsel sistemin nasıl çok çalışması gerekmediğini gerçekten gösteriyor.”

Doğa Görünümü: Robotik ve Yapay Zeka

Şarkının küçük bir gözetim robotuna fayda sağlayacağını düşündüğü bir tasarım. “İyi donanım” diyor, “gizli bir hazine gibi – size hesaplamada bir ton enerji tasarrufu sağlıyor.”

Robotlar, onlarca yıldır var oldukları fabrika zeminlerinin kontrollü ortamlarının ötesine geçtikçe, sınırlı bir enerji kaynağı ile bir dizi algısal görevi hızla gerçekleştirmeleri zorunlu hale gelecektir. Örneğin, özerk bir araç, öngörülemeyen trafikte gezinmek için çeşitli aydınlatma ve hava koşulları altında dünyayı gerçek zamanlı olarak algılayabilmelidir. İsviçre’deki Zürih Uygulamalı Bilimler Üniversitesi’nde nöromorfik bilgi işlem uzmanı Yulia Sandamirskaya, daha iyi görme sistemlerinin güvenli, akıllı makinelerin başarısının anahtarı olduğunu düşünüyor. “Robotların insanlarla işbirliği yapması, hatta insanların etrafında bir şey yapması için daha akıllı görmeye ihtiyaçları var” diyor.

Bir robottaki tipik bir kamera tabanlı görme sistemi, gelen ışığı bir sensöre odaklamak için bir lens veya birden fazla lens kullanır-tipik olarak CMOS sensörü olarak bilinen düz bir yarı iletken cihazı. Bu sensörler, daha sonra görüntü üretmek için işlenmesi gereken çok miktarda ham veri üretir.

Daha akıllı bir vizyon elde etmenin bir yolu, gelen görsel verilerden daha hızlı bilgi elde edebilen algoritmalar oluşturarak bu işlemeyi geliştirmektir. Ancak şarkı ve diğer bilim adamları, yenilikçi donanımın – yani robotik görsel sistemlerin optik bileşenlerinin ve sensörlerinin de denklemin bir parçası olması gerektiğini söylüyor.

Lausanne’deki İsviçre Federal Teknoloji Enstitüsü’nde (EPFL) bir robotist olan Dario Floreano, makine algısına ana akım yaklaşımın duyusal cihazın donanımını ve sinyal işlemeyi ayrı ayrı düşünmek olduğunu düşünüyor. Fakat bu “indirgemeci bir vizyon perspektifi” diyor, “çünkü iki bileşen birbirine bağlı”. Floreano, daha iyi bir yaklaşımın, görüntü toplama organının-gözün-bu sinyalleri işleyen sinir devresi ile birlikte geliştiği biyolojik bir modeli taklit etmek olduğunu savunuyor. Şarkı kabul eder. “İnsan gözleri olan bir kartal hayal edin. İşleme ne kadar karmaşık olursa olsun, uzaktan gerçek bir kartalın yanı sıra gerçek bir kartalın yanı sıra mı? Muhtemelen değil – beyninin çılgın gibi çalışmak zorunda kalacağını düşünüyorsunuz” diyor.

Bazı mühendisler, geleneksel kamera donanımının en iyisini yapmak için akıllı hesaplamaya güvenmek yerine, birlikte daha az yoğun işleme gerektiren yüksek kaliteli görsel veriler toplayabilen yeni açıklıklar ve hayvandan ilham alan sensörler gibi optik bileşenleri deniyorlar. Umut, belirli koşullara ve görevlere göre uyarlanabilen bu donanımın sadece makinelerin çevrelerini algılama hızını arttırmakla kalmayacak, aynı zamanda hafif, pille çalışan robotlar için enerji tüketimini ve ağırlığı-önemli hususları da azaltacaktır.

Hayvan ilhamı

Şarkının kedi benzeri gözü, doğal dünyadan ilham alan tek tasarımı değildir. O ve meslektaşları benzer şekilde, öğrencileri parlak ışık altında ‘W’ şekli alan mürekkep balığı gözlerinden de etkilendiler. Düzensiz bir okyanus ortamında, W şeklinde bir öğrenci, suyun parlak yüzeyinden göze giren ışık miktarını azaltır.

Araştırmacılar, benzer şekilde aynı şekilde aydınlatılmış görüntüler üretmek için W şeklinde bir diyafram kullanan robotik bir görsel sistem tasarladı². Song, bu W şeklindeki öğrencinin, araçların parlak ışığı ele alma ve güneş parlamasıyla başa çıkmak için daha fazla işlem ihtiyacını azaltma yeteneğini geliştirmek için kendi kendini süren otomobillerin görme sistemine entegre edilebileceğini düşünüyor.

Alışılmadık öğrenci şekline rağmen, mürekkepbalığı gözü aksi takdirde, ışığı retinaya odaklamak için tek bir lens kullanarak geleneksel bir kamera ve gerçekten de kendi gözlerimizle aynı şekilde çalışır. Ancak bunlar doğada var olan tek göz türü değildir: robotistler de böceklerin ve kabukluların petek benzeri bileşik gözlerinden ilham alıyorlar.

Bileşik gözler, birçok küçük görsel birimin bir diziinden oluşur. Tasarımları, İngiltere Bristol Üniversitesi’nde bir robotist olan Helmut Hauser, tasarımlarının bir örneğidir, algılama, kontrol veya hesaplamanın vücudun şekline ve biçimine dış kaynaklardan sağlandığı bir ilke.

Bileşik bir gözün tasarımı, geleneksel kameralara göre belirli avantajlara sahiptir. Örneğin, hareketi algılamak için, uçan böcekler optik akışı – yani retina boyunca hareket paterni kaydeder. Floreano, geleneksel kamera teknolojisinin bu tür bilgileri toplayabileceğini söylüyor, ancak geniş bir görüş alanını kapsamak için birden fazla kamera veya geniş açılı lens gerektiriyor ve verileri anlamak için gereken işlem önemli. Örneğin, geniş açılı optiklerin neden olduğu bozulma ve sapmaları telafi etmelidir. Bileşik bir gözde, bu sorun birçok Ommatidia – gözü oluşturan bireysel fotoreseptif birimler tarafından çözülür. Floreano, “Bu Ommatidia doğrudan daha fazla hesaplama ayarlaması gerektirmeyen optik akış sinyalleri sunuyor” diyor. Her OMMATIDIUM aynı optik tasarım ve fotoreseptör düzenini takip eder ve 360 ​​dereceye kadar bir görüş alanı sağlayarak farklı yönlere işaret ederler.

Mühendisler, yıllardır bu küçük, hesaplama açısından hafif görme sistemini robotlara getirmeye çalıştılar ve Avrupa mantığı da dahil olmak üzere çeşitli hayvanlardan ilham alarak (Mantis dini)³ ve kemancı yengeç (UCA Arcuata)⁴. 2013 yılında, Illinois Üniversitesi Urbana-Champaign Üniversitesi’nde, Şarkı, şu anda Evanston, Illinois’deki Northwestern Üniversitesi’nde bulunan bir malzeme bilimcisi olan John Rogers ve diğer meslektaşları, bileşik göz ilham alan hemisferical kamera ve neredeyse infiş alanı olan bir alan oluşturmak için ilk bükülebilir optikler arasındaydı.⁵. Aynı yıl, Florieano uluslararası bir takıma Curvace adlı minyatür kavisli bir bileşik göz geliştirmeye yönlendirdi⁶. Gözü oluşturan her yapay ommatidyum, ışığı tam olarak kavisli bir fotodetektör tabakasına odaklayan cam üzerine kalıplanmış oldukça şeffaf bir polimer mikrolenlerden oluşur. Göz sadece 1.75 gram ağırlığındadır ve 630 Ommatidia’dan oluşur – bir Drosophila meyve sineğinin gözünde yer alanlar.

Yatay düzlemde 180 ° görüş alanı ve yüksek hareket hassasiyeti sağlayan yüksek zamansal çözünürlükle, eğrilik özellikle karmaşık ortamlarda ustaca gezinmesi ve gerçek zamanlı engellerden kaçınması gereken dronlar için uygundur. Gerçekten de, 2022’de, enerji tasarruflu 40 × 15 pikselde optik akışı tahmin etmek için çırpma kanatlı bir robotun prototipinde Curvace kullanıldı.⁷.

Karmaşık gözlerin karmaşık yapısı ve küçük boyutu ölçeklendirme zorlukları doğuruyor, Rogers, kavisli düzenlerde yüksek hacimli yoğun fotodetektör dizileri oluşturmakta zorluk çekiyor. “Donanım, özellikle uygun maliyetli, üretilen sistemler için ‘zor’” diyor.

Beyin benzeri algılama

Curvace’ın yenilikleri şeklin ve geniş görüş alanının ötesine geçer: görüntü sensörlerinin tasarımı da kongreden ayrılır. Curvace ışığı, tasarımları sinek gözünün nöral mimarisinden esinlendiği için adlandırılan bir dizi nöromorfik fotodetektöre odaklanır. Fotodetektörlerin çıkışı, gözün optik akış olarak işlenmesi için programlandığı algılanan ışığın yoğunluğunu işaret eder. Her OMMATIDIUM, fotodetektörlerin geleneksel kameraların sensörlerinden ve çok daha yüksek bir frekansta çok daha geniş bir ışık yoğunluklarına doğru yanıt vermesini sağlayan bir nöromorfik adaptasyon devresi ile donatılmıştır. Bu, sistemin tıpkı bir böceğin gözü gibi zayıf aydınlatılmış bir odada veya parlak bir gökyüzünün altında iyi çalışmasını sağlar.

Eğrilik yaratıldığından bu yana on yıl içinde, nöromorfik sensörler yavaş yavaş CMOS sensörlerine ticari alternatifler olarak ortaya çıkmıştır. Örneğin, 2015 yılında İsviçre Zürih’teki başlangıç ​​şirketi INIVATION, Zürih Üniversitesi’nde elektrik mühendisi Tobias Delbrück tarafından yönetilen bir ekip tarafından geliştirilen bir nöromorfik sensörü ticarileştirmek için kuruldu. Firmanın ‘dinamik görme sensörü’ insan retinasının çalışmalarından esinlenmiştir. Delbrück’ın nöromorfik sensörü, geleneksel görüntü sensörlerinin yaptığı gibi saniyede tek bir görüntü üretmek yerine, parlaklıktaki değişikliklere tepki verir. Başka bir deyişle, sensör dizisinin her pikseli, sadece ona çarpan ışığın yoğunluğunda bir değişiklik olduğunda bir sinyal oluşturur. Bu, bu ‘olay’ kameraların tipik sistemlerden çok daha az güç tükettiği anlamına gelir.

Sandamirskaya, CMOS sensörlerine sahip geleneksel kameralarda, “Görüntü üretilir ve herhangi bir şey değişiyor olsun ya da olmasın bilgisayara çıktı” diye açıklıyor Sandamirskaya. Bu “çok savurgan ve yavaş, [and] Çok fazla işleme gerektirir ”. Sadece olaylara tepki veren nöromorfik kameralar daha az hesaplama açısından pahalıdır ve algılama ile hareket bulanıklığından etkilenmedikleri işlem arasında bir gecikme olmadığı için, saniyede birden fazla görüntü üzerinde yoğun işlem yapmak yerine ‘görmenin’ geleceğe inanıyorum,“ bu şekilde, bu şekilde, bu tür, hızlı, zeki vaadi, “bu,“ bu, ”bu kadar hızlı bir şekilde inanır. “Evolution, robotlar için çözmek istediğimiz sorunların çoğunu çözen oldukça iyi bir çözüm bulmaya zaman ayırdı.”

Bedensel iyileştirme

Robotik görüşte nöromorfik kameraların kullanılmasının en büyük zorluğu, algılamayı bilgi işlemle hizalamaktır. Görüntü dizilerini alan geleneksel görme algoritmaları, olay verileri ile çalışmak için tasarlanmamıştır. Bu, nöromorfik sensörlerin çıkışının, yazılımın anlayabileceği bir forma dönüştürülmesi gerekebileceği anlamına gelir – ilk etapta geleneksel olmayan bir sensör kullanma amacını yener. Sandamirskaya, “Etkinliklerden çerçeveler yapmanız gerekecek ve bu sizi tekrar yavaşlatacak” diyor. “Tüm avantajları kaybediyorsun.” Bu nedenle, “bu kamerayı aynı zamanda bilgisayarla birleştirmenin” önemli olduğunu düşünüyor. Ancak sadece birkaç on yıldır varken, bu kameraların etrafında bir ekosistem geliştirmek için hala yapılması gereken çok iş var. Hollanda Delft Teknoloji Üniversitesi’nde yapay zeka (AI) ve robotik araştırmacısı Jesse Hagenaars, “Genel olarak nöromorfik donanım hala oldukça deneyseldir ve arayüz sınırlamaları nedeniyle her zaman kolay değildir” diyor.

Bazı mühendisler ve bilgisayar bilimcileri, gelecekteki doğadan ilham alan görme sistemleri için donanım ve yazılımları birlikte tasarlamak için birlikte çalışıyorlar. Örneğin Song, Cambridge’deki Massachusetts Teknoloji Enstitüsü’nde bilgisayar bilimcisi Frédo Durand ile bileşik gözlere dayanan bir projeyi tamamlıyor. Yüksek çözünürlüklü, ultra geniş açılı görüntüleme elde etmeye çalışıyorlar-geleneksel sinek gözü veya bileşik göz kamera araştırmalarının henüz tam olarak başaramadığı bir şey. Şarkının yapay zekaya sahip yapay bileşik gözler (ACE-AI) başlıklı rolü donanımı oluştururken, Durand ve ekibi donanımdan elde edilen bilgileri desteklemek ve geliştirmek için AI tekniklerini entegre ediyor.

Bu nitelikteki işbirlikleri, robotikçilerin daha basit bir bedenin her zaman daha iyi olduğu ortak görüşünden uzaklaştıklarının göstergeleridir. Araştırma finansmanının tahsisinde de bu değişikliğin işaretleri var: İngiltere hükümetinin ileri araştırma ve buluş ajansı (ARIA) – ABD Savunma İleri Araştırma Projeleri Ajansı’nda (DARPA) modellenmiş – örneğin, bir Daha Akıllı Robot Gövdeleri Denilen Projeyenilikçi algılama ve manipülasyon donanımı yaratmayı amaçlayan. Bir noktada, robotikteki birçok zorluğun çözümünün daha iyi işlemede yattığı düşünülmüş olabilir, ancak şimdi “bedeni akıllıca inşa etmemiz gerektiğine dair bir farkındalık var” diyor Hauser. “Yapay zekayı daha verimli kullanmamıza yardımcı olan bedenler.”