Czym jest App Builder firmy OpenMind i jak działa?

openmind tworzy narzędzia mające na celu zmniejszenie złożoności tworzenia oprogramowania dla maszyn autonomicznych. W centrum tych działań znajduje się OM1, system operacyjny typu open source przeznaczony dla robotów i innych inteligentnych urządzeń. Firma często opisuje OM1 jako platformę robotyczną w stylu Androida, co oznacza współdzielone środowisko uruchomieniowe, które abstrahuje od różnic sprzętowych, jednocześnie pozwalając programistom skupić się na zachowaniu i logice.

Niedawno OpenMind wprowadził Twórca aplikacji OpenMind, wizualne narzędzie konfiguracyjne w portalu dla programistów, które umożliwia programistom tworzenie, modyfikowanie i wdrażanie aplikacji robotycznych bez konieczności pisania kodu dla typowych zadań. Ogłoszeniu, opublikowanemu za pośrednictwem oficjalnego konta firmy na platformie X, towarzyszył krótki film demonstracyjny pokazujący działanie produktu.

W tym artykule wyjaśniono, czym jest OpenMind App Builder, jak działa od strony technicznej i jakie jest jego miejsce w szerszym ekosystemie OM1.

Jaka jest szersza misja OpenMind?

Celem OpenMind jest umożliwienie rozwoju autonomicznych maszyn poprzez współdzielone standardy i modułowe oprogramowanie. OM1 jest licencjonowany na licencji MIT i rozwijany w sposób otwarty w serwisie GitHub, gdzie zyskał uznanie tysięcy osób i wkład społeczności. Środowisko uruchomieniowe zostało zaprojektowane z myślą o obsłudze szerokiej gamy robotów, w tym humanoidów, czworonogów, takich jak seria Unitree Go, oraz mobilnych platform badawczych, takich jak TurtleBot.

 Firma wspierana przez Pi Network Ventures jest również głównym współtwórcą Fabric Foundation, organizacji skupiającej się na standardach koordynacji maszyn autonomicznych i tożsamości w łańcuchu. Fabric promuje specyfikacje takie jak ERC 7777, która definiuje sposób opisywania i wymiany zachowań robotów. App Builder jest pozycjonowany jako praktyczny interfejs oparty na tych systemach bazowych.

Czym jest OpenMind App Builder

OpenMind App Builder to wizualny interfejs bez kodu i z niską liczbą kodów, służący do konfiguracji zachowań robotów na platformie OM1. Dostęp do niego można uzyskać za pośrednictwem portalu dla programistów OpenMind po utworzeniu konta. Zamiast ręcznie pisać pliki konfiguracyjne, programiści tworzą aplikacje, tworząc węzły wizualne reprezentujące tryby robota i definiując sposób, w jaki te tryby się ze sobą łączą.

Każda aplikacja jest reprezentowana w postaci schematu blokowego. Węzły odpowiadają stanom behawioralnym, takim jak powitanie, nawigacja czy mapowanie. Przejścia między węzłami definiują, kiedy i jak robot przełącza się z jednego zachowania na inne. Wynikowa konfiguracja jest zapisywana i może zostać wdrożona bezpośrednio na kompatybilnym sprzęcie za pośrednictwem portalu.

App Builder nie zastępuje tradycyjnego programowania. Działa na bazie systemu konfiguracji OM1 i eksportuje ustrukturyzowane pliki konfiguracyjne, które można rozszerzać lub modyfikować w kodzie w przypadku zaawansowanych zastosowań.

Odkryj obiecujące projekty...

Obiecujące projekty...

(Reklama)

Artykuł ciąg dalszy...

Podstawowe koncepcje i terminologia

Aby zrozumieć działanie App Buildera, konieczna jest znajomość kilku koncepcji OM1.

Tryby pracy

Tryb to dyskretny stan zachowania. Na przykład robot może mieć tryb powitalny, tryb nawigacji i tryb pamięci. Każdy tryb definiuje używany model językowy, aktywne czujniki, dozwolone akcje oraz dostępny kontekst tła.

Węzły i przejścia

W edytorze wizualnym każdy tryb pojawia się jako węzeł. Przejścia to połączenia kierunkowe między węzłami. Przejście zawiera warunki, które określają, kiedy robot przechodzi z jednego trybu do drugiego. Programiści mogą określić, że polecenie głosowe powoduje przejście z trybu bezczynności do nawigacji.

Dane wejściowe, działania i tło

Dane wejściowe reprezentują źródła danych z czujników lub takie jak mikrofony, kamery czy strumienie internetowe. Akcje reprezentują dane wyjściowe, takie jak polecenia ruchu, synteza mowy czy zapisy w pamięci. Tła zapewniają trwały kontekst, taki jak lokalizacja GPS czy stan nawigacji.

Haki cyklu życia

Każdy tryb zawiera haki cyklu życia, w tym monit systemowy dla modelu języka. Pozwala to programistom kontrolować zachowanie modelu w danym trybie za pomocą instrukcji języka naturalnego przechowywanych w ramach konfiguracji.

Jak w praktyce działa App Builder?

Film demonstracyjny opublikowany wraz z ogłoszeniem pokazuje cały proces od początku do wdrożenia.

Wybór robota

Gdy deweloper otwiera App Builder, pierwszym krokiem jest wybranie maszyny z paska bocznego. To powiązuje konfigurację z konkretnym profilem robota, w tym obsługiwanymi czujnikami i akcjami. OM1 zapewnia abstrakcję sprzętową poprzez dedykowaną warstwę, umożliwiając ponowne wykorzystanie tej samej konfiguracji wysokiego poziomu na podobnych maszynach.

Tryby budowania wizualnie

Po wybraniu robota, kanwa wypełnia się początkowym schematem blokowym. Programiści mogą dodawać nowe tryby, klikając ikonę plusa. Każdy nowy tryb otwiera panel edytora, w którym definiuje się parametry.

W tym panelu programista wybiera model języka z listy rozwijanej. Obsługiwane są liczne modele komercyjne i otwarte. Następnie dodawane są dane wejściowe, takie jak automatyczne rozpoznawanie mowy do sterowania głosowego lub transmisje z kamery do obsługi obrazu. Następnie wybierane są akcje, takie jak nawigacja lub odtwarzanie mowy. Można również włączyć tła, takie jak GPS lub kontekst nawigacji.

Wszystkie zmiany są natychmiast zapisywane, a obszar roboczy aktualizuje się, odzwierciedlając bieżącą konfigurację.

Definiowanie przejść

Po utworzeniu trybów przejścia definiuje się poprzez przeciągnięcie łącznika z jednego węzła do drugiego. Spowoduje to otwarcie edytora reguł, w którym określa się warunki. Warunki mogą odnosić się do danych wejściowych, stanu wewnętrznego lub innych sygnałów. Na przykład reguła przejścia może określać, że rozpoznane polecenie głosowe powoduje opuszczenie trybu bezczynności przez robota i przejście w tryb nawigacji.

Funkcja automatycznego formatowania zmienia układ płótna, aby zachować czytelność schematu blokowego w miarę jego rozrastania się.

Rozlokowanie

Po zakończeniu konfiguracji programista może ją wdrożyć bezpośrednio z interfejsu. Konfiguracja jest przesyłana do robota za pośrednictwem portalu OpenMind i stosowana bez ręcznego przesyłania plików. W przypadku zespołów korzystających z OM1 lokalnie lub w procesach produkcyjnych, tę samą konfigurację można wdrożyć za pomocą narzędzi wiersza poleceń lub konteneryzowanych przepływów pracy.

Obsługiwane modele i komponenty

Według OpenMind, App Builder obsługuje obecnie ponad sześć modeli językowych, ponad czterdzieści pól wejściowych, trzydzieści akcji i ponad dziesięć kontekstów tła. Liczby te odzwierciedlają modułową konstrukcję OM1, w której każdy komponent jest implementowany jako wtyczka.

Modele językowe można wymieniać bez konieczności przepisywania logiki aplikacji. Dane wejściowe i akcje są również wymienne, o ile sprzęt je obsługuje. Takie podejście pozwala programistom szybko eksperymentować z różnymi konfiguracjami, zachowując jednocześnie spójną strukturę.

Integracja z OM1 i przepływami pracy opartymi na kodzie

Mimo że App Builder kładzie nacisk na konfigurację wizualną, został zaprojektowany tak, aby integrować się z bazą kodu OM1.

Programiści mogą eksportować konfiguracje jako pliki strukturalne i przechowywać je w systemie kontroli wersji. Zaawansowani użytkownicy mogą tworzyć niestandardowe dane wejściowe i akcje, dodając moduły Pythona do odpowiednich katalogów w repozytorium OM1. Te niestandardowe komponenty pojawiają się następnie w interfejsie App Builder i są dostępne do wyboru.

W przypadku wdrożeń na dużą skalę lub na urządzeniach brzegowych, takich jak sprzęt Nvidia Jetson, OM1 obsługuje konfiguracje oparte na kontenerach. Kreator aplikacji uzupełnia te procesy, skracając czas poświęcany na początkową konfigurację i iteracje.

Abstrakcja i przenośność sprzętu

Jednym z głównych założeń projektowych OM1 jest niezależność od sprzętu. App Builder odzwierciedla to, udostępniając tylko zachowania wysokiego poziomu, a nie sterowanie ruchem niskiego poziomu. Na przykład programista może skonfigurować akcję nawigacyjną bez określania sposobu poruszania się poszczególnych stawów.

Ta abstrakcja jest implementowana poprzez warstwę abstrakcji sprzętowej, która łączy działania OM1 z zestawami narzędzi programistycznych dla konkretnych robotów, takimi jak ROS2, lub interfejsami API dostawców. W rezultacie tę samą logikę aplikacji można często wykorzystać ponownie w różnych robotach, wprowadzając minimalne zmiany.

Ograniczenia i rozważania

Kreator aplikacji ma na celu uproszczenie typowych zadań, ale nie eliminuje konieczności podejmowania decyzji inżynieryjnych.

Niektóre platformy sprzętowe oferują ograniczone wsparcie w zależności od możliwości obliczeniowych. Pełne zestawy funkcji są obecnie dostępne w nowszych systemach opartych na architekturze Nvidia, podczas gdy starsze platformy mogą wymagać kompromisów. Rdzeń wykonawczy OM1 ogranicza również bezpośredni dostęp do internetu ze względów bezpieczeństwa i niezawodności, co wpływa na sposób korzystania z zewnętrznych interfejsów API.

W przypadku złożonej autonomii od programistów oczekuje się połączenia konfiguracji App Builder z symulacją, uczeniem maszynowym i szeroko zakrojonym testowaniem. Dokumentacja OpenMind kładzie nacisk na rozpoczęcie od prostych zachowań i ich walidację w symulowanych środowiskach przed wdrożeniem na rzeczywistych maszynach.

Podsumowanie

OpenMind App Builder to wizualne narzędzie konfiguracyjne, które działa na platformie OM1 i upraszcza tworzenie i wdrażanie aplikacji robotycznych. Reprezentując zachowania robotów jako tryby, przejścia i modułowe komponenty, pozwala programistom tworzyć funkcjonalne aplikacje bez konieczności pisania kodu na każdym kroku.

Jego wartość polega na zmniejszeniu tarcia związanego z konfiguracją przy jednoczesnym zachowaniu zgodności z przepływami pracy opartymi na kodzie. Dla zespołów tworzących na platformie OM1, App Builder zapewnia ustrukturyzowany sposób projektowania, testowania i wdrażania zachowań robotów na różnych platformach sprzętowych. Zamiast zastępować tradycyjne metody programowania, służy on jako interfejs, który sprawia, że ​​system bazowy jest bardziej dostępny i łatwiejszy w zrozumieniu.

Źródła:

• Post X:Ogłaszamy kreatora aplikacji OpenMind 
• Portal programistów:Tworzenie aplikacji na platformie OpenMind