Głębokie Uczenie

Trenowanie dużych modeli językowych wymaga astronomicznych ilości danych i mocy obliczeniowej. Ale co jeśli większość tych danych jest redundantna redundantna Dane redundantne to takie, które nie wnoszą nowej informacji do procesu uczenia — model już ‘zna’ zawarte w nich wzorce. ? Publikacja “OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration” przedstawia framework, który osiąga porównywalne wyniki przy 6x mniejszej liczbie tokenów tokenów Token to podstawowa jednostka tekstu w LLM — może to być słowo, część słowa lub znak. Model przetwarza tekst jako sekwencję tokenów. dzięki inteligentnemu wybieraniu, z czego model powinien się uczyć na każdym kroku. ...

Poszukiwanie uniwersalnego robota — takiego, który może płynnie przechodzić między zadaniami, platformami i środowiskami — od dawna jest świętym Graalem badań nad robotyką. Publikacja “Green-VLA: Staged Vision-Language-Action Model for Generalist Robots” przybliża nas do tej wizji dzięki rewolucyjnemu pięcioetapowemu frameworkowi treningowemu, który umożliwia jednej polityce sterowanie humanoidami, mobilnymi manipulatorami i stacjonarnymi ramionami robotycznymi. Problem: Jeden Robot, Wiele Ciał Dzisiejsze systemy robotyczne to zazwyczaj specjaliści. Ramię robotyczne w fabryce doskonale radzi sobie z montażem, ale nie potrafi nawigować po magazynie. Robot mobilny może się przemieszczać, ale brakuje mu umiejętności precyzyjnej manipulacji. Trenowanie osobnej AI dla każdego typu robota jest kosztowne, czasochłonne i fundamentalnie ogranicza skalowalność. ...

Rekrutacja uczestników to jeden z kluczowych ograniczników w rozwoju leków: aż 80% badań nie osiąga celów rekrutacyjnych, a opóźnienia mogą kosztować nawet 8 mln USD dziennie. Autorzy proponują multimodalny model głębokiego uczenia, który przewiduje liczbę pacjentów oraz oszacowuje niepewność przewidywań. Wyzwania w prognozowaniu rekrutacji Dotychczas stosowano: Modele deterministyczne (XGBoost, LightGBM) dające estymatę punktową, nie uwzględniające zmienności. Modele stochastyczne (procesy Poissona, Poisson–Gamma) zwracające przedziały ufności, ale słabo skalujące się przy złożonych danych. Architektura modelu Dane wejściowe ...