Mate academy to startup kształcący specjalistów IT. Od pół roku rozwijają trzy narzędzia AI, które ułatwiają naukę studentom i wspierają mentorów w nauczaniu. Dziś dzielą się efektami swojej pracy.
Jako startup EdTech [Ed od education, Tech od technology – red.] ciągle szukamy sposobów, by optymalizować i automatyzować naszą pracę; by kształcić efektywniej. Gdy na rynku pojawił się ChatGPT, chcieliśmy sprawdzić, jaką wartość mogą mieć oparte o niego narzędzia – tak dla naszych studentów, jak i mentorów [odpowiedników nauczycieli w Mate – red.].
Najpierw wykorzystaliśmy sztuczną inteligencję do prowadzenia egzaminów ustnych na platformie e-learningowej Mate academy. Gdy te przyniosły pozytywne efekty, stworzyliśmy asystenta AI dla studentów naszych darmowych modułów, by wesprzeć ich w samodzielnej nauce. Opracowaliśmy nawet narzędzie do sprawdzania prac domowych – a to wszystko w ciągu zaledwie sześciu miesięcy.
Jak oceniamy te pół roku i wartość narzędzi opartych o ChatGPT? Czy będziemy je jeszcze rozwijać? Dziś postaramy się odpowiedzieć na te i więcej pytań, a zaczniemy od egzaminów.
ChatGPT w roli egzaminatora
Nasi mentorzy od lat prowadzą ze studentami próbne techniczne rozmowy rekrutacyjne, których częścią jest nie tylko tzw. live coding, ale też odpowiadanie na pytania teoretyczne, np. o funkcję znaczników w języku HTML czy preprocesorów w CSS. Nazywamy je tech-checkami.
Celem tech-checków jest przygotowanie studentów do procesów rekrutacyjnych. Rozmowy te prowadzą mentorzy [odpowiednik nauczycieli w Mate – red.], na jedną poświęcają do dwóch godzin. Ale ponieważ ćwiczeń nigdy dość, stworzyliśmy auto tech-checki. Mentorzy dodają na naszą platformę gotowe zestawy 5-10 pytań, które studenci wyszukują po kursie (front end, full stack, Java, QA…) i konkretnym zagadnieniu (np. HTML).
Studenci odpowiadają na każde pytanie z osobna. Podczas prawdziwej rozmowy rekrutacyjnej będą mówić, a nie pisać, dlatego auto tech-checki wymagają udzielenia ustnej odpowiedzi.
Platforma automatycznie konwertuje odpowiedź na tekst. Gdy skończymy odpowiadać, możemy go jeszcze edytować – jeśli np. wykryjemy błędną transkrypcję.
Odpowiedź jest analizowana przez model ChatGTP 3.5. Student otrzymuje ocenę wyrażoną w procentach i wskazówki, jak warto ją zmodyfikować, by lepiej wypaść.
Gdy studenci przejdą przez wszystkie pytania, mogą zapoznać się z sumarycznym wynikiem auto tech-checku. Jest też lista pytań, nad którymi powinni jeszcze popracować.
Średnio, udzielenie odpowiedzi na 20-30 pytań zajmuje studentom 90 minut, a komentarze i oceny AI pokrywają się z feedbackiem mentorów w około 80%. Nasuwa się więc pytanie: co z pozostałymi 20%? Cóż… zdarza się np., że AI sugeruje, by ta sama odpowiedź była zarazem bardziej, jak i mniej rozbudowana; bardziej, jak i mniej szczegółowa, ale nie zrażamy się. Cały czas eksperymentujemy, by poprawić spójność modelu.
Mimo że auto tech-checki są – na razie jeszcze – nieobowiązkowe, studenci ukończyli już ponad 6 500 sesji w ciągu sześciu miesięcy. I co istotne: mentorzy zauważyli, że regularne ćwiczenia przekładają się na jakość odpowiedzi studentów podczas właściwych tech-checków.
Rola AI w sprawdzaniu zadań domowych
By zminimalizować czas poświęcany przez mentorów Mate na sprawdzanie zadań domowych, stworzyliśmy dla nich asystenta AI. Obsługa – banalna. Mentor musi tylko zmienić status pracy na “pending”, by asystent sprawdził kod studenta, a ten potrafi wykryć zarówno nieścisłości w nazwach zmiennych, jak i zaproponować lepszą logikę kodu.
Mentorzy mają dostęp do osobnej sekcji na naszej platformie e-learningowej, gdzie sprawdzają prace domowe. Do zadań zintegrowanych z GitHubem dodaliśmy przycisk “Sprawdź z AI”.
Po naciśnięciu przycisku GitHub tworzy pending review. Zmiany z pull requesta przekazywane są do ChatuGPT, który analizuje kod i komentuje go, a następnie odsyła je na GitHuba – do wspomnianego review.
Mentor może sprawdzić, jak ChatGPT zinterpretował kontekst zadania i czego brakuje mu w zaproponowanej przez studenta implementacji.
Gdy “Review with AI” dobiega końca, mentor zagląda na GitHub i kończy ocenę. Podkreślamy tym, że AI nie wyręcza człowieka, a jedynie wskazuje istotne – niekoniecznie wszystkie – problemy. Mentor wciąż sprawdza poprawność rozumowania ChatuGPT, a jeśli to konieczne, koryguje jego ocenę i/lub uzupełnia feedback; decyduje o zatwierdzeniu bądź odrzuceniu pracy.
W rezultacie, pomimo konieczności oczekiwania na ukończenie pracy przez AI (czat potrzebuje odrobiny czasu), skróciliśmy czas poświęcany przez mentorów na niektóre zadania.
Co więcej, zyskaliśmy nie tylko na czasie, ale i na jakości, bo studenci otrzymują teraz obszerniejszy feedback. Przy czym: nie świadczy to o deficycie uwagi mentorów, a jedynie o negatywnym wpływie powtarzalnych zadań na pracę ludzi. Sprawdzenie 50 identycznych prac z rzędu jest dla nas wyjątkowo nużące, dla ChatuGPT zaś – nie ma to znaczenia.
Wirtualny asystent dla początkujących
Ci, którzy dopiero poznają się z programowaniem, znajdą na platformie Mate darmowe moduły z podstaw konkretnego języka programowania; języka istotnego dla danego kursu. Na kursach front end i full stack to podstawy JavaScriptu, na kursie Javy – podstawy Javy, na kursie QA – podstawy SQLa, itd. A ponieważ stawiamy na praktykę, nasze moduły w większość koncentrują się na ćwiczeniach, które mogą sprawiać początkującym trudności.
Test T-Mobile T Phone 5G, T Phone Pro 5G i T Tablet 5G – 5G dla jak największej grupy osób
Dlatego i dla nich stworzyliśmy asystenta AI. By jednak nie odbierać radości z tworzenia kodu samodzielnie, studenci widzą go jedynie w dwóch przypadkach:
- jeśli nie uda im się rozwiązać zwykłego zadania;
- podczas rozwiązywania bardzo wymagających zadań, gdy pierwsze podejście niemal zawsze kończy się porażką.
Nasz asystent tłumaczy studentom, jakie błędy popełnili w swoim kodzie i jak należy go zmienić, by rozwiązać zadanie. Nie podaje gotowego rozwiązania a jedynie stara się naprowadzić studentów na właściwą odpowiedź (czym przypomina mentorów Mate academy). Studenci wciąż muszą się uczyć, by przejść selekcję na kurs, ale mają ku temu niezbędne wsparcie. Wciąż też mogą współpracować z innymi studentami na wspólnym czacie.
Co do rezultatów: ponad połowa osób, które ukończyły moduł podstawowy, sięgnęły po pomoc asystenta, a sam odsetek wciąż rośnie. 80% z nich pozytywnie ocenia podpowiedzi AI, ale celujemy raczej w 90%+. Naszego wirtualnego mentora cechuje też wysoka powracalność: osoby, które skorzystały z jego pomocy raz, wracają do niego średnio 20 razy w tygodniu.
