Przygotowanie danych do analizy statystycznej jest bardziej czasochłonna niż statystyka.

Według moich szacunków 70-80% pracy w analizie danych to przygotowania danych do analizy. Przygotowanie danych jest po prostu niesamowicie czasochłonne a niewielu klientów to rozumie. Tygodnie lub miesiące to realistyczne ramy czasowe. Godziny nie są.

Są trzy części do przygotowania danych: czyszczenia, tworzenia niezbędnych zmiennych i formatowania wszystkich zmiennych.

dopiero po przeprowadzeniu tych operacji mozna skutecznie zająć się analizą statystyczną do pracy nakowej.

Czyszczenie danych

Czyszczenie danych oznacza wyszukiwanie i eliminowanie błędów w danych. Sposób podejścia do niego zależy od tego, jak duży jest zestaw danych, ale rodzaje rzeczy, których szukasz, to:

    Niemożliwe lub w inny sposób nieprawidłowe wartości dla określonych zmiennych

    Przypadki w danych, które spełniały kryteria wykluczenia i nie powinny być w badaniu

    Zduplikowane przypadki

    Brakujące dane i wartości odstające

    Pomijanie wzorów lub logicznych awarii

Nie można uniknąć czyszczenia danych i zawsze zajmuje to trochę czasu, ale istnieją sposoby, aby zwiększyć jego wydajność.

Na przykład jednym ze sposobów na znalezienie niemożliwych wartości dla zmiennej jest wydrukowanie danych dla przypadków poza normalnym zakresem.

To właśnie w tym miejscu pomaga nauka wyboru kodu w wybranym oprogramowaniu statystycznym. Musisz rozdzielić dane za pomocą instrukcji IF, aby znaleźć te niemożliwe wartości.

Ale jeśli twój zestaw danych nie jest mały, możesz zaoszczędzić sobie mnóstwo czasu, kodu i błędów, włączając w to efektywność, taką jak pętle i makra, dzięki czemu możesz wykonać niektóre z tych sprawdzeń dla wielu zmiennych naraz.

Tworzenie nowych zmiennych

Gdy dane są wolne od błędów, musisz skonfigurować zmienne, które będą bezpośrednio odpowiadać na pytania badawcze.

Jest to rzadki zestaw danych, w którym każda potrzebna zmienna jest mierzona bezpośrednio.

Może więc zajść potrzeba wielokrotnego przekodowywania i obliczania zmiennych.

Przykłady:

    Tworzenie wyników zmian

    Tworzenie wskaźników ze skal

    Łączenie zbyt małych kategorii zmiennych nominalnych

    Centrowanie predyktorów

    Restrukturyzacja danych z formatu szerokiego na długi (lub odwrotny)

formatowanie zmiennych

Zarówno oryginalne, jak i nowo utworzone zmienne muszą być poprawnie sformatowane z dwóch powodów:

Po pierwsze, twoje oprogramowanie działa poprawnie. Niepoprawne sformatowanie brakującego kodu wartości lub sztucznej zmiennej będzie miało poważne konsekwencje dla analizy danych.

Po drugie, znacznie szybciej jest przeprowadzać analizy i interpretować wyniki, jeśli nie musisz ciągle sprawdzać, która zmienna to Z12.

Przykłady obejmują:

    Ustawienie wszystkich brakujących kodów danych, więc brakujące dane są traktowane jako takie

    Formatowanie zmiennych daty jako dat, zmiennych numerycznych jako liczb itd.

    Etykietowanie wszystkich zmiennych i wartości kategorycznych, dzięki czemu nie musisz ich szukać

Wszystkie trzy kroki wymagają solidnej wiedzy na temat korzystania z oprogramowania statystycznego. Każdy podchodzi do nich trochę inaczej.

Jest również bardzo ważne, aby śledzić i móc łatwo powtórzyć wszystkie kroki. Zawsze zakładaj, że będziesz musiał coś przerobić. Więc używaj (lub nagrywaj) składni, nie menu.