Data Scientist, Data Analyst, Data Engineer (Veri Bilimcisi, Veri Analisti, Veri Mühendisi)

Bazı insanlar veri bilimcisi, veri analisti ve veri mühendisinin aynı işi yaptığına inanıyor. Gerçekte, her şey göründüğü kadar basit değil tabii ki. Her birinin üst üste gelebilecek kendi görevleri ve işlevleri mevcut.

Bu makalede, Preply'de Analisti Olga Matyeva, AutoDoc'ta Veri Mühendisi Maksym Natalchyshyn ve YouScan'da Veri Bilimcisi Vitaly Radchenko ile birlikte size pozisyonlardaki farkın ne olduğunu ve bir kişinin yetkinliklerinin birleştirip birleştiremeyeceğini anlatacağız.

Sorumlulukları

Veri analisti, verilerle çalışmaya başlamak isteyenler için bir pozisyondur. Teknik beceriler önemlidir ancak istatistiksel yöntemlerin de bilgisi önemlidir.

Olga: "Veri analistleri verilerde içgörü arar, görselleştirmeler oluşturur ve işletmelerden gelen taleplere yanıt verir (örneğin, bu işlevsellik için hangi metriği kullanmak daha iyidir). Analistlerin işlerinde, mühendislerin ve veri bilimi uzmanlarının işlerinden daha fazla iletişim vardır.

Bir veri analistinin aranan nitelikleri:

• Python/R dilleri, matematik/istatistik, SQL bilgisi;
• Tableau/Power BI analitik ve görselleştirme platformları ile çalışma tecrübesi;
• Sayılara hayranlık ve uzun arayışlar için sabır - ilginç bir şey bulmak için genellikle uzun süre araştırmak gerekir;
• sorunları çözme, yeni fikirler ve çözümler arama becerisi;
• iletişim becerileri (hem ekip iletişimi hem de analiz sonuçlarının doğru sunumu önemlidir)".

Bir veri bilimcisi genellikle büyük veri kümeleriyle çalışır. Onlarda düzenlilikler arar, tahmine dayalı modeller ve öneri algoritmaları oluşturur. Bir veri bilimcisi ayrıca verileri görselleştirebilir.

Vitaly: "Bir veri bilimcisi belirli bir göreve uyum sağlamalı ve onu çözmelidir. Gerekirse, bir veri analistinin yetkinliği ile bir veri mühendisinin yetkinliğini birleştirebilir. Ancak bu, bir veri bilimcinin bir boru hattını optimize etme göreviyle bir veri mühendisinden daha iyi başa çıkacağı veya verilerdeki anormallikleri bir veri analistinden daha hızlı bulacağı anlamına gelmez.

Bir veri bilimcisi için en zor şey kaliteli veri toplamaktır. Çoğu durumda, veri kalitesi, teknik kısmın anlamsız olduğu tanımlayıcı bir kriterdir.

Bir veri bilimcinin temel becerileri:

• analiz etme becerisi. Hangi verilere ihtiyaç duyulduğunu ve en iyi nasıl toplanacağını düşünmesi için görevi uygulamadan önce analiz etmesi gerekir. Verileri topladıktan sonra kalitesini, ardından modellerin kalitesini ve gerçek dünyada kullanılma olasılıklarını değerlendirmesi gerekir. Hatalar her aşamada yapılabilir. Bu nedenle, ara sonuçlar analiz edilmelidir. Aksi takdirde hatayı fark etmeme ve finalde keşfederek zaman kaybetme riski ile karşı karşıya kalınır.
• görevden göreve öğrenme yeteneği, böylece önceki deneyim yeni zorluklarla daha hızlı başa çıkmanıza yardımcı olur."

Ek olarak, bir veri bilimcisi Python'da programlama deneyimine sahip olmalı, SQL ile çalışabilmeli, veri görselleştirmeleri oluşturabilmeli ve makine öğrenimi alanında en azından temel bilgiye sahip olmalıdır.

Bir veri mühendisi veri toplama sağlar ve bunu analistlerin ve veri bilimi uzmanlarının çalışmaları için hazırlar.

Olga: "Veriler çeşitli kaynaklardan geliyor. Hepsinin indirilmesi, birbiriyle eşleşmesi, normal kalitede olması ve düzenli gelmesi gerekiyor. Daha sonra bu veriler veritabanlarında; tablolarla, açık bağlantılarla ve normal çalışma hızıyla toplanmalı."

Bir mühendis için Python veya Java programlama becerilerde ve veritabanlarının anlaşılmasıda derin bir teknik eğitim önemlidir. Veri mühendisleri, büyük veriler için yazılım çözümleri geliştirir, işlem hatları oluşturur, veri mimarisini destekler.

Bir veri mühendisinin temel becerileri, veritabanları alanındaki bilgisidir (ilişkisel/ilişkisel olmayan, sütunlu depolar).

Towards Data Science'a göre SQL veritabanı yönetim dili, Python programlama dili, Spark veri işleme çerçevesi ve AWS bulut platformu bilgisi en çok iş tanımlarındaki veri mühendisleri gereksinimlerinde belirtilir.

Mesleklerin uyumluluğu

Şirket ne kadar büyükse, orada bir mühendis, analist ve veri bilimcinin çalışma olasılığı o kadar yüksektir. Yeni girişimlerde, veri toplamak, modeller oluşturmak ve bunları analiz etmek gibi üç uzmanın da yetkinlikleri tek bir kişi tarafından birleştirilebilir.

Olga: "Verilerde içgörü arayışı, veri toplama, doğrulama, analizin kendisi ve sonuçlar kendi görevlerine ayrılabilir. Genellikle, küçük ve orta ölçekli şirketlerde tüm görevleri bir analist üstlenir. Büyük şirketlerde daha fazla iş vardır ve görevler çeşitli profillerdeki uzmanlar - analistler, veri bilimcileri ve veri mühendisleri - arasında dağıtılıyor."

Vitaly: "Meslekler arasındaki fark, öncelikler ve uzmanlıktadır: bir veri mühendisi geliştirme kısmına karşı güçlü bir önyargıya sahiptir, bir veri analistinin etki alanı ve analize yönelik güçlü bir önyargısı vardır ve bir veri bilimcisi, bir mühendis ve bir analistin becerilerini birleştirebilir. Belirli bir göreve uyum sağlamalı ve onu yerine getirmelidir."