VERİ MADENCİLİĞİNE GİRİŞ
1.1 Veri Madenciliği Nedir?
Bilgisayar sistemleri, her geçen gün ucuzlaması ve güçlerinin giderek artması nedeniyle yaşamın her alanına hızla girmektedir. İşlemcilerin hızlanması, disk kapasitelerinin artması, bilgisayar ağlarındaki ilerleme sonucu her bir bilgisayarın başka bilgisayarlardaki verilere ulaşması olanağı, bilgisayarların çok büyük miktardaki verileri saklayabilmesine ve daha kısa sürede işleyebilmesine olanak sağlamaktadır.
Teknolojinin büyük hızla gelişmesi sonucu bu şekilde durmadan büyüyen ve işlenmediği sürece değersiz gibi görünen veri yığınları oluşmaktadır. Bu veri yığınlarını, içlerinde altın madenleri bulunan dağlara benzetmek mümkündür. Bu madenlere ulaşmak için kullanılan yöntem ise, temelinde istatistik uygulamaları yatan “VERİ MADENCİLİĞİDİR”.
Veri madenciliği en basit tanımı ile çok büyük miktardaki ham veriler içinden amaca uygun modellerin ortaya çıkarılması işlemidir. Başka bir tabirle karmaşık ve düzensiz veriler içindeki modellerin ortaya çıkarıp bunları karar verme ve eylem planını gerçekleştirmek için kullanma sürecidir.
Veri içersindeki gizli bilgilerin açığa çıkarılması ve verinin karar destek tabanlı bilgiye dönüştürülmesi süreci.
Verileri kaydetmek, yalnızca maden yataklarının yerlerini tespit etmektir. Bu veriler operasyonel amaçlarla kullanılırsa (satış rakamları ile ilgili raporlar hazırlamak, muhasebe işlemlerini yürütmek gibi) müşteri ilişkileri açısından bir çöp olmaktan ileriye gidemezler. Veri çöplüğünden kurtulup değerli bir veri madenine sahip olmak için elimizdeki bu bilgileri değerlendirmemiz şarttır.
Bir altın madeninde kazı yapacak olsanız, altını çıkarmak için ekonomik değeri olmayan bir sürü madde içerisinden altını çıkartmanız, ve çıkardığınız bu altını işleyerek ona değer katmanız gerecektir. Bir veri madeninde değerli bilgiler ararken de durum pek farklı değil, gerekli bilgiyi çıkarıp, daha sonrasında da bu bilgiyi işlemek için stratejiler uygulamazsak sonuca ulaşmamız mümkün değil
Veri madenciliği tanımlarda öne çıkan noktalar şunlardır:
Veri Madenciliği;
1- Büyük ve karmaşık verilerle çalışır.
2- Her türlü veriyi kullanarak çözümler üretebilir.
3- İstatistik, yapay zeka, makine öğrenmesi, Veri tabanlarında bilgi keşfi, bilgisayar bilimi, yapı tanıma vb. gibi disiplinlerden faydalanır.
4- Daha önceden bilinmeyen, doğrulanabilir, etkinleştirilebilir enformasyon arar.
5- Otomatik veya yarı otomatik olarak çalışan çözüm araçları kullanır.
6- Birçok endüstride kullanılmaktadır.
7- Sorunlara göre değişen çözüm araçları vardır.
8- Hızla büyümekte olan bir sektördür.
1.2 Veri Madenciliğinin Tarihçesi
İnsanoğlu geçmişten bugüne her zaman verileri yorumlayıp bilgi edinmeye çalışmıştır ve bunun için çeşitli donanımlar oluşturmuştur. Bu donanımlar bilginin taşınmasını sağlamıştır.Zamanla her alanda bilgi toplanmaya başlanmış ve kronolojik olarak gelişimi aşağıdaki çizelgede özetlenmiştir.
1.3 Veri madenciliğine neden ihtiyaç duyulmuştur?
Günümüzde bankacılık, sigorta ve borsa gibi birçok alandaki bütün bilgiler bilgisayar sistemleri sayesinde çeşitli veri tabanlarına kaydedilmektedir. Bütün bunlara bir de uydulardan elde edilen veriler katıldığından, ulaşılan veri hacminin inanılmaz boyutlara vardığı açık bir gerçektir. Veri madenciliği,eldeki yapısız veriden,anlamlı ve kullanışlı bilgiyi çıkarmaya yönelik çalışmalarının bütünü olmuştur.Sonuç olarak yıllar ilerledikçe ortaya çıkan veri yığınlarına bir düzen verme,başka bir anlamda potansiyel olarak kullanışlı bilgi haline getirme amacıyla Veri Madenciliği ortaya çıkmıştır.
1.4 Veri madenciliğinin kullanıldığı sahalar
- Satış ve Pazarlama: Müşteri sınıflandırma, hedef müşteri belirleme
- Bankacılık: Kredi onaylama
- Sigortacılık: Poliçe onaylama
- Borsa
- Üretim ve planlama
- Sistem yönetimi ve yardım masası
- Eğitim
- Taşımacılık-Ulaşım
- Konaklama
1.5 Veri Madenciliğinin Faydaları
Veri madenciliği rekabetin oldukça güçlendiği piyasalarda, firmaların konumlarını sağlamlaştırmak adına birtakım değerlerinin yönetilmesinde büyük rol oynamaktadır. Bu değerlerin başında müşteri bilgileri gelmektedir.
Maddeler halinde veri madenciliğinin faydalarından bahsetmek gerekirse..
Müşterilerin elde tutulmasına yardımcı olur.
Müşteri profilinin ortaya çıkarılmasını sağlar, bu sayede müşteri davranışlarının anlaşılmasını sağlar.
Müşteri kazanımı için yapılan harcamaları düşürür.
Yüksek kazanç getirecek müşterilerin hedeflenmesine yardımcı olur.
Yapılan araştırmalarda daha kolay yöntemler kullanılması ile yapılan harcamalar minimize edilmiş olur. Araştırma maliyeti kullanılan istatistiksel yöntemlerle hissedilir derecede düşürülür.
Sigortacılık, bankacılık ve telekomünikasyon alanlarında geçmiş veriler kullanılarak sahtekarlık yapanlar için bir model oluşturma ve benzer davranışlar gösterenleri belirleme konusunda veri madenciliğinin önemli rollerinin olduğunu söyleyebiliriz. Örnek; Araba sigortası, sağlık sigortası, kredi kartı başvurusu yapanların geçmiş alışkanlıklarının incelenerek başvurunun kabul edilmesi veya reddedilmesi gibi.
1.6 Veri Madenciliğindeki Problemler
Veri madenciliği girdi olarak ham veriyi sağlamak üzere veri tabanlarına dayanır. Bu da veri tabanlarının dinamik, eksiksiz, yeterli sayıda ve net veri içermemesi durumunda sorunlar doğurur. Sınıflandırmak gerekirse başlıca sorunlar şunlardır:
- Sınırlı bilgi
- Veri tabanı boyutu
- Aykırı ve eksik veriler
- Sınırlı Bilgi: Veri tabanları genel olarak basit öğrenme işlerini sağlayan özellik veya nitelikleri sunmak gibi amaçlar için hazırlanmışlardır. Bu yüzden, öğrenme görevini kolaylaştıracak bazı özellikler bulunmayabilir. Örneğin, hasta veri tabanı kırmızı kan hücreli hasta bilgilerini barındırmıyorsa hasta veri tabanından sıtma teşhisi yapılamaz.
- Veri tabanı boyutu: Veri tabanı boyutları inanılmaz bir hızla artmaktadır. Veri tabanı algoritması çok sayıda küçük örneklemi ele alabilecek biçimde geliştirilmiştir. Aynı algoritmaların yüzlerce kat büyük örneklemlerde kullanılabilmesi için çok dikkat gerekmektedir. Örneklemin büyük olması, tahminlerin doğruluğu açısından bir avantaj olsa da dikkatsizlikten kaynaklanacak hatalar göz ardı edilemez.
- Aykırı veri: Veri girişi veya veri toplanması sırasında oluşan sistem dışı hatalara gürültü adı verilir. Verilerde ne kadar çok gürültü varsa o derece güvenilir sonuçlara ulaşmak zorlaşacaktır. Bu gürültüler geleceğe dair tahminlerin doğruluğunun azalmasına neden olur. Gürültülü verilerden kurtulmak için yanlış, çok fazla ya da çok küçük araştırmalara dair tutarsız bilgiler yerine anlamlı, özümsenmiş bilgiler kullanılmalıdır. Gürültülü verilerin teşhis edilmesi amacıyla histogram, kümeleme analizi ve regresyon kullanılır.
- Eksik veri: Veri kümesinin büyüklüğünden ya da doğasından kaynaklanmaktadır. Eksik veriler olduğunda yapılması gerekenler şunlardır:
- Eksik veri içeren kayıt veya kayıtlar çıkarılabilir.
- Değişkenin ortalaması eksik verilerin yerine kullanılabilir.
- Var olan verilere dayalı olarak en uygun değer kullanılabilir.
Eksik veriler, yapılacak olan istatistiksel analizlerde önemli problemler yaratmaktadır. Çünkü istatistiksel analizler ve bu analizlerin yapılmasına olanak veren ilgili paket programlar, verilerin tümünün var olduğu durumlar için geliştirilmiştir. Bu analizler, eksik veri içeren veri setlerine uygulandıklarında istatistiklerin geçerliliğini düşürmektedir.
| 