Doğal Dil İşleme (Natural Language Processing - NLP) Nedir?
Doğal Dil İşleme, bilgisayar sistemlerinin doğal insan dilini anlayabilmek, anlama bağlı olarak yorumlayabilmek ve bunlara bağlı olarak yönlendirme yapabilmeye yardımcı olabilmek için geliştirilmiş bir yapay zeka dalıdır. Bu bilgiden hareketle en basit ifadesiyle NLP, doğal insan dilinin makineler tarafından anlaşılabilinmesine olanak sağlayan bir yapay zeka ürünü olarak ifade edilebilir. Bu bağlamda makine sistemleri ile doğal insan iletişimleri arasındaki bağlantıları oluşturabilmek için bilgisayar bilimi veya hesaplanamalı dilbilimi(doğal insan dilinin belirli kurallar tabanlı modellenmesi) gibi bir takım özelleştirilmiş disiplinlerden yararlanılmaktadır. Böylelikle bu disiplinler sayesinde; kullanılan dilin genel yapısının ve kurallarının temel özellikleri analizlenebilir, buna bağlı olarak yazısal metinler veya ses girdilerini anlayabilme stratejisi geliştirilebilir, başarılı bir anlayabilme sürecinin ardından anladıklarını analizleme ve bunlardan anlam çıkarma gibi yeteneklere sahip oldukça akıllı yapay zeka sistemleri geliştirilmektedir.
Doğal Dil İşleme (NLP) Neden Kullanılır?
Doğal dil işleme, yukarıda bahsedildiği üzere doğal insan dilinin makineler tarafından anlaşılabilmesi için, yazısal metin veya ses çıktılarının sözdizilimlerini, anlambilimini veya morfolojik özelliklerini analiz etmek ve analize bağlı mantıklı anlamlandırma yapabilmek için kullanılmaktadır. Başarılı ve mantıksal uygunluk çerçevesinde gerçekleşen anlama sürecininin ardından, bu sistem için özelleştirilmiş bilgisayar bilimi disiplinleri sayesinde analizlenen ve anlamlandırılan metin veya sesin dilbilgisi yapısının, belirlenmiş ve/veya belirlenecek sorunları çözebilmek ve istekler doğrultusunda belirli görevleri yapabilmek için spesifik kural tabanlı makine öğrenimi algoritmalarına dönüşümü sağlanmaktadır. Böylelikle bu dönüşüm sayesinde meydana getirilmiş makine öğrenim algoritmalarının bünyesinde istenilen dilbilgisi yapılarının varlığı, NLP çalışmalarının gerçeğe en yakın haliyle uygulanabilirliğini sağlamaktadır.
Yukarıda ifade edilen bilgileri basit bir şekilde anlayabilmek için bir örnek inceleyelim. Örneğin; günümüzde iletişim için oldukça popüler bir şekilde kullanıma sahip olan dijital mektuplar yani e-postalarda NLP sistemleri kullanılmaktadır ve bu kullanımın temel amacı ise e-postaları kategorilere ayırmaktır. Yani, daha önceden belirli özelliklere göre geliştirilmiş NLP algoritmalarına, kategorilerle bağlantılı olan bir takım anahtar kelimeleri çıkarabilme özelliği entegre edilmiştir. Bu özellik sayesinde NLP algorimaları kullanan makineler, mail arayüzüne düşen e-postalardaki kelimeleri okur ve ardından, daha önceden belirlenmiş etiketlere göre e-postanın "birincil, sosyal, tanıtımlar, spam vb." gibi kategorilere ayrılacağını otomatik olarak öğrenmektedir. Sonuç olarak makinelerin NLP sayesinde insan müdehalesi olmadan insanlar gibi karar verebilen bir forma dönüştürüldüğü söylenebilir.
Doğal dil işleme; herhangi bir dille oluşturulmuş yazısal metni farklı dillere çevirebilen, sesli komutlara gerçek zamanlı yanıt üretebilen veya binlerce kelimeden oluşan büyük hacimli metinlerin özetlerini çıkartabilen bir yapay zeka geliştirmesidir. Bu bağlamda günümüzde NLP;
- Ses komutuyla aktifleşebilen radyonavigasyon(GPS) sistemleri,
- Akıllı eletronik ürünlerin dijital asistanları,
- Birçok farklı kurumun müşteri hizmet temelli sohbet robotları,
gibi alanlarda iş yükünü azaltmak ve kolaylaştırmak amacıyla yaygın olarak kullanılmaktadır.
Sonuç olarak NLP'nin, yaşamı kolaylaştırmak-basite indirgemek ve üretkenliği artırmak amaçlı geliştirilmiş oldukça kapsamlı ve popüler bir yapay zeka ürünü olduğu söylenebilir.
Doğal Dil İşleme'nin (NLP) Faydaları Nelerdir?
Yukarıda da bahsedildiği üzere NLP, oldukça üst düzey faydaları bünyesinde barındıran yapay zeka ürünüdür. Bu bağlamda yukarıda bahsedilen bilgiler referanslı alt alta onlarca faydası yazılabilir. Bu durumu basite indirgemek için onlarca faydayı bazı temel başlıklar içerisinde genellemek gerekirse;
- Gerçek zamanlı iş yapabilme: NLP sistemleri sayesinde herhangi bir zaman diliminde minimum insan müdehalesi veya hiç insan müdehalesine ihtiyaç duyulmadan makineler kendi kendilerine, oldukça hızlı, yüksek verimli ve doğru sonuçlu çalışmaları yönetebilmektedir. Örneğin; herhangi bir banka veya GSM operatörleri ile iletişime geçildiğinde, NLP tabanlı geliştirilmiş asistanlar ses komutlarını dikkate alarak insan müdehalesi olmadan gerçek zamanlı kendi kendilerine yönlendirme yapabilmektedirler.
- Geniş ölçekli analiz: NLP tabanlı geliştirilmiş makineler, herhangi bir insan müdehalesine ihtiyaç duymadan sosyal platformlarda bulunan devasa boyutlardaki yapılandırılmamış metinleri, ürün veya bilgi yorumlarını, video içeriklerini veya haber raporlarını otomatik olarak analizleyebilir ve bu analizlemey bağlı olarak yorumlayabilmekte ve yönetebilmektedir.
- Özelleştirme: Yukarıda ifade edilen faydalar günümüzde yaygın olarak bilinen genel faydalar olarak ifade edilebilir. Bu faydaların yanısıra NLP sistemleri istekler doğrultusunda iyileştirilebilir ve geliştirilebilinmektedir. Örneğin; bir yazar olmadığınızı ancak kitap yazmak istediğinizi düşünün. Bu bağlamda internet üzerinde bulunan kitapları tarayabilen, bu kitapları anlayan ve bu anlamaya bağlı olarak yeni bir kitap yazabilen NLP sistemi geliştirebilirsiniz.
Sonuç olarak NLP sistemlerinin, yaşamın hemen hemen her alanında iş yükü azaltma, iş temelli eylemleri basite indirgeyebilme ve üretkenliği artırma gibi oldukça önemli faydalarının olduğu söylenebilinir.
Doğal Dil İşleme (NLP) Nasıl Çalışır?
Doğal dil işleme, doğal insan dilinin makineler tarafından anlaşılabilmesini ve yorumlanabilinmesini amaçlayan, bu bağlamda özelleştirilmiş istatistiksel yöntemlerden ve bazı makine öğrenme yöntemlerinden faydalanan, bu süreçlerin sonucunda kural tabanlı algoritmik stratejilerin oluşmasına olanak sağlayan bir sistemdir. Bu sistem geliştirilirken, daha önceden bahsedildiği üzere birçok farklı stratejiden faydalanılmaktadır. Bu durumun temel nedeni ise, kaynak olarak kullanılacak metin ve ses kaynaklı ürünlerin oldukça farklı çeşitliliğe sahip olmasıdır. Yani, farklı stratejilerin kullanılması, meydana gelebilecek karmaşıklığı anlamayı ve yönetebilmeyi kolaylaştırmaktadır.
NLP sisteminin çalışma stratejisinin arka planında yer alan bazı görevler bulunmaktadır. Genel olarak en temel görevler arasında;
- Bölütleme,
- Öğelerine ayırma,
- Kelime kök çözümleme,
- Ses etiketleme,
- Dil tespiti,
- Anlambilimsel ilişkilerin tanımlanması.
Bu görevler sayesinde kaynak olarak kullanılan dil, uygun temel parçalara ayrıştırılır ve meydana gelen ayrışık parçalar arasındaki ilişkiler analizlenir. Bunun sonucunda ise ayrışık parçaların anlamsal olarak nasıl bir ilişki içerisinde çalıştığı tespit edilir ve buna bağlı bir çıktı oluşturulmaktadır.
Genel olarak NLP'nin çalışma stratejisi;
Doğal Dil İşleme (NLP) Teknikleri Nelerdir?
Doğal dil işleme yönteminin başarılı bir şekilde yapılabilinmesi için bir takım özelleştirilmiş teknikler kullanılmaktadır. Yaygın olarak kullanılan NLP teknikleri;
- Tokenize
- Stemmer (Köklendirme)
- Lemmatizer
- Metinleri Vektörleştirme
- Büyük/Küçük Harf Dönüştürme
- Sayısal İşaretleri Kaldırma
- Noktalama İşaretlerini Kaldırma
- Fazla Boşlukları Kaldırma
- Gereksiz Kelimeleri (Stop Words) Kaldırma
Bu teknikler kullanılarak NLP çalışmalarında; anlamsal(Semantic ) ve sözdizimsel(Syntactic) analizlemeler yapılmaktadır. İfade edilen bu analizlemeler ise, yukarıda bahsedildiği üzere doğal insan dilinin makineler tarafından anlaşılabilirliğini sağlamak için belirli parçalara ayırma süreci olarak ifade edilebilir. Bu analizlerin ne olduğunu basit bir şekilde incelemek gerekirse;
Anlamsal(Semantic) Analiz: Bu analiz yöntemi temel olarak dilin anlamının belirlenmesini sağlamaktadır. Yani anlamsal analiz; kaynak metnin konusunu, metin içerisinde yer alan cümlelerin yapısını, kelimelerin anlamlarını ve birbiriyle olan etkileşimlerini tespit etmeyi sağlamaktadır.
Sözdizimsel(Syntactic ) Analiz: Genel olarak ayrıştırma(parsing ) analizi olarak bilinen sözdizimsel analiz, kaynak olarak kullanılan metnin sözdizimsel yapısını ve ayrıştırma ağacı(parse tree) olarak tanımlanan kelime diyagramında, metin içerisinde bulunan kelimelerin aralarında meydana gelmiş karşılıklı bağımlılık ilişkilerinin tanımlanmasını sağlamaktadır.
Sonuç olarak, yukarıda bahsedilen özelleştirilmiş bazı NLP teknikleri sayesinde insan dilinin makineler tarafından anlaşılabilirliğini sağlamak için anlamsal ve sözdizimsel analizlemeler yapılmaktadır.