Araştırma Makalesi
BibTex RIS Kaynak Göster

Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı

Yıl 2021, Cilt: 23 Sayı: 67, 277 - 284, 15.01.2021
https://doi.org/10.21205/deufmd.2021236724

Öz

Bu çalışmanın amacı, bilgi erişimi alanında yazılı belge derlemleri kullanarak hazırlanan test veri kümeleri için sorgulara karşılık gelen belgelerin alakalı/alakasız yargısının yapılacağı bir web aracı geliştirmektir. Anlık sorgu geri-getirim için test veri kümesi bir belge topluluğu, belirli sayıda sorgular ve bu sorgulara karşılık gelen alakalı belgeleri içermektedir. Özellikle, belgelerin sorgu hedeflerine uygun olup olmadığının değerlendirilmesi işlemi oldukça karmaşık ve zaman alıcıdır. Sorguların alakalı olduğu belgeleri işaretleme işlemini dijital ortamda gerçekleştirecek bir uygulamaya ihtiyaç vardır. Çünkü çok sayıda belgeninin alaka yargısı yapan kullanıcılar tarafınan incelenmesi gerekmektedir. Bu çalışmada, TREC’te (Text Retrieval Conference) uygulanan yöntemi temel alarak geliştirilen araç ile bu süreç yönetilebilir hale gelmiştir.

Destekleyen Kurum

Ege Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi

Proje Numarası

18-UBE-001

Teşekkür

Bu proje Ege Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi tarafından 18-UBE-001 proje numarası ile desteklenmiştir.

Kaynakça

  • Chapelle, O., Metlzer, D., Zhang, Y., Grinspan, P. 2009. Expected reciprocal rank for graded relevance. In Proceedings of the 18th ACM Conference on Information and Knowledge Management, 621-630.
  • Järvelin, K., Kekäläinen, J. 2002. Cumulated gain-based evaluation of IR techniques. ACM Transactions on Information Systems (TOIS), 20(4):422-446.
  • Clarke, C.L.A., Kolla, M., Cormack, G.V., Vechtomova, O., Ashkann, A., Buttcher, S., MacKinnon, I. 2008. Novelty and diversity in information retrieval evaluation. In Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 659–666.
  • Agrawal, R., Gollapudi, S., Halverson, A., Ieong, S. 2009. Diversifying search results. In Proceedings of the Second ACM International Conference on Web Search and Data Mining, 5–14.
  • Cleverdon, C. 1967. The Cranfield tests on index language devices. Aslib proceedings, 19(6), 173-194.
  • TREC web sayfası. http://trec.nist.gov/ (Erişim Tarihi: 14/12/2018).
  • Lew, M. S., Sebe, N., Djeraba, C., Jain, R. 2006. Content-based multimedia information retrieval: State of the art and challenges. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2(1), 1-19. https://dl.acm.org/doi/abs/ 10.1145/1126004.1126005
  • Sanderson, M., 2010. Test Collection Based Evaluation of Information Retrieval Systems. Foundations and Trends® in Information Retrieval, 4(4), 247-375. DOI: 10.1561/1500000009
  • Harman, D. 1992. Overview of the First Text REtrieval Conference (TREC-1). NIST Special Publication 500-207: The First Text Retrieval Conference Proceedings (TREC-1), 1-20.
  • Harman, D. 1993. Overview of the Second Text REtrieval Conference (TREC-2). NIST Special Publication 500-215: The Second Text Retrieval Conference Proceedings (TREC-2), 1-20.
  • Harman, D. 1994. Overview of the Third Text REtrieval Conference (TREC-3). NIST Special Publication 500-225: The Third Text Retrieval Conference Proceedings (TREC-3), 1-20.
  • Voorhees, E.M. 2007. Overview of TREC-2007. NIST Special Publication 500-274: The 16th Text Retrieval Conference Proceedings (TREC 2007), 1-17.
  • TREC-COVİD Challenge web sayfası. https://ir.nist.gov/covidSubmit/ (Erişim Tarihi: 02/07/2020).
  • TREC-2019 Deep Learning Track web sayfası. https://trec.nist.gov/data/ deep2019.html (Erişim Tarihi: 02/07/2020).
  • Hintçe için bilgi erişim görevleri içeren forum. web sayfası. http://fire.irsi.res.in/fire/2019/home (Erişim Tarihi: 02/07/2020).
  • Çince için bilgi erişim görevleri içeren web sayfası. http://www.thuir.cn/ntcirwww2/ (Erişim Tarihi: 02/07/2020).
  • Rusya bilgi erişim değerlendirme semineri web sayfası. http://romip.ru/en/ (Erişim Tarihi: 02/07/2020).
  • Voorhees, E.M. 2007. TREC: Continuing information retrieval's tradition of experimentation. Communications of the ACM. 50(11), 51-54. DOI:10.1145/1297797.1297822
  • Clarke, C.L.A., Craswell, N., Soboroff, I. 2012. Overview of the TREC 2012 Web track. 21th Text REtrieval Conference, Gaithersburg, Maryland.
  • Collins-Thompson, K., Macdonald, C., Bennett, P., Diaz, F., Voorhees, E.M. 2014. TREC 2014 web track overview. 23th Text REtrieval Conference, Maryland.
  • Can, F., Kocberber, S., Balcik, E., Kaynak, C., Ocalan, H.C., Vursavas, O.M. 2008. Information retrieval on Turkish texts. Journal of the American Society for Information Science and Technology 59(3), 407 – 421. DOI: 10.1002/asi.20750

A Web Based Tool For Preparing Adhoc Retrieval Test Data

Yıl 2021, Cilt: 23 Sayı: 67, 277 - 284, 15.01.2021
https://doi.org/10.21205/deufmd.2021236724

Öz

The main purpose of this study is to develop a web tool, which helps out on making relevant/non-relevant judgement of documents used in the test datasets prepared for text retrieval. The test dataset for the adhoc retrieval contains a collection of documents, a certain number of queries, and relevant documents corresponding to these queries. Especially, the process of judging whether documents fit query targets or not is quite complex and time consuming. There is a need for an application that will perform the process of marking the documents relevant to the queries in a digital environment. Because a large number of documents need to be examined by users who are concerned with relevance. In this study, this process has become manageable by the tool developed on the basis of the method applied in the TREC (Text Retrieval Conference).

Proje Numarası

18-UBE-001

Kaynakça

  • Chapelle, O., Metlzer, D., Zhang, Y., Grinspan, P. 2009. Expected reciprocal rank for graded relevance. In Proceedings of the 18th ACM Conference on Information and Knowledge Management, 621-630.
  • Järvelin, K., Kekäläinen, J. 2002. Cumulated gain-based evaluation of IR techniques. ACM Transactions on Information Systems (TOIS), 20(4):422-446.
  • Clarke, C.L.A., Kolla, M., Cormack, G.V., Vechtomova, O., Ashkann, A., Buttcher, S., MacKinnon, I. 2008. Novelty and diversity in information retrieval evaluation. In Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 659–666.
  • Agrawal, R., Gollapudi, S., Halverson, A., Ieong, S. 2009. Diversifying search results. In Proceedings of the Second ACM International Conference on Web Search and Data Mining, 5–14.
  • Cleverdon, C. 1967. The Cranfield tests on index language devices. Aslib proceedings, 19(6), 173-194.
  • TREC web sayfası. http://trec.nist.gov/ (Erişim Tarihi: 14/12/2018).
  • Lew, M. S., Sebe, N., Djeraba, C., Jain, R. 2006. Content-based multimedia information retrieval: State of the art and challenges. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2(1), 1-19. https://dl.acm.org/doi/abs/ 10.1145/1126004.1126005
  • Sanderson, M., 2010. Test Collection Based Evaluation of Information Retrieval Systems. Foundations and Trends® in Information Retrieval, 4(4), 247-375. DOI: 10.1561/1500000009
  • Harman, D. 1992. Overview of the First Text REtrieval Conference (TREC-1). NIST Special Publication 500-207: The First Text Retrieval Conference Proceedings (TREC-1), 1-20.
  • Harman, D. 1993. Overview of the Second Text REtrieval Conference (TREC-2). NIST Special Publication 500-215: The Second Text Retrieval Conference Proceedings (TREC-2), 1-20.
  • Harman, D. 1994. Overview of the Third Text REtrieval Conference (TREC-3). NIST Special Publication 500-225: The Third Text Retrieval Conference Proceedings (TREC-3), 1-20.
  • Voorhees, E.M. 2007. Overview of TREC-2007. NIST Special Publication 500-274: The 16th Text Retrieval Conference Proceedings (TREC 2007), 1-17.
  • TREC-COVİD Challenge web sayfası. https://ir.nist.gov/covidSubmit/ (Erişim Tarihi: 02/07/2020).
  • TREC-2019 Deep Learning Track web sayfası. https://trec.nist.gov/data/ deep2019.html (Erişim Tarihi: 02/07/2020).
  • Hintçe için bilgi erişim görevleri içeren forum. web sayfası. http://fire.irsi.res.in/fire/2019/home (Erişim Tarihi: 02/07/2020).
  • Çince için bilgi erişim görevleri içeren web sayfası. http://www.thuir.cn/ntcirwww2/ (Erişim Tarihi: 02/07/2020).
  • Rusya bilgi erişim değerlendirme semineri web sayfası. http://romip.ru/en/ (Erişim Tarihi: 02/07/2020).
  • Voorhees, E.M. 2007. TREC: Continuing information retrieval's tradition of experimentation. Communications of the ACM. 50(11), 51-54. DOI:10.1145/1297797.1297822
  • Clarke, C.L.A., Craswell, N., Soboroff, I. 2012. Overview of the TREC 2012 Web track. 21th Text REtrieval Conference, Gaithersburg, Maryland.
  • Collins-Thompson, K., Macdonald, C., Bennett, P., Diaz, F., Voorhees, E.M. 2014. TREC 2014 web track overview. 23th Text REtrieval Conference, Maryland.
  • Can, F., Kocberber, S., Balcik, E., Kaynak, C., Ocalan, H.C., Vursavas, O.M. 2008. Information retrieval on Turkish texts. Journal of the American Society for Information Science and Technology 59(3), 407 – 421. DOI: 10.1002/asi.20750
Toplam 21 adet kaynakça vardır.

Ayrıntılar

Birincil Dil Türkçe
Konular Mühendislik
Bölüm Araştırma Makalesi
Yazarlar

Tayfun Burak Aktürk 0000-0002-5474-8300

İlker Kocabaş 0000-0001-7751-3136

Proje Numarası 18-UBE-001
Yayımlanma Tarihi 15 Ocak 2021
Yayımlandığı Sayı Yıl 2021 Cilt: 23 Sayı: 67

Kaynak Göster

APA Aktürk, T. B., & Kocabaş, İ. (2021). Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen Ve Mühendislik Dergisi, 23(67), 277-284. https://doi.org/10.21205/deufmd.2021236724
AMA Aktürk TB, Kocabaş İ. Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı. DEUFMD. Ocak 2021;23(67):277-284. doi:10.21205/deufmd.2021236724
Chicago Aktürk, Tayfun Burak, ve İlker Kocabaş. “Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı”. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen Ve Mühendislik Dergisi 23, sy. 67 (Ocak 2021): 277-84. https://doi.org/10.21205/deufmd.2021236724.
EndNote Aktürk TB, Kocabaş İ (01 Ocak 2021) Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi 23 67 277–284.
IEEE T. B. Aktürk ve İ. Kocabaş, “Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı”, DEUFMD, c. 23, sy. 67, ss. 277–284, 2021, doi: 10.21205/deufmd.2021236724.
ISNAD Aktürk, Tayfun Burak - Kocabaş, İlker. “Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı”. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi 23/67 (Ocak 2021), 277-284. https://doi.org/10.21205/deufmd.2021236724.
JAMA Aktürk TB, Kocabaş İ. Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı. DEUFMD. 2021;23:277–284.
MLA Aktürk, Tayfun Burak ve İlker Kocabaş. “Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı”. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen Ve Mühendislik Dergisi, c. 23, sy. 67, 2021, ss. 277-84, doi:10.21205/deufmd.2021236724.
Vancouver Aktürk TB, Kocabaş İ. Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı. DEUFMD. 2021;23(67):277-84.

Dokuz Eylül Üniversitesi, Mühendislik Fakültesi Dekanlığı Tınaztepe Yerleşkesi, Adatepe Mah. Doğuş Cad. No: 207-I / 35390 Buca-İZMİR.