- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구는 국내 연구자가 저술한 논문의 데이터 가용성 진술(DAS)에 명시된 데이터 공유 메커니즘과 리포지터리를 조사함으로써 국내 연구자의 연구데이터 공유 현황과 특징을 탐구하는 것을 목적으로 한다. 이를 위하여 2014년부터 2022년까지 PLOS ONE에 게재된 국내기관 소속 연구자의 논문을 연구의 대상으로 선정하였다. 우선 논문 내 DAS 존재 현황을 파악하고 선행연구를 활용하여 데이터 공유 메커니즘의 유형을 분석하였으며, 시간의 흐름에 따른 데이터 공유 메커니즘별 변화 추이 등을 조사하였다. 그 결과, 대상 논문의 99.6%에 DAS가 작성되어 있으며 데이터 공유 메커니즘의 유형별 언급 양상은 국제적인 양상과 유사하되, 시간의 흐름에 따라 선호되는 유형이 변화하고 있음을 파악하였다. 이후 데이터 공유 메커니즘 중 리포지터리에 주목하여 DAS에 언급된 리포지터리의 횟수와 비율을 파악하고 다수 언급된 5개 리포지터리의 이용 변화 추이를 시계열적으로 분석하였다. 또한 리포지터리와 함께 언급된 데이터 접근점의 제시 방식과 유형, 유효성 등도 함께 조사하였다. 이를 통해 빈번하게 언급되는 상위 5개 리포지터리가 전체 리포지터리 언급의 60%를 차지하며 데이터 코드를 다루는 리포지터리의 이용이 증가하는 현황이 확인되었고, 리포지터리와 함께 제시된 데이터의 접근점은 대부분 유효하다는 사실을 파악할 수 있었다.
Abstract
The purpose of this study is to investigate the current status and characteristics of research data sharing by domestic researchers by analyzing the data sharing mechanism and repository specified in DAS of papers authored by domestic researchers. To this end, in this study, papers of researchers belonging to domestic institutions published in PLOS ONE from 2014 to 2022 were selected as the subject of the study. First of all, the status of DAS’s existence in the papers was identified, the types of data-sharing mechanisms were analyzed using precedent studies, and the trend of changes in each data-sharing mechanism over time was investigated. As a result, it was found that DAS was written in 99.6% of the target papers, and the types of data-sharing mechanisms were similar to international patterns, but preferred types were changing over time. Afterward, focusing on repositories among data sharing mechanisms, the number and ratio of repositories mentioned in DAS were identified, and the trend of changes in use of the five repositories mentioned a lot was analyzed in a time series. In addition, the presentation method, type, and validity of the data access point mentioned along with the repository were also investigated. It was confirmed that the top five frequently mentioned repositories account for 60% of all repository mentions, and the use of a repository dealing with data codes is increasing; in addition, it was found that most of the data access points presented with the repository were valid.
초록
본 연구는 공공데이터 품질관리 모델, 빅데이터 품질관리 모델, 그리고 연구데이터 관리를 위한 데이터 생애주기 모델을 분석하여 각 품질관리 모델에서 공통적으로 나타나는 구성 요인을 분석하였다. 품질관리 모델은 품질관리를 수행하는 객체인 대상 데이터의 특성에 따라 생애주기에 맞추어 혹은 PDCA 모델을 바탕으로 구축되고 제안되는데 공통적으로 계획, 수집 및 구축, 운영 및 활용, 보존 및 폐기의 구성요소가 포함된다. 이를 바탕으로 본 연구는 연구데이터를 대상으로 한 품질관리 프로세스 모델을 제안하였는데, 특히 연구데이터를 대상 데이터로 하여 서비스를 제공하는 연구데이터 서비스 플랫폼에서 데이터를 수집하여 서비스하는 일련의 과정에서 수행해야하는 품질관리에 대해 계획, 구축 및 운영, 활용단계로 나누어 논의하였다. 본 연구는 연구데이터 품질관리 수행 방안을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
This study analyzed the government data quality management model, big data quality management model, and data lifecycle model for research data management, and analyzed the components common to each data quality management model. Those data quality management models are designed and proposed according to the lifecycle or based on the PDCA model according to the characteristics of target data, which is the object that performs quality management. And commonly, the components of planning, collection and construction, operation and utilization, and preservation and disposal are included. Based on this, the study proposed a process model for research data quality management, in particular, the research data quality management to be performed in a series of processes from collecting to servicing on a research data platform that provides services using research data as target data was discussed in the stages of planning, construction and operation, and utilization. This study has significance in providing knowledge based for research data quality management implementation methods.
초록
오픈 데이터가 국제적인 흐름으로 주목받는 현시점에서 데이터 공유를 지원하는 한국의 국제 학술지 역할에 대한 논의가 이루어질 필요가 있다. 이에 본 연구에서는 국내 발간 국제 학술지의 편집인 설문 조사와 인터뷰를 바탕으로 데이터 공유 정책 도입에 영향을 미치는 요인을 확인하고 해당 학술지 편집인의 데이터 공유 정책 도입 및 구성요소에 대한 인식을 살펴보았다. 그 결과 정책을 도입하였거나 도입할 예정인 학술지에서는 데이터 공유가 국제적인 추세이며 연구발전에 기여할 수 있다는 점을 인식하였지만, 여전히 데이터 공유에 대한 인식 개선 노력이 필요함을 강조하였다. 이에 학술지 및 학술공동체 차원에서의 교육 활동이나 데이터 공유에 따른 보상을 통해 데이터 공유에 대한 인식을 개선할 필요가 있었다. 또한 중요도가 높으며, 필수 구성요소로 편집인의 절반 이상이 선택한 구성요소로 ‘데이터 가용성 표기’, ‘데이터 공유 수준’, ‘데이터 공유 방법’, ‘데이터 인용’이 있었다. 이들 학술지에서 데이터 공유를 반드시 의무화할 필요는 없지만 데이터 가용성 표기를 통해 데이터를 공유할 수 없는 상황에 대해 언급하는 것은 필요하다고 보았다. 국내 상황에 적합한 리포지터리 개발 및 실행을 책임질 기관의 역할 또한 강조되었다. 더불어 정책 도입에 영향을 주는 요인에 따라 정책 도입 비율의 차이를 확인한 결과, 영향력지수 사분위, 출판 유형, 주제 분야에서 유의한 차이가 나타났다. 영향력지수가 높은 학술지는 데이터 공유를 지원하는 자원을 보유할 가능성이 높고 오픈액세스 혹은 하이브리드 학술지는 오픈사이언스의 일환인 오픈 데이터에 관심을 가지는 경향이 있다고 볼 수 있었다. 의학 분야에서는 학술공동체 차원의 데이터 공유를 위한 적극적인 움직임이 데이터 공유 정책 도입을 촉진하였음을 알 수 있었다. 국내에서 학술지 데이터 공유 정책 도입 및 운영을 활성화하는 기초자료로서 본 연구가 활용될 수 있을 것이다.
Abstract
At a time when open data receives attention as an international trend, there is a need to discuss the role of international journals in Korea to support data sharing. Based on surveys and interviews of editors from the international journals, we identified factors affecting the policy adoption and examined the journal editors' perception on the adoption and components of the data sharing policy. As a result, scholarly journals that have adopted or are planning to adopt policies have recognized that data sharing is an international trend and can contribute to research development, but they stressed that efforts to improve the perception of data sharing were still necessary. Educational activities and compensation for sharing data were needed at scholarly journals’ and communities’ level. Also, components perceived important and selected by more than half of the editors as mandatory were ‘data availability statement’, ‘data sharing level’, ‘data sharing method’, and ‘data citation’. While scholarly journals do not always need to mandate data sharing, it was necessary to mention conditions where data cannot be shared through data availability statements. The role of the organization developing and operating a repository appropriate for situations in Korea was also emphasized. In addition, by identifying factors affecting the policy adoption, significant differences were found in Journal Impact Factor quartiles, publication type, and subject area. This finding indicated that journals with a high impact factor are likely to have resources to support data sharing, and open access or hybrid journals are likely to have interest in open data as a part of open science. In the medical research area, active movements for data sharing in academic communities have promoted the adoption of data sharing policies. This study would be used as basic data to facilitate the adopton and operation of scholarly journals’ data sharing policies in Korea.
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
이 연구에서는 데이터 리터러시 분야 연구의 발전 경로와 지적구조 및 떠오르는 유망 주제를 파악하고자 하였다. 이를 위해서 Web of Science에서 검색한 데이터 리터러시 관련 논문은 교육학 분야와 문헌정보학 분야 논문이 전체의 60% 가까이를 차지하였다. 우선 인용 네트워크 분석에서는 페이지랭크 알고리즘을 사용해서 인용 영향력이 높은 다양한 주제의 핵심 논문을 파악하였다. 데이터 리터러시 연구의 발전 경로를 파악하기 위해서 기존의 주경로분석법을 적용해보았으나 교육학 분야의 연구 논문만 포함되는 한계가 있었다. 이를 극복할 수 있는 새로운 기법으로 페이지랭크 주경로분석법을 개발한 결과, 교육학 분야와 문헌정보학 분야의 핵심 논문이 모두 포함되는 발전 경로를 파악할 수 있었다. 데이터 리터러시 연구의 지적구조를 분석하기 위해서 키워드 서지결합 분석을 시행하였다. 도출된 키워드 서지결합 네트워크의 세부 구조와 군집 파악을 위해서 병렬최근접이웃클러스터링 알고리즘을 적용한 결과 대군집 2개와 그에 속한 소군집 7개를 파악할 수 있었다. 부상하는 유망 주제를 도출하기 위해서 각 키워드와 군집의 성장지수와 평균출판년도를 측정하였다. 분석 결과 팬데믹 상황과 AI 챗봇의 부상이라는 시대적 배경 하에서 사회정의를 위한 비판적 데이터 리터러시가 고등교육 측면에서 급부상하고 있는 것으로 나타났다. 또한 이 연구에서 연구의 발전경로를 파악하는 수단으로 새롭게 개발한 페이지랭크 주경로분석 기법은 서로 다른 영역에서 병렬적으로 발전하는 둘 이상의 연구흐름을 발견하기에 효과적이었다.
Abstract
This study investigates the development path and intellectual structure of data literacy research, aiming to identify emerging topics in the field. A comprehensive search for data literacy-related articles on the Web of Science reveals that the field is primarily concentrated in Education & Educational Research and Information Science & Library Science, accounting for nearly 60% of the total. Citation network analysis, employing the PageRank algorithm, identifies key papers with high citation impact across various topics. To accurately trace the development path of data literacy research, an enhanced PageRank main path algorithm is developed, which overcomes the limitations of existing methods confined to the Education & Educational Research field. Keyword bibliographic coupling analysis is employed to unravel the intellectual structure of data literacy research. Utilizing the PNNC algorithm, the detailed structure and clusters of the derived keyword bibliographic coupling network are revealed, including two large clusters, one with two smaller clusters and the other with five smaller clusters. The growth index and mean publishing year of each keyword and cluster are measured to pinpoint emerging topics. The analysis highlights the emergence of critical data literacy for social justice in higher education amidst the ongoing pandemic and the rise of AI chatbots. The enhanced PageRank main path algorithm, developed in this study, demonstrates its effectiveness in identifying parallel research streams developing across different fields.
초록
본 연구의 목적은 오픈 데이터 관련 연구의 최근 동향과 지적 구조를 고찰하는 것이다. 이를 위하여 본 연구는 Scopus에서 저자 키워드로 ‘open data’를 검색하여 1999년부터 2023년까지 총 6,543건의 논문을 수집하였으며, 데이터 전처리 이후 5,589편 논문의 저자 키워드를 대상으로 오픈 데이터 관련 연구 분야 및 링크드 오픈 데이터 관련 연구 분야의 중심성 도출과 네트워크 분석을 수행하였다. 그 결과, 오픈 데이터 관련 연구에서는 ‘big data’가 가장 높은 중심성을 보였으며, 주로 공공데이터 개념의 오픈 데이터로서의 활용 및 정책 적용 연구, 빅데이터와의 연관개념으로서의 오픈 데이터를 활용한 데이터 분석에 관한 연구, 오픈 데이터의 재생산이나 활용 및 접근과 같은 오픈 데이터의 이용과 관련한 주제의 연구가 이뤄지고 있음이 나타났다. 그리고 링크드 오픈 데이터 관련 연구는 삼각매개중심성 및 최근접이웃중심성에서 모두 ‘semantic web’이 가장 높은 것으로 나타났으며, 정부 정책의 공공데이터보다 데이터 연계와 관계 형성을 중점으로 한 연구가 많이 수행된 것으로 나타났다.
Abstract
The purpose of this study is to examine recent trends and intellectual structures in research related to open data. To achieve this, the study conducted a search for the keyword “open data” in Scopus and collected a total of 6,543 papers from 1999 to 2023. After data preprocessing, the study focused on the author keywords of 5,589 papers to perform network analysis and derive centrality in the field of open data research and linked open data research. As a result, the study found that “big data” exhibited the highest centrality in research related to open data. The research in this area mainly focuses on the utilization of open data as a concept of public data, studies on the application of open data in analysis related to big data as an associated concept, and research on topics related to the use of open data, such as the reproduction, utilization, and access of open data. In linked open data research, both triadic centrality and closeness centrality showed that “the semantic web” had the highest centrality. Moreover, it was observed that research emphasizing data linkage and relationship formation, rather than public data policies, was more prevalent in this field.
초록
정보통신 기술이 빠르게 발전하면서 데이터의 생산 속도가 급증하였고, 이는 빅데이터라는 개념으로 대표되고 있다. 단시간에 데이터 규모가 급격하게 증가한 빅데이터에 대해 품질과 신뢰성에 대한 논의도 진행되고 있다. 반면 스몰데이터는 품질이 우수한 최소한의 데이터로, 특정 문제 상황에 필요한 데이터를 의미한다. 문화예술 분야는 다양한 유형과 주제의 데이터가 존재하며 빅데이터 기술을 활용한 연구가 진행되고 있다. 하지만 문화예술기관의 기본정보가 정확하게 제공되고 활용되는지를 탐색한 연구는 부족하다. 기관의 기본정보는 대부분의 빅데이터 분석에서 사용하는 필수적인 근거일 수 있고, 기관을 식별하기 위한 출발점이 된다. 본 연구는 문화예술 기관의 기본정보를 다루는 데이터를 수집하여 공통 메타데이터를 정의하고, 공통 메타데이터를 중심으로 기관을 연계하는 지식그래프 형태로 스몰데이터를 구축하였다. 이는 통합적으로 문화예술기관의 유형과 특징을 탐색할 수 있는 방안이 될 수 있다.
Abstract
With the rapid development of information and communication technology, the speed of data production has increased rapidly, and this is represented by the concept of big data. Discussions on quality and reliability are also underway for big data whose data scale has rapidly increased in a short period of time. On the other hand, small data is minimal data of excellent quality and means data necessary for a specific problem situation. In the field of culture and arts, data of various types and topics exist, and research using big data technology is being conducted. However, research on whether basic information about culture and arts institutions is accurately provided and utilized is insufficient. The basic information of an institution can be an essential basis used in most big data analysis and becomes a starting point for identifying an institution. This study collected data dealing with the basic information of culture and arts institutions to define common metadata and constructed small data in the form of a knowledge graph linking institutions around common metadata. This can be a way to explore the types and characteristics of culture and arts institutions in an integrated way.
초록
기존의 연구자 유형 구분 모델은 대부분 연구성과 지표를 활용해왔다. 이 연구에서는 인용 영향력이 공동연구와 관련이 있다는 점을 감안하여 인용 데이터를 활용하지 않고 공동연구 지표만으로 연구자 유형을 분석하는 새로운 방법을 모색해보았다. 공동연구 패턴과 공동연구 범위를 기준으로 연구자를 Sparse & Wide (SW) 유형, Dense & Wide (DW) 유형, Dense & Narrow (DN) 유형, Sparse & Narrow (SN) 유형의 4가지로 구분하는 모델을 제안하였다. 제안된 모델을 양자계측 분야에 적용해본 결과, 구분된 연구자 유형별로 인용지표와 공저 네트워크 지표에 차이가 있음이 통계적으로 검증되었다. 이 연구에서 제시한 공동연구 특성에 따른 연구자 유형 구분 모델은 인용정보를 필요로 하지 않으므로 연구관리 정책과 연구지원서비스 측면에서 폭넓게 활용할 수 있을 것으로 기대된다.
Abstract
Traditional models for categorizing researcher types have mostly utilized research output metrics. This study proposes a new model that classifies researchers based on the characteristics of research collaboration. The model uses only research collaboration indicators and does not rely on citation data, taking into account that citation impact is related to collaborative research. The model categorizes researchers into four types based on their collaborative research pattern and scope: Sparse & Wide (SW) type, Dense & Wide (DW) type, Dense & Narrow (DN) type, Sparse & Narrow (SN) type. When applied to the quantum metrology field, the proposed model was statistically verified to show differences in citation indicators and co-author network indicators according to the classified researcher types. The proposed researcher type classification model does not require citation information. Therefore, it is expected to be widely used in research management policies and research support services.
초록
본 연구는 단행본, 학술지, 보고서 등 다양한 종류의 발간물로 구성된 연구보고서의 참고문헌 데이터베이스를 효율적으로 구축하기 위한 것으로 딥러닝 언어 모델을 이용하여 참고문헌의 자동추출 성능을 비교 분석하고자 한다. 연구보고서는 학술지와는 다르게 기관마다 양식이 상이하여 참고문헌 자동추출에 어려움이 있다. 본 연구에서는 참고문헌 자동추출에 널리 사용되는 연구인 메타데이터 추출과 더불어 참고문헌과 참고문헌이 아닌 문구가 섞여 있는 환경에서 참고문헌만을 분리해내는 원문 분리 연구를 통해 이 문제를 해결하였다. 자동 추출 모델을 구축하기 위해 특정 연구기관의 연구보고서 내 참고문헌셋, 학술지 유형의 참고문헌셋, 학술지 참고문헌과 비참고문헌 문구를 병합한 데이터셋을 구성했고, 딥러닝 언어 모델인 RoBERTa+CRF와 ChatGPT를 학습시켜 메타데이터 추출과 자료유형 구분 및 원문 분리 성능을 측정하였다. 그 결과 F1-score 기준 메타데이터 추출 최대 95.41%, 자료유형 구분 및 원문 분리 최대 98.91% 성능을 달성하는 등 유의미한 결과를 얻었다. 이를 통해 비참고문헌 문구가 포함된 연구보고서의 참고문헌 추출에 대한 딥러닝 언어 모델과 데이터셋 유형별 참고문헌 구축 방향을 제안하였다.
Abstract
The purpose of this study is to assess the effectiveness of using deep learning language models to extract references automatically and create a reference database for research reports in an efficient manner. Unlike academic journals, research reports present difficulties in automatically extracting references due to variations in formatting across institutions. In this study, we addressed this issue by introducing the task of separating references from non-reference phrases, in addition to the commonly used metadata extraction task for reference extraction. The study employed datasets that included various types of references, such as those from research reports of a particular institution, academic journals, and a combination of academic journal references and non-reference texts. Two deep learning language models, namely RoBERTa+CRF and ChatGPT, were compared to evaluate their performance in automatic extraction. They were used to extract metadata, categorize data types, and separate original text. The research findings showed that the deep learning language models were highly effective, achieving maximum F1-scores of 95.41% for metadata extraction and 98.91% for categorization of data types and separation of the original text. These results provide valuable insights into the use of deep learning language models and different types of datasets for constructing reference databases for research reports including both reference and non-reference texts.
초록
이 연구는 국내 기록관리표준의 연구동향을 분석한 것으로 이를 위해 기록관리표준 관련 논문의 표제-주제어-초록의 키워드를 추출하여 상위빈도 키워드의 분석과 키워드 네트워크 분석을 수행하였다. 분석 대상 기간은 2000년부터 현재까지이며 RISS와 ScienceON 등의 국내 학술논문 검색사이트에서 총 212편의 논문을 수집하여 연구를 수행하였다. 분석 결과 2000~2010년까지는 아카이브 설계를 위한 OAIS의 연구, OAIS를 통한 디지털 기록 보존연구 ISO 표준의 분석 연구 등이 주로 진행되었고, 2011년 이후부터 지금까지는 기록경영인증, ISAD(G)의 RiC 전환 등의 연구가 진행되었음을 알 수 있었다. 이 연구는 기록관리표준 연구의 국내 연구동향을 분석함으로써 연구 흐름을 파악하는 기초자료로 활용되며, 기존 기록관리표준을 연구할 때 참고자료로 역할을 할 것으로 기대한다.
Abstract
This study aimed to analyze and collect research trends of archival management standards in Korea. For this purpose, keywords from the titles, author keywords, and abstracts of papers related to records management standards were statistically analyzed to investigate the major keywords with high-frequency. Network analysis with high frequency keywords was also conducted to identify the subject areas of research in archival management standards. The analysis period is from 2000 to the present, and a total of 212 papers were collected from domestic academic paper search sites such as RISS and ScienceON. As a result of the analysis, from 2000 to 2010, OAIS for archive design, digital record preservation with OAIS, and analysis on ISO standards were mainly conducted in research areas. From 2011 until now, records management certification and ISAD(G)’s conversion to RiC emerged as new research areas. This study will be expected to be basic data to understand research trends in records management standards in Korea and to be a reference for research on records management standards studies.