네트워크기반 침입탐지(Network-Based Intrusion Detection: NIDS)란 허가되지 않은 사용자가 네트워크 자원(Resource)에 접근하거나, 자원을 고갈시키는 행위를 검출하는 과정(Process)이다.
현재 사용되고 있는 네트워크 기반 침입탐지 시스템의 상용제품 대부분은 각종 공격에 대한 특징(signature)을 분석하여 이것을 자동으로 감지할 수 있는 패턴형태로 만들어 놓고, 실시간으로 네트워크 패킷을 관찰하여 동일한 패턴이 발생하면 침입(Intrusion)을 알리는 오용탐지(Misuse Detection)가 주류를 이루고 있다. 이러한 방식은 비교적 높은 정확도를 보여주고 있으며, 실제 사용에서도 어느 정도 효율적이라고 할 수 있다. 그러나, 각종 공격(Attack)을 분석하여 패턴을 만들기 위해서는 해당 분야의 특별한 전문가(Expert)가 필요하기 때문에, 패턴의 생성과 유지보수에는 높은 비용이 요구된다. 또한, 이미 패턴이 존재하던 공격이 약간 우회하여 행해지면, 기존의 패턴만으로 새롭게 변형된 공격을 감지하기가 어렵다. 그러므로 전문가 기반의 오용탐지기법은 새로운 유형의 공격에 대해서는 매우 취약할 수 밖에 없다.
오용탐지와는 다르게 평소 정상적인 네트워크 사용에 대한 각종 통계적인 자료를 만들어 놓고, 이 자료의 범위를 벗어나는 네트웍상의 트래픽(Traffic)이 발생하면 침입이 발생했다고 판단하는 통계적기반의 비정상 행위 탐지(Statistics-Based Anomaly Detection)기법도 있다. 이 방법은 일부 공격들에 대해서는 매우 효과적이지만, 공격이 단지 몇 개의 패킷으로 구성되어 있는 경우는 효율적이지 않다.
이러한 이유로 대부분의 상용 네트워크기반 침입탐지 시스템은 전문가에 의한 오용탐지를 주축으로 하고, 통계적 기반의 비정상 행위 탐지를 보조적으로 사용하고 있다. 그러나 이러한 방법들만으로는 다양한 유형의 공격을 완벽하게 탐지하기에는 한계가 있다.

새로운 접근
네트워크 기반 침입탐지 분야에서 기존 방법들의 문제를 해결하기 위해서는 각종 인공지능(Artificial Intelligence)기법들이 도입되어야 한다. 침입탐지 문제는 실시간적이고 자동화된 지식(Knowledge) 생성의 문제로 볼 수 있으므로, 인공지능의 전문가 시스템(Expert System)과 분류(Classification)의 시각으로 접근할 수 있다. 즉, 정상정인 네트워크 패킷과 각종 비정상적인 네트워크 패킷을 수집하고, 이 패킷에 다양한 기계학습(Machine Learning) 알고리즘을 적용하여 지식을 자동으로 생성한다. 그리고 이렇게 학습된 지식을 기반으로 실시간적으로 발생하는 패킷들에 대하여 정상 및 비정상 여부를 판단하는 문제로 볼 수 있다.
기계학습은 그 학습 방법에 따라 크게 감독 학습(Supervised Learning)과 비감독 학습(Unsupervised Learning)으로 나누어 지는데, 감독학습은 해당자료에 대한 지식을 기반으로 학습하는 방법이며, 비감독 학습은 이러한 지식의 도움 없이 스스로 학습하는 방법이다. 감독 학습 방법에 의해 학습된 지식은 학습 알고리즘의 특성에 따라 다양한 형태(예를 들어 트리(Tree), 인스턴스(Instance), 연결강도값(Weight value), IF THEN 규칙(Rule) 등)로 표현 된다. 또 비감독 학습에 의해 만들어진 지식은 동일한 특성을 가지고 있는 자료들의 그룹(Cluster)형태로 지식이 표현된다. 네트워크 기반 침입탐지 분야에서는 감독 학습법과 비감독 학습법이 모두 사용되고 있는데, 감독 학습법이 비감독 학습법에 비해 정확도가 높다. 그러나 비감독 학습은 비록 정확도는 낮지만, 새로운 유형의 공격 감지에서는 효과적이라고 알려져 있다.
최근까지의 학계 연구 결과에 따르면, 침입탐지 분야에 시도되었던 학습 알고리즘으로는 감독 학습에서는 결정트리(Decision Tree), 신경망(Nural Network), IBL(Instance Based Learning) 등이 있으며, 비감독 학습에서는 각종 클러스터링(Clustering) 알고리즘들이 있다.

국내외 연구 동향
국내외적으로 최근까지 인공지능을 이용하는 침입탐지 분야에서 괄목할 만한 결과를 거두고 있는 특별한 제품이나 학습 알고리즘은 알려져 있지 않다. 미국의 경우 지난 1998년부터 3년간 미국 국방성을 중심으로 DARPA 프로젝트라는 보안 관련 연구가 진행된 예가 있다. 이 프로젝트에는 미국 내의 유수의 대학들이 참여하여 각각의 서로 다른 기계학습 알고리즘으로 침입탐지 분야에 적용하는 연구를 수행하였다. 국내의 경우 한국전자통신연구원(ETRI)이나 한국정보보호진흥원(KISA)에서 최근 몇 년간 관련 연구를 진행하고 있으며, 일부 대학에서 기업 및 연구소의 지원을 받아 협력 연구를 진행하고 있다. 국내외 모두를 포함해 만족할 만한 연구 성과는 현재까지 나오지 않고 있다. 일반적으로 침입탐지기술은 국가적 차원의 보안 문제와 밀접한 관련이 있으므로 관련된 기술에 대한 공개를 꺼리는 경향이 있어 기술의 정확한 발전 정도를 정확하게 알기에는 어려운 점이 있다.

기계학습을 이용한 접근법의 장^.단점
지금까지의 연구결과에서 기계학습적인 접근법의 가장 큰 문제는 높은 오탐률(Error Rate)이다. 침입을 탐지하는 적중률은 감독학습의 경우 대부분 70% 미만이며, 비감독 학습의 경우 대략 40% 미만 수준을 보이고 있다. 가끔 실험용 자료에 따라 90% 이상의 성능을 보이는 경우도 있으나, 이는 공인된 자료를 사용하지 않았으므로 그 신뢰도가 떨어진다고 할 수 있다. 따라서 객관적인 성능 비교를 위해 공인된 실험 자료(예를 들어 DARPA Data Set)를 사용하는 것이 요구된다.
기계학습을 이용한 침입탐지로의 접근은 공격패턴 생성이 자동화된 학습 알고리즘을 통해 수행되므로 침입 패턴을 생성 및 유지하는 비용을 줄일 수 있고, 새로운 공격이나 변형된 공격을 탐지할 수 있다. 또한 높은 오탐률은 앞으로 해결되어야 할 문제이지만, 기존의 시스템만으로 해결할 수 없는 문제를 해결하는 실마리를 제공하기 때문에, 침입탐지 분야에서 관심이 집중되고 있다.

향후 전망
지금까지의 기계학습을 이용한 네트워크 기반 침입탐지 분야의 연구결과를 종합해 보면, 모든 유형의 공격과 사용자의 행동을 모델링(Modeling) 할 수 있는 일반화된 알고리즘은 없는 것으로 알려져 있다. 따라서, 각각의 알고리즘의 통합 및 결합을 통한 상호 보완으로 탐지의 정확도를 향상 시키는 연구가 필요하다. 한편 현재 사용되고 있는 전문가 기반 오용탐지 기술과 통계 기반 비정상 행위 탐지 기술은 그 발전이 정점에 와 있는 것으로 판단된다. 따라서 침입탐지 분야에 인공지능 기법의 도입은 기존 시스템들이 해결할 수 없는 문제를 해결하기 위한 발판을 마련해 줄 수 있으며, 이러한 새로운 접근법은 기존의 방법들을 완전하게 대치하는 것이 아닌 상호 보완 관계로 발전해 나갈 것으로 예상된다.