ºü¸¥ Á¤º¸ °Ë»ö ½Ã½ºÅÛÀº ÅØ½ºÆ® ¹®¼¸¦ ¼øÂ÷ÀûÀ¸·Î ½ºÄµÇÏÁö ¾Ê´Âµ¥, ÀÌÀ¯´Â ½Ã°£ÀÌ ³Ê¹« ¿À·¡ °É¸®±â ¶§¹®ÀÔ´Ï´Ù. ´ë½Å¿¡, ÀÌ ½Ã½ºÅÛÀº ÀÌÀü¿¡ ±¸ÃàµÈ ÅØ½ºÆ® »öÀÎÀ» °¡Áö°í ÀÛ¾÷ÇÕ´Ï´Ù. ÅØ½ºÆ® »öÀÎÀ» ÅØ½ºÆ® ¹®¼¿¡¼ ÃßÃâµÈ Áß¿ä ¿ë¾î·Î »ý°¢ÇÒ ¼ö ÀÖÀ¸¸ç, °¢ ¿ë¾î´Â Á¤º¸°¡ µé¾î ÀÖ´Â ¹®¼¿¡ ´ëÇÑ Á¤º¸¿Í ÇÔ²² ÀúÀåµË´Ï´Ù.
ÅØ½ºÆ® »öÀÎÀº °ü·Ã Á¤º¸¸¸À» Æ÷ÇÔÇÕ´Ï´Ù. Áß¿äÇÏÁö ¾ÊÀº Á¤º¸, ¿¹¸¦ µé¾î, "and", "of", "which"¿¡ ´ëÇØ¼´Â »öÀÎÀÌ ÀÛ¼ºµÇÁö ¾Ê½À´Ï´Ù. (Ngram »öÀο¡´Â ºñÀÇ¹Ì¼Ò ÇÊÅͰ¡ ¼öÇàµÇÁö ¾Ê½À´Ï´Ù.) DB2 Text ExtenderÀº ºñÀǹ̼Ò(stop word)·Î ¾Ë·ÁÁø ÀÌ·± ´Ü¾îÀÇ ¸ñ·ÏÀ» »ç¿ëÇÏ¿© ÇØ´ç Á¤º¸ÀÇ »öÀÎÀÌ ÀÛ¼ºµÉ ¼ö ¾ø°Ô ÇÕ´Ï´Ù.
°Ë»ö ½Ã½ºÅÛÀº ¿äûµÈ ¿ë¾î¸¦ ÅëÇØ Ž»öÇÏ¿© ÀÌ·± ¿ë¾î°¡ µé¾î ÀÖ´Â ÅØ½ºÆ® ¹®¼¸¦ ã¾Æ³¾ ¼ö ÀÖ½À´Ï´Ù.
Ãß°¡ Á¤º¸ |
---|
ºñÀÇ¹Ì¼Ò ¸ñ·ÏÀ» º¯°æÇØ¾ß ÇÏ´Â °æ¿ì, ¼³Ä¡½Ã¿¡ Çѹø¸¸ º¯°æÇϽʽÿÀ. |
¾ð¾î¸¶´Ù ºñÀÇ¹Ì¼Ò ¸ñ·ÏÀº º¯°æÇÒ ¼ö ÀÖ´Â ÆÄÀÏ(ºñÀÇ¹Ì¼Ò ¹× ¾à¾î ÆÄÀÏ º¯°æ ÂüÁ¶)¿¡ ÀúÀåµÇÁö¸¸, Àüü ½Ã½ºÅÛ¿¡ ´ëÇØ ÇϳªÀÇ ÆÄÀÏÀÌ ÀÖÀ¸¹Ç·Î óÀ½¿¡ DB2 Text Extender¸¦ ¼³Á¤ÇÏ´Â µ¿¾È Çѹø¸¸ º¯°æÇØ¾ß ÇÕ´Ï´Ù. ÆÄÀÏÀ» ³ªÁß¿¡ º¯°æÇÏ´Â °æ¿ì, ±âÁ¸ÀÇ »öÀÎÀº º¯°æ»çÇ×À» ¹Ý¿µÇÏÁö ¸øÇÕ´Ï´Ù.
¿¹¸¦ µé¾î, ÀϺΠ¹®¼¿¡ "Now"¶ó´Â ÁÖ°£ ÀâÁöÀÇ À̸§ÀÌ ÀÖ´Ù°í °¡Á¤ÇϽʽÿÀ. ÀÌ ´Ü¾î¸¦ ºñÀǹ̼ҿ¡¼ Á¦°ÅÇÏ´Â °æ¿ì, ÀÌ ´Ü¾î¿¡ ´ëÇØ »öÀÎÀÌ ÀÛ¼ºµÇ¾î ³ªÁß¿¡ Ž»öÀ» ÇÏ¸é ¹ß°ßµÉ °ÍÀÔ´Ï´Ù. ±×·¯³ª, ºñÀǹ̼Ҹ¦ Á¦°ÅÇϱâ Àü¿¡ ÀÛ¼ºµÈ ¸ðµç »öÀο¡´Â "now"¶õ ´Ü¾î°¡ ¾øÀ¸¸ç ÀÌ¿¡ ´ëÇÑ Å½»öÀº ½ÇÆÐÇÒ °ÍÀÔ´Ï´Ù.
ºñÀÇ¹Ì¼Ò º¯°æÀ» °áÁ¤ÇÏ°í º¯°æ»çÇ×ÀÌ Àüü¿¡ °ÉÃÄ ³ªÅ¸³ªµµ·Ï ÇÏ·Á¸é, ¸ðµç »öÀÎÀ» ÀçÀÛ¼ºÇØ¾ß ÇÕ´Ï´Ù.
»öÀÎ ÀÛ¼ºÀº 2´Ü°è ÇÁ·Î¼¼½ºÀÔ´Ï´Ù. ù¹øÂ° ´Ü°è´Â »öÀÎ ÀÛ¼ºµÉ Çʿ䰡 ÀÖ´Â ÅØ½ºÆ® ¹®¼¸¦ ·Î±× Å×ÀÌºí¿¡ ±â·ÏÇÏ´Â °ÍÀÔ´Ï´Ù. ÀÌ ÀÛ¾÷Àº Ä÷³¿¡¼ ÅØ½ºÆ® ¹®¼¸¦ »ðÀÔ, °»½ÅÇϰųª »èÁ¦ÇÒ ¶§¸¶´Ù DB2 Æ®¸®°Å¸¦ ÅëÇØ ÀÚµ¿À¸·Î ¹ß»ýÇÕ´Ï´Ù.
µÎ ¹øÂ° ´Ü°è´Â ·Î±× Å×ÀÌºí¿¡ ³ª¿µÈ ÅØ½ºÆ® ¹®¼¿¡ ´ëÇØ »öÀÎÀ» ÀÛ¼ºÇÏ´Â °ÍÀÔ´Ï´Ù. ÀÌ ´Ü°è´Â ÁÖ±âÀûÀ¸·Î ½ÇÇàµÉ ¼ö ÀÖ½À´Ï´Ù. Ä÷³¿¡ »ðÀԵǰųª º¯°æµÈ ¹®¼ÀÇ ¿ë¾î´Â »öÀο¡ Ãß°¡µË´Ï´Ù. Ä÷³¿¡¼ »èÁ¦µÈ ¹®¼ÀÇ ¿ë¾î´Â »öÀο¡¼ Á¦°ÅµË´Ï´Ù.
![]() |