Lucene-token

提供:Dev Guides
移動先:案内検索

Lucene-トークン

トークンは、ドキュメント内のテキストまたは単語を、メタデータ(位置、開始オフセット、終了オフセット、トークンタイプ、および位置の増分)などの関連する詳細とともに表します。

クラス宣言

以下は、 org.apache.lucene.analysis.Token クラスの宣言です。

public class Token
   extends TermAttributeImpl
      implements TypeAttribute, PositionIncrementAttribute,
         FlagsAttribute, OffsetAttribute,
         PayloadAttribute, PositionLengthAttribute

フィールド

以下は、 org.apache.lucene.analysis.Token クラスのフィールドです-

  • static AttributeSource.AttributeFactory TOKEN_ATTRIBUTE_FACTORY -基本属性の実装としてTokenを返し、他のすべての属性のデフォルトimpl(「Impl」を追加)を返す便利なファクトリー。

クラスコンストラクター

次の表は、さまざまなクラスのコンストラクタを示しています-

S.No. Constructor & Description
1

Token()

トークンを作成し、テキストをヌルにします。

2

Token(char[] startTermBuffer, int termBufferOffset, int termBufferLength, int start, int end)

指定された用語バッファー(オフセットと長さ)、開始および終了オフセットでトークンを構築します

3

Token(int start, int end)

nullテキストと開始および終了オフセットでトークンを構築します。

4 Constructs a Token with null text and start & end offsets plus flags.
5 *Constructs a Token with null text and start/end offsets plus the Token type. *
6
  • Token(String text, int start, int end)*

指定された用語テキストと開始/終了オフセットでトークンを構築します。

7

Token(String text, int start, int end, int flags)

指定されたテキスト、開始/終了オフセット、およびタイプでトークンを構築します。

8

Token(String text, int start, int end, String typ)

指定されたテキスト、開始/終了オフセット、およびタイプでトークンを構築します。

クラスメソッド

次の表は、さまざまなクラスメソッドを示しています-

S.No. Method & Description
1

void clear()

用語テキスト、ペイロード、フラグ、およびpositionIncrement、startOffset、endOffset、およびトークンタイプをデフォルトにリセットします。

2

Object clone()

これは浅いクローンです。

3

Token clone(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset)

クローンを作成しますが、プロセスの用語バッファーと開始/終了オフセットを置き換えます。

4

void copyTo(AttributeImpl target)

この属性から渡されたターゲット属性に値をコピーします。

5

int endOffset()

トークンの終了オフセットを返します。ソーステキスト内のこのトークンに対応する最後の文字の位置より1つ大きい。

6 *boolean equals(Object obj) *
7
  • int getFlags()*

設定されているビットのビットセットを取得します。

8

Payload getPayload()

このトークンのペイロードを返します。

9

int getPositionIncrement()

このトークンの位置増分を返します。

10

int getPositionLength()

位置の長さを取得します。

11 *int hashCode() *
12
  • void reflectWith(AttributeReflector reflector)*

このメソッドは属性を内観するためのもので、この属性が保持するキー/値を指定されたAttributeReflectorに追加するだけです。

13

Token reinit(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset)

Token.DEFAULT_TYPEでclear()、CharTermAttributeImpl.copyBuffer(char []、int、int)、setStartOffset(int)、setEndOffset(int)setType(java.lang.String)を呼び出すための省略形

14

Token reinit(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset, String newType)

clear()、CharTermAttributeImpl.copyBuffer(char []、int、int)、setStartOffset(int)、setEndOffset(int)、setType(java.lang.String)を呼び出すための省略形

15

Token reinit(String newTerm, int newStartOffset, int newEndOffset)

Token.DEFAULT_TYPEでclear()、CharTermAttributeImpl.append(CharSequence)、setStartOffset(int)、setEndOffset(int)setType(java.lang.String)を呼び出すための省略形

16

Token reinit(String newTerm, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset)

Token.DEFAULT_TYPEでclear()、CharTermAttributeImpl.append(CharSequence、int、int)、setStartOffset(int)、setEndOffset(int)setType(java.lang.String)を呼び出すための省略形

17

Token reinit(String newTerm, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset, String newType)

clear()、CharTermAttributeImpl.append(CharSequence、int、int)、setStartOffset(int)、setEndOffset(int)setType(java.lang.String)を呼び出すための省略形

18

Token reinit(String newTerm, int newStartOffset, int newEndOffset, String newType)

clear()、CharTermAttributeImpl.append(CharSequence)、setStartOffset(int)、setEndOffset(int)setType(java.lang.String)を呼び出すための省略形

19

void reinit(Token prototype)

プロトタイプトークンのフィールドをこのフィールドにコピーします。

20

void reinit(Token prototype, char[] newTermBuffer, int offset, int length)

プロトタイプトークンのフィールドを別の用語でこのフィールドにコピーします。

21

void reinit(Token prototype, String newTerm)

プロトタイプトークンのフィールドを別の用語でこのフィールドにコピーします。

22

void setEndOffset(int offset)

終了オフセットを設定します。

23 *void setFlags(int flags) *
24
  • void setOffset(int startOffset, int endOffset)*

開始オフセットと終了オフセットを設定します。

25

void setPayload(Payload payload)

このトークンのペイロードを設定します。

26

void setPositionIncrement(int positionIncrement)

位置の増分を設定します。

27

void setPositionLength(int positionLength)

位置の長さを設定します。

28

void setStartOffset(int offset)

開始オフセットを設定します。

29

void setType(String type)

字句タイプを設定します。

30

int startOffset()

このトークンの開始オフセット、つまりソーステキスト内のこのトークンに対応する最初の文字の位置を返します。

31

String type()

このトークンの字句タイプを返します。

継承されるメソッド

このクラスは、次のクラスからメソッドを継承します-

  • org.apache.lucene.analysis.tokenattributes.TermAttributeImpl
  • org.apache.lucene.analysis.tokenattributes.CharTermAttributeImpl
  • org.apache.lucene.util.AttributeImpl
  • java.lang.Object