precision()

mathLib.precision() システム関数は、変数の精度を戻します。

EGL では、精度 とは、小数点以下の桁数のみではなく、変数がその値を表現するために使用できる総桁数のことです。 INT の精度は 9 です。 浮動小数点数の場合の精度は、プログラムが実行されているシステム上で数値が何桁まで表示可能かを示すものです。

構文

  mathLib.precision(numericVariable SMALLINT | INT |
              BIGINT | DECIMAL | SMALLFLOAT | FLOAT in)
  returns (result INT)
numericVariable
上記のいずれかの型と代入互換性がある変数。
result
numericVariable の最大桁数は、INT として戻されます。

  result INT;
  myVar FLOAT;

  result = mathLib.precision(myVar); // 結果=15

フィードバック