- ベストアンサー
浮動小数点数の誤差
恐ろしく基本的なこと聞きます。 Public Class himajin100000 Shared Sub Main Dim foo As Double = 0.5 '2進数で表現できる Dim bar As Double = 0.1 '割り切れないから誤差が出る System.Diagnostics.Trace.WriteLine((foo - bar).ToString) '0.4 '・・・あれ？浮動小数点数の誤差どこ行った？ End Sub End Class
- himajin100000
- お礼率38% (42/110)
- Visual Basic
- 回答数1
- ありがとう数3
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
ToStringしたときに丸められたってことはないですかね? VBでできるかわかりませんけど、減算の結果のビットパターンを 見れば何かわかるかもしれません。
関連するQ&A
- Double→Integerへの変換で「意図しない変換を防ぐ」
'もう一質問。頻繁に考えていたこと Class himajin100000 Shared Sub Main Dim hoge As Integer Dim fuga As Double = 5.5 hoge = System.Convert.ToInt32(5.5) System.Diagnostics.Debug.Print(hoge.ToString) hoge = CType(5.5,Integer) System.Diagnostics.Debug.Print(hoge.ToString) 'という変換を防ぎたいです。 'Double値が5.0など、整数として切りの良い数字のときのみ変換したい 'それ以外はプログラマのミスとしてエラーが検出できるように。 'なお、 'hoge = DirectCast(5.5,Integer) 'とか 'hoge = DirectCast(System.Math.Floor(5.5),Integer) 'はエラーが出ます。 '今まで私は， hoge = Integer.Parse(System.Math.Floor(5.5).ToString) System.Diagnostics.Debug.Print(hoge.ToString) 'という風に書いてきました。 'Integer.Parse((5.5).ToString) System.FormatException '何かString型を介している地点で冗長な気がするので 'もっといい方法・わかりやすい方法等があれば教えてください End Sub End Class
- 締切済み
- Visual Basic
- VB6構造体をVB2008クラスで行う場合
何方かの質問「VB6構造体をVB2008クラスで行う場合」 の回答プログラムにて参考とさせて頂きましたが 申し訳ありません、初心者しにて・・・・・教えてください。 値を「登録、参照部分」のクラス(抜粋) Public Class Program Public Shared Sub Main() （省略） End Sub End Class 上記部分なのですが (1)Sharedを使用する訳はなんでしょうか？(省いても問題ありませんか？) (2)登録、参照部分のクラスPublic Shared Sub Main()を「登録のメソッド」と「参照のメソッド」に 分けたいのですがどうしてもうまくいきません。 何方か御教授願えないでしょうか？ よろしくお願いします。 「以下何方かの質問の回答プログラム」 ■クラス＋コレクションクラス Public Class Group Public MainID As Integer Public SubID As Integer Public Value1 As Integer Public Value2 As Integer End Class Public Class GroupCollection : Inherits System.Collections.Generic.Dictionary(Of Integer, Group) Public Shadows Sub Add(ByVal Item As Group) MyBase.Add(Item.SubID, Item) End Sub End Class Public Class Program Public Shared Sub Main() Dim DataDict As New GroupCollection Dim NewGroup As New Group NewGroup.MainID = 1 NewGroup.SubID = 101 NewGroup.Value1 = 123 NewGroup.Value2 = 234 DataDict.Add(NewGroup) Console.WriteLine(DataDict.Item(101).Value2) ' 出力 234 End Sub End Class
- ベストアンサー
- Visual Basic
- ジェネリックなメソッドでDirectCastするとエラーになるのはなぜ？
お世話になっております。 Visual Studio 2008にて開発していますが 以下のfoo1でエラーになる原因がわかりません。 foo2, foo3では問題ありませんのでDirectCastが使えないといった理由でもなさそうです。 MSDNを調べてみたのですがこれといったものは見つかりませんでした。 おそらく、何れかの仕様に違反しているのでしょうが具体的な原因について教えてもらえないでしょうか？ Public Shared Function foo1(Of T As Class)(ByVal c As Control) As T Return DirectCast(c, T) End Function Public Shared Function foo2(Of T As Class)(ByVal c As Object) As T Return DirectCast(c, T) End Function Public Shared Function foo3(Of T As Class)(ByVal c As Control) As T Return TryCast(c, T) End Function
- 締切済み
- Visual Basic
- 親子関係を持つ自作クラスのDownCast
.NET2.0ベースのVBです。次のコードをビルドしようとすると、CTypeの部分がエラーとなり、「変換演算子によって、ある型からその派生型に変換することはできません」とメッセージがでます。派生クラスに対して、ある一定の法則でダウンキャストさせたいのですが、なぜ不可能なのでしょうか。また、このようなアプローチは間違っているでしょうか。 Public Class Class1 ' このクラスは別ファイルに定義されており、 ' そのファイルは ReadOnly。 Public foo Public bar Public baz End Class Partial Class Class1 ' 継承クラスで実装すると、クラス階層構造がより一層複雑になるので、Partial として実装。 ' ダウンキャスト用にキャスト演算をオーバーロード Public Shared Narrowing Operator CType(ByVal value As Class1) As Class2 Dim result As New Class2 ' .foo は移さない！ result.bar = value.bar result.baz = value.baz Return result End Operator End Class Public Class Class2 : Inherits Class1 Public hoge End Class
- ベストアンサー
- Visual Basic
- VB.NETのメモリ領域について
VB.NETのメモリ領域について 以下の(1)～(12)の変数のために、 スタック領域、静的領域、ヒープ領域のどこのメモリが使われるか教えてください。 Class Sample Dim a As Integer '(1) Dim b As String = "BBB" '(2) Shared c As Integer '(3) Shared d As String = "DDD" '(4) Sub X() Dim f As Integer '(5) Dim g As String = "GGG" '(6) Static h As Integer '(7) Static i As String = "III" '(8) End Sub Shared Sub Y() Dim k As Integer '(9) Dim l As String = "LLL" '(10) Static m As Integer '(11) Static n As String = "NNN" '(12) End Sub End Class それぞれこんな認識で合ってますか？ スタック領域 (1)(5)(9) スタック領域にポインタ＋ヒープ領域に実体 (2)(6)(10) 静的領域 (3)(7)(11) 静的領域にポインタ＋ヒープ領域に実体 (4)(8)(12)
- ベストアンサー
- Visual Basic
- 見えない浮動小数点演算誤差？
二つのBOOKにある表のデータの数値をVBAで比較していました。 単に各セルのValueとValueが等価かどうか＝で比較しただけです。 すると見た目（表示）も数式バー上の値もまったく同じなのに相違があると判定されました。 不思議に思い、二つのBOOKにある表のデータの数値のうち違いがあると出た2つのセルを、そのまま別シートにコピー貼り付けして比較したのが添付の図です。 たとえば、BOOK-AからコピペしたB3セルの値は0.669です。 BOOK-BからコピペしたC3セルの値も0.669です。 両方とも数式バーでみましたが、間違いなく0.669です。 A3セルに =B3=C3 と入れるとTRUEが返ります。 ところが、D3セルに =B3-C3=0 と入れるとFALSEが返ります。 では、0でないなら差額はいくら？と、B11セルに=B3-C3と入れると、0が返ります。 これまで浮動小数点演算誤差で、見た目がおなじでも小数点以下かなり下の方で違いケースは経験していましたが、その場合でも小数点以下の表示を20位くらいまで表示させると違いが表れました。ところが今回は誤差が見えません。 差額確認のためVBAで Sub test01() Debug.Print Range("B3").Value = Range("C3").Value Debug.Print Range("B3").Value - Range("C3").Value Debug.Print Range("B5").Value = Range("C5").Value Debug.Print Range("B5").Value - Range("C5").Value End Sub としてみると、 False 1.11022302462516E-16 False 1.11022302462516E-16 が返りました。 エクセル2010と2016の2つで試しましたが同じ結果でした。 こんなことってあるんでしょうか？ 困惑しています。
- ベストアンサー
- Excel（エクセル）
- VB.NETのデリゲートについて
VB.NETのデリゲートについて質問です。 以下のプログラムなのですが、 デリゲート型をインスタンス化しているところで、コンストラクタにパラメータを渡していますが、 そのコンストラクタはどこに定義されているのでしょうか。 (AddressOf t1.Ohayou)というパラメータが渡されていますが、このパラメータを受け取っているコンストラクタがどれなのかが分かりません。 ご教示よろしくお願いいたします。 Delegate Sub Myprint(ByVal s As String) Module Module1 Sub Main() Dim t1 As Test1 = New Test1() Dim t2 As TEst2 = New Test2() Dim d As Myprint = New Myprint(AddressOf t1.Ohayou) d.Invoke("VB太郎") d = New Myprint(AddressOf t2.Konbanwa) d.Invoke("VB太郎") End Sub End Module Class Test1 Sub Ohayou(ByVal s As String) Console.WriteLine("おはようございます。{0}です。", s) End Sub End Class Class Test2 Sub Konbanwa(ByVal s As String) Console.WriteLine("こんばんわ。{0}です。", s) End Sub End Class
- 締切済み
- Visual Basic
- VB6.0での小数点の扱いについて
現在、VB6.0を使用しており、小数点の扱いに困っています。 Sub Keisan() Dim A As String Dim B As String Dim C As String A = 1.29033 B = 1.91458 C = CStr(A + CDec((B - A) / 6) * 3) MsgBox C End Sub 上記のプログラムを実行すると、 「1.602455000000001」と表示されますが、 電卓を用いて計算すると、 「1.602454998・・・」となり、微妙に誤差が出てしまいます。 小数点を整数にして計算→元の桁数に戻す、という 処理を行うと、誤差なく求めることが出来ましたが、 「もっとスマートなコードにして」と言われてしまいまして どうしたものかと思っております。 この誤差を解決する方法は無いでしょうか？
- ベストアンサー
- Visual Basic
- assigning a value to structure's member accessed via collection
Class SampleA Private SampleAPoints As New System.Collections.Generic.List(Of System.Drawing.Point) Public ReadOnly Property Points As System.Collections.Generic.List(Of System.Drawing.Point) Get Return SampleAPoints End Get End Property End Class Class himajin100000 Shared Sub Main Dim Samp As New SampleA Samp.Points.Add(New System.Drawing.Point(80,80)) Samp.Points(0).X = 40 Samp.Points(0).Y = 40 End Sub End Class 'とかやってたら 'Expression is a value and cannot be target of an assignment 'といわれてしまいました。 '参考 'http://connect.microsoft.com/VisualStudio/feedback/ViewFeedback.aspx?FeedbackID=295107 'どうやって切り抜けますか？
- ベストアンサー
- Visual Basic
- OleDbDataReaderで単精度浮動小数点項目の取得について
VB.netと(Access OfficeXP版)MDBでプログラミングしています。 DBアタッチは、OleDb関連でやっています。 今、データベース内の単精度浮動小数点の項目（小数点以下２桁設定）が正確に取得できず悩んでいます。 String型の項目は取得できます。 Dim Myreader as OleDbDataReader While Myreader.Read System.console.WriteLine(MyReader.GetString(0)) System.console.WriteLine(MyReader.GetFloat(1)) End while これを行うと以下の実行エラーが出ます。 "符号の不一致またはデータオーバーフロー以外の理由により、データ値が変換できませんでした。" MyReader.GetFloatのところは、GetDoubleでも同様です。またGetValueにすると異常終了はしませんが、 数値はzeroが入ってきます。 よろしくお願いいたします。
- ベストアンサー
- Visual Basic
