pytorch

1
########## torch.float32/torch.int32/size=(2, 3)+(2, 3)+() ##########
2
# sparse tensor
3
tensor(crow_indices=tensor([[[0, 2, 4],
4
                             [0, 3, 4],
5
                             [0, 1, 4]],
6

7
                            [[0, 1, 4],
8
                             [0, 2, 4],
9
                             [0, 3, 4]]]),
10
       col_indices=tensor([[[0, 1, 0, 2],
11
                            [0, 1, 2, 0],
12
                            [0, 0, 1, 2]],
13

14
                           [[1, 0, 1, 2],
15
                            [0, 2, 0, 1],
16
                            [0, 1, 2, 1]]]),
17
       values=tensor([[[1., 2., 3., 4.],
18
                       [1., 2., 3., 4.],
19
                       [1., 2., 3., 4.]],
20

21
                      [[1., 2., 3., 4.],
22
                       [1., 2., 3., 4.],
23
                       [1., 2., 3., 4.]]]), device='cuda:0', size=(2, 3, 2, 3),
24
       nnz=4, layout=torch.sparse_csr)
25
# _crow_indices
26
tensor([[[0, 2, 4],
27
         [0, 3, 4],
28
         [0, 1, 4]],
29

30
        [[0, 1, 4],
31
         [0, 2, 4],
32
         [0, 3, 4]]], device='cuda:0', dtype=torch.int32)
33
# _col_indices
34
tensor([[[0, 1, 0, 2],
35
         [0, 1, 2, 0],
36
         [0, 0, 1, 2]],
37

38
        [[1, 0, 1, 2],
39
         [0, 2, 0, 1],
40
         [0, 1, 2, 1]]], device='cuda:0', dtype=torch.int32)
41
# _values
42
tensor([[[1., 2., 3., 4.],
43
         [1., 2., 3., 4.],
44
         [1., 2., 3., 4.]],
45

46
        [[1., 2., 3., 4.],
47
         [1., 2., 3., 4.],
48
         [1., 2., 3., 4.]]], device='cuda:0')
49

50
########## torch.float32/torch.int32/size=()+(8, 6)+() ##########
51
# sparse tensor
52
tensor(crow_indices=tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24]),
53
       col_indices=tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4,
54
                           5, 0, 1, 2, 4, 5]),
55
       values=tensor([ 1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10., 11.,
56
                      12., 13., 14., 15., 16., 17., 18., 19., 20., 21., 22.,
57
                      23., 24.]), device='cuda:0', size=(8, 6), nnz=24,
58
       layout=torch.sparse_csr)
59
# _crow_indices
60
tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24], device='cuda:0',
61
       dtype=torch.int32)
62
# _col_indices
63
tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4, 5, 0, 1, 2, 4, 5],
64
       device='cuda:0', dtype=torch.int32)
65
# _values
66
tensor([ 1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10., 11., 12., 13., 14.,
67
        15., 16., 17., 18., 19., 20., 21., 22., 23., 24.], device='cuda:0')
68

69

70
########## torch.float64/torch.int32/size=(2, 3)+(2, 3)+() ##########
71
# sparse tensor
72
tensor(crow_indices=tensor([[[0, 2, 4],
73
                             [0, 3, 4],
74
                             [0, 1, 4]],
75

76
                            [[0, 1, 4],
77
                             [0, 2, 4],
78
                             [0, 3, 4]]]),
79
       col_indices=tensor([[[0, 1, 0, 2],
80
                            [0, 1, 2, 0],
81
                            [0, 0, 1, 2]],
82

83
                           [[1, 0, 1, 2],
84
                            [0, 2, 0, 1],
85
                            [0, 1, 2, 1]]]),
86
       values=tensor([[[1., 2., 3., 4.],
87
                       [1., 2., 3., 4.],
88
                       [1., 2., 3., 4.]],
89

90
                      [[1., 2., 3., 4.],
91
                       [1., 2., 3., 4.],
92
                       [1., 2., 3., 4.]]]), device='cuda:0', size=(2, 3, 2, 3),
93
       nnz=4, dtype=torch.float64, layout=torch.sparse_csr)
94
# _crow_indices
95
tensor([[[0, 2, 4],
96
         [0, 3, 4],
97
         [0, 1, 4]],
98

99
        [[0, 1, 4],
100
         [0, 2, 4],
101
         [0, 3, 4]]], device='cuda:0', dtype=torch.int32)
102
# _col_indices
103
tensor([[[0, 1, 0, 2],
104
         [0, 1, 2, 0],
105
         [0, 0, 1, 2]],
106

107
        [[1, 0, 1, 2],
108
         [0, 2, 0, 1],
109
         [0, 1, 2, 1]]], device='cuda:0', dtype=torch.int32)
110
# _values
111
tensor([[[1., 2., 3., 4.],
112
         [1., 2., 3., 4.],
113
         [1., 2., 3., 4.]],
114

115
        [[1., 2., 3., 4.],
116
         [1., 2., 3., 4.],
117
         [1., 2., 3., 4.]]], device='cuda:0', dtype=torch.float64)
118

119
########## torch.float64/torch.int32/size=()+(8, 6)+() ##########
120
# sparse tensor
121
tensor(crow_indices=tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24]),
122
       col_indices=tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4,
123
                           5, 0, 1, 2, 4, 5]),
124
       values=tensor([ 1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10., 11.,
125
                      12., 13., 14., 15., 16., 17., 18., 19., 20., 21., 22.,
126
                      23., 24.]), device='cuda:0', size=(8, 6), nnz=24,
127
       dtype=torch.float64, layout=torch.sparse_csr)
128
# _crow_indices
129
tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24], device='cuda:0',
130
       dtype=torch.int32)
131
# _col_indices
132
tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4, 5, 0, 1, 2, 4, 5],
133
       device='cuda:0', dtype=torch.int32)
134
# _values
135
tensor([ 1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10., 11., 12., 13., 14.,
136
        15., 16., 17., 18., 19., 20., 21., 22., 23., 24.], device='cuda:0',
137
       dtype=torch.float64)
138

139

140
########## torch.float32/torch.int64/size=(2, 3)+(2, 3)+() ##########
141
# sparse tensor
142
tensor(crow_indices=tensor([[[0, 2, 4],
143
                             [0, 3, 4],
144
                             [0, 1, 4]],
145

146
                            [[0, 1, 4],
147
                             [0, 2, 4],
148
                             [0, 3, 4]]]),
149
       col_indices=tensor([[[0, 1, 0, 2],
150
                            [0, 1, 2, 0],
151
                            [0, 0, 1, 2]],
152

153
                           [[1, 0, 1, 2],
154
                            [0, 2, 0, 1],
155
                            [0, 1, 2, 1]]]),
156
       values=tensor([[[1., 2., 3., 4.],
157
                       [1., 2., 3., 4.],
158
                       [1., 2., 3., 4.]],
159

160
                      [[1., 2., 3., 4.],
161
                       [1., 2., 3., 4.],
162
                       [1., 2., 3., 4.]]]), device='cuda:0', size=(2, 3, 2, 3),
163
       nnz=4, layout=torch.sparse_csr)
164
# _crow_indices
165
tensor([[[0, 2, 4],
166
         [0, 3, 4],
167
         [0, 1, 4]],
168

169
        [[0, 1, 4],
170
         [0, 2, 4],
171
         [0, 3, 4]]], device='cuda:0')
172
# _col_indices
173
tensor([[[0, 1, 0, 2],
174
         [0, 1, 2, 0],
175
         [0, 0, 1, 2]],
176

177
        [[1, 0, 1, 2],
178
         [0, 2, 0, 1],
179
         [0, 1, 2, 1]]], device='cuda:0')
180
# _values
181
tensor([[[1., 2., 3., 4.],
182
         [1., 2., 3., 4.],
183
         [1., 2., 3., 4.]],
184

185
        [[1., 2., 3., 4.],
186
         [1., 2., 3., 4.],
187
         [1., 2., 3., 4.]]], device='cuda:0')
188

189
########## torch.float32/torch.int64/size=()+(8, 6)+() ##########
190
# sparse tensor
191
tensor(crow_indices=tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24]),
192
       col_indices=tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4,
193
                           5, 0, 1, 2, 4, 5]),
194
       values=tensor([ 1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10., 11.,
195
                      12., 13., 14., 15., 16., 17., 18., 19., 20., 21., 22.,
196
                      23., 24.]), device='cuda:0', size=(8, 6), nnz=24,
197
       layout=torch.sparse_csr)
198
# _crow_indices
199
tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24], device='cuda:0')
200
# _col_indices
201
tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4, 5, 0, 1, 2, 4, 5],
202
       device='cuda:0')
203
# _values
204
tensor([ 1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10., 11., 12., 13., 14.,
205
        15., 16., 17., 18., 19., 20., 21., 22., 23., 24.], device='cuda:0')
206

207

208
########## torch.float64/torch.int64/size=(2, 3)+(2, 3)+() ##########
209
# sparse tensor
210
tensor(crow_indices=tensor([[[0, 2, 4],
211
                             [0, 3, 4],
212
                             [0, 1, 4]],
213

214
                            [[0, 1, 4],
215
                             [0, 2, 4],
216
                             [0, 3, 4]]]),
217
       col_indices=tensor([[[0, 1, 0, 2],
218
                            [0, 1, 2, 0],
219
                            [0, 0, 1, 2]],
220

221
                           [[1, 0, 1, 2],
222
                            [0, 2, 0, 1],
223
                            [0, 1, 2, 1]]]),
224
       values=tensor([[[1., 2., 3., 4.],
225
                       [1., 2., 3., 4.],
226
                       [1., 2., 3., 4.]],
227

228
                      [[1., 2., 3., 4.],
229
                       [1., 2., 3., 4.],
230
                       [1., 2., 3., 4.]]]), device='cuda:0', size=(2, 3, 2, 3),
231
       nnz=4, dtype=torch.float64, layout=torch.sparse_csr)
232
# _crow_indices
233
tensor([[[0, 2, 4],
234
         [0, 3, 4],
235
         [0, 1, 4]],
236

237
        [[0, 1, 4],
238
         [0, 2, 4],
239
         [0, 3, 4]]], device='cuda:0')
240
# _col_indices
241
tensor([[[0, 1, 0, 2],
242
         [0, 1, 2, 0],
243
         [0, 0, 1, 2]],
244

245
        [[1, 0, 1, 2],
246
         [0, 2, 0, 1],
247
         [0, 1, 2, 1]]], device='cuda:0')
248
# _values
249
tensor([[[1., 2., 3., 4.],
250
         [1., 2., 3., 4.],
251
         [1., 2., 3., 4.]],
252

253
        [[1., 2., 3., 4.],
254
         [1., 2., 3., 4.],
255
         [1., 2., 3., 4.]]], device='cuda:0', dtype=torch.float64)
256

257
########## torch.float64/torch.int64/size=()+(8, 6)+() ##########
258
# sparse tensor
259
tensor(crow_indices=tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24]),
260
       col_indices=tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4,
261
                           5, 0, 1, 2, 4, 5]),
262
       values=tensor([ 1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10., 11.,
263
                      12., 13., 14., 15., 16., 17., 18., 19., 20., 21., 22.,
264
                      23., 24.]), device='cuda:0', size=(8, 6), nnz=24,
265
       dtype=torch.float64, layout=torch.sparse_csr)
266
# _crow_indices
267
tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24], device='cuda:0')
268
# _col_indices
269
tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4, 5, 0, 1, 2, 4, 5],
270
       device='cuda:0')
271
# _values
272
tensor([ 1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10., 11., 12., 13., 14.,
273
        15., 16., 17., 18., 19., 20., 21., 22., 23., 24.], device='cuda:0',
274
       dtype=torch.float64)
275

276

277
########## torch.float32/torch.int32/size=(2, 3)+(2, 3)+(4,) ##########
278
# sparse tensor
279
tensor(crow_indices=tensor([[[0, 2, 4],
280
                             [0, 3, 4],
281
                             [0, 1, 4]],
282

283
                            [[0, 1, 4],
284
                             [0, 2, 4],
285
                             [0, 3, 4]]]),
286
       col_indices=tensor([[[0, 1, 0, 2],
287
                            [0, 1, 2, 0],
288
                            [0, 0, 1, 2]],
289

290
                           [[1, 0, 1, 2],
291
                            [0, 2, 0, 1],
292
                            [0, 1, 2, 1]]]),
293
       values=tensor([[[[1., 2., 3., 4.],
294
                        [2., 3., 4., 5.],
295
                        [3., 4., 5., 6.],
296
                        [4., 5., 6., 7.]],
297

298
                       [[1., 2., 3., 4.],
299
                        [2., 3., 4., 5.],
300
                        [3., 4., 5., 6.],
301
                        [4., 5., 6., 7.]],
302

303
                       [[1., 2., 3., 4.],
304
                        [2., 3., 4., 5.],
305
                        [3., 4., 5., 6.],
306
                        [4., 5., 6., 7.]]],
307

308

309
                      [[[1., 2., 3., 4.],
310
                        [2., 3., 4., 5.],
311
                        [3., 4., 5., 6.],
312
                        [4., 5., 6., 7.]],
313

314
                       [[1., 2., 3., 4.],
315
                        [2., 3., 4., 5.],
316
                        [3., 4., 5., 6.],
317
                        [4., 5., 6., 7.]],
318

319
                       [[1., 2., 3., 4.],
320
                        [2., 3., 4., 5.],
321
                        [3., 4., 5., 6.],
322
                        [4., 5., 6., 7.]]]]), device='cuda:0',
323
       size=(2, 3, 2, 3, 4), nnz=4, layout=torch.sparse_csr)
324
# _crow_indices
325
tensor([[[0, 2, 4],
326
         [0, 3, 4],
327
         [0, 1, 4]],
328

329
        [[0, 1, 4],
330
         [0, 2, 4],
331
         [0, 3, 4]]], device='cuda:0', dtype=torch.int32)
332
# _col_indices
333
tensor([[[0, 1, 0, 2],
334
         [0, 1, 2, 0],
335
         [0, 0, 1, 2]],
336

337
        [[1, 0, 1, 2],
338
         [0, 2, 0, 1],
339
         [0, 1, 2, 1]]], device='cuda:0', dtype=torch.int32)
340
# _values
341
tensor([[[[1., 2., 3., 4.],
342
          [2., 3., 4., 5.],
343
          [3., 4., 5., 6.],
344
          [4., 5., 6., 7.]],
345

346
         [[1., 2., 3., 4.],
347
          [2., 3., 4., 5.],
348
          [3., 4., 5., 6.],
349
          [4., 5., 6., 7.]],
350

351
         [[1., 2., 3., 4.],
352
          [2., 3., 4., 5.],
353
          [3., 4., 5., 6.],
354
          [4., 5., 6., 7.]]],
355

356

357
        [[[1., 2., 3., 4.],
358
          [2., 3., 4., 5.],
359
          [3., 4., 5., 6.],
360
          [4., 5., 6., 7.]],
361

362
         [[1., 2., 3., 4.],
363
          [2., 3., 4., 5.],
364
          [3., 4., 5., 6.],
365
          [4., 5., 6., 7.]],
366

367
         [[1., 2., 3., 4.],
368
          [2., 3., 4., 5.],
369
          [3., 4., 5., 6.],
370
          [4., 5., 6., 7.]]]], device='cuda:0')
371

372
########## torch.float32/torch.int32/size=()+(8, 6)+(4, 2) ##########
373
# sparse tensor
374
tensor(crow_indices=tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24]),
375
       col_indices=tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4,
376
                           5, 0, 1, 2, 4, 5]),
377
       values=tensor([[[ 1., 11.],
378
                       [ 2., 12.],
379
                       [ 3., 13.],
380
                       [ 4., 14.]],
381

382
                      [[ 2., 12.],
383
                       [ 3., 13.],
384
                       [ 4., 14.],
385
                       [ 5., 15.]],
386

387
                      [[ 3., 13.],
388
                       [ 4., 14.],
389
                       [ 5., 15.],
390
                       [ 6., 16.]],
391

392
                      [[ 4., 14.],
393
                       [ 5., 15.],
394
                       [ 6., 16.],
395
                       [ 7., 17.]],
396

397
                      [[ 5., 15.],
398
                       [ 6., 16.],
399
                       [ 7., 17.],
400
                       [ 8., 18.]],
401

402
                      [[ 6., 16.],
403
                       [ 7., 17.],
404
                       [ 8., 18.],
405
                       [ 9., 19.]],
406

407
                      [[ 7., 17.],
408
                       [ 8., 18.],
409
                       [ 9., 19.],
410
                       [10., 20.]],
411

412
                      [[ 8., 18.],
413
                       [ 9., 19.],
414
                       [10., 20.],
415
                       [11., 21.]],
416

417
                      [[ 9., 19.],
418
                       [10., 20.],
419
                       [11., 21.],
420
                       [12., 22.]],
421

422
                      [[10., 20.],
423
                       [11., 21.],
424
                       [12., 22.],
425
                       [13., 23.]],
426

427
                      [[11., 21.],
428
                       [12., 22.],
429
                       [13., 23.],
430
                       [14., 24.]],
431

432
                      [[12., 22.],
433
                       [13., 23.],
434
                       [14., 24.],
435
                       [15., 25.]],
436

437
                      [[13., 23.],
438
                       [14., 24.],
439
                       [15., 25.],
440
                       [16., 26.]],
441

442
                      [[14., 24.],
443
                       [15., 25.],
444
                       [16., 26.],
445
                       [17., 27.]],
446

447
                      [[15., 25.],
448
                       [16., 26.],
449
                       [17., 27.],
450
                       [18., 28.]],
451

452
                      [[16., 26.],
453
                       [17., 27.],
454
                       [18., 28.],
455
                       [19., 29.]],
456

457
                      [[17., 27.],
458
                       [18., 28.],
459
                       [19., 29.],
460
                       [20., 30.]],
461

462
                      [[18., 28.],
463
                       [19., 29.],
464
                       [20., 30.],
465
                       [21., 31.]],
466

467
                      [[19., 29.],
468
                       [20., 30.],
469
                       [21., 31.],
470
                       [22., 32.]],
471

472
                      [[20., 30.],
473
                       [21., 31.],
474
                       [22., 32.],
475
                       [23., 33.]],
476

477
                      [[21., 31.],
478
                       [22., 32.],
479
                       [23., 33.],
480
                       [24., 34.]],
481

482
                      [[22., 32.],
483
                       [23., 33.],
484
                       [24., 34.],
485
                       [25., 35.]],
486

487
                      [[23., 33.],
488
                       [24., 34.],
489
                       [25., 35.],
490
                       [26., 36.]],
491

492
                      [[24., 34.],
493
                       [25., 35.],
494
                       [26., 36.],
495
                       [27., 37.]]]), device='cuda:0', size=(8, 6, 4, 2),
496
       nnz=24, layout=torch.sparse_csr)
497
# _crow_indices
498
tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24], device='cuda:0',
499
       dtype=torch.int32)
500
# _col_indices
501
tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4, 5, 0, 1, 2, 4, 5],
502
       device='cuda:0', dtype=torch.int32)
503
# _values
504
tensor([[[ 1., 11.],
505
         [ 2., 12.],
506
         [ 3., 13.],
507
         [ 4., 14.]],
508

509
        [[ 2., 12.],
510
         [ 3., 13.],
511
         [ 4., 14.],
512
         [ 5., 15.]],
513

514
        [[ 3., 13.],
515
         [ 4., 14.],
516
         [ 5., 15.],
517
         [ 6., 16.]],
518

519
        [[ 4., 14.],
520
         [ 5., 15.],
521
         [ 6., 16.],
522
         [ 7., 17.]],
523

524
        [[ 5., 15.],
525
         [ 6., 16.],
526
         [ 7., 17.],
527
         [ 8., 18.]],
528

529
        [[ 6., 16.],
530
         [ 7., 17.],
531
         [ 8., 18.],
532
         [ 9., 19.]],
533

534
        [[ 7., 17.],
535
         [ 8., 18.],
536
         [ 9., 19.],
537
         [10., 20.]],
538

539
        [[ 8., 18.],
540
         [ 9., 19.],
541
         [10., 20.],
542
         [11., 21.]],
543

544
        [[ 9., 19.],
545
         [10., 20.],
546
         [11., 21.],
547
         [12., 22.]],
548

549
        [[10., 20.],
550
         [11., 21.],
551
         [12., 22.],
552
         [13., 23.]],
553

554
        [[11., 21.],
555
         [12., 22.],
556
         [13., 23.],
557
         [14., 24.]],
558

559
        [[12., 22.],
560
         [13., 23.],
561
         [14., 24.],
562
         [15., 25.]],
563

564
        [[13., 23.],
565
         [14., 24.],
566
         [15., 25.],
567
         [16., 26.]],
568

569
        [[14., 24.],
570
         [15., 25.],
571
         [16., 26.],
572
         [17., 27.]],
573

574
        [[15., 25.],
575
         [16., 26.],
576
         [17., 27.],
577
         [18., 28.]],
578

579
        [[16., 26.],
580
         [17., 27.],
581
         [18., 28.],
582
         [19., 29.]],
583

584
        [[17., 27.],
585
         [18., 28.],
586
         [19., 29.],
587
         [20., 30.]],
588

589
        [[18., 28.],
590
         [19., 29.],
591
         [20., 30.],
592
         [21., 31.]],
593

594
        [[19., 29.],
595
         [20., 30.],
596
         [21., 31.],
597
         [22., 32.]],
598

599
        [[20., 30.],
600
         [21., 31.],
601
         [22., 32.],
602
         [23., 33.]],
603

604
        [[21., 31.],
605
         [22., 32.],
606
         [23., 33.],
607
         [24., 34.]],
608

609
        [[22., 32.],
610
         [23., 33.],
611
         [24., 34.],
612
         [25., 35.]],
613

614
        [[23., 33.],
615
         [24., 34.],
616
         [25., 35.],
617
         [26., 36.]],
618

619
        [[24., 34.],
620
         [25., 35.],
621
         [26., 36.],
622
         [27., 37.]]], device='cuda:0')
623

624

625
########## torch.float64/torch.int32/size=(2, 3)+(2, 3)+(4,) ##########
626
# sparse tensor
627
tensor(crow_indices=tensor([[[0, 2, 4],
628
                             [0, 3, 4],
629
                             [0, 1, 4]],
630

631
                            [[0, 1, 4],
632
                             [0, 2, 4],
633
                             [0, 3, 4]]]),
634
       col_indices=tensor([[[0, 1, 0, 2],
635
                            [0, 1, 2, 0],
636
                            [0, 0, 1, 2]],
637

638
                           [[1, 0, 1, 2],
639
                            [0, 2, 0, 1],
640
                            [0, 1, 2, 1]]]),
641
       values=tensor([[[[1., 2., 3., 4.],
642
                        [2., 3., 4., 5.],
643
                        [3., 4., 5., 6.],
644
                        [4., 5., 6., 7.]],
645

646
                       [[1., 2., 3., 4.],
647
                        [2., 3., 4., 5.],
648
                        [3., 4., 5., 6.],
649
                        [4., 5., 6., 7.]],
650

651
                       [[1., 2., 3., 4.],
652
                        [2., 3., 4., 5.],
653
                        [3., 4., 5., 6.],
654
                        [4., 5., 6., 7.]]],
655

656

657
                      [[[1., 2., 3., 4.],
658
                        [2., 3., 4., 5.],
659
                        [3., 4., 5., 6.],
660
                        [4., 5., 6., 7.]],
661

662
                       [[1., 2., 3., 4.],
663
                        [2., 3., 4., 5.],
664
                        [3., 4., 5., 6.],
665
                        [4., 5., 6., 7.]],
666

667
                       [[1., 2., 3., 4.],
668
                        [2., 3., 4., 5.],
669
                        [3., 4., 5., 6.],
670
                        [4., 5., 6., 7.]]]]), device='cuda:0',
671
       size=(2, 3, 2, 3, 4), nnz=4, dtype=torch.float64, layout=torch.sparse_csr)
672
# _crow_indices
673
tensor([[[0, 2, 4],
674
         [0, 3, 4],
675
         [0, 1, 4]],
676

677
        [[0, 1, 4],
678
         [0, 2, 4],
679
         [0, 3, 4]]], device='cuda:0', dtype=torch.int32)
680
# _col_indices
681
tensor([[[0, 1, 0, 2],
682
         [0, 1, 2, 0],
683
         [0, 0, 1, 2]],
684

685
        [[1, 0, 1, 2],
686
         [0, 2, 0, 1],
687
         [0, 1, 2, 1]]], device='cuda:0', dtype=torch.int32)
688
# _values
689
tensor([[[[1., 2., 3., 4.],
690
          [2., 3., 4., 5.],
691
          [3., 4., 5., 6.],
692
          [4., 5., 6., 7.]],
693

694
         [[1., 2., 3., 4.],
695
          [2., 3., 4., 5.],
696
          [3., 4., 5., 6.],
697
          [4., 5., 6., 7.]],
698

699
         [[1., 2., 3., 4.],
700
          [2., 3., 4., 5.],
701
          [3., 4., 5., 6.],
702
          [4., 5., 6., 7.]]],
703

704

705
        [[[1., 2., 3., 4.],
706
          [2., 3., 4., 5.],
707
          [3., 4., 5., 6.],
708
          [4., 5., 6., 7.]],
709

710
         [[1., 2., 3., 4.],
711
          [2., 3., 4., 5.],
712
          [3., 4., 5., 6.],
713
          [4., 5., 6., 7.]],
714

715
         [[1., 2., 3., 4.],
716
          [2., 3., 4., 5.],
717
          [3., 4., 5., 6.],
718
          [4., 5., 6., 7.]]]], device='cuda:0', dtype=torch.float64)
719

720
########## torch.float64/torch.int32/size=()+(8, 6)+(4, 2) ##########
721
# sparse tensor
722
tensor(crow_indices=tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24]),
723
       col_indices=tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4,
724
                           5, 0, 1, 2, 4, 5]),
725
       values=tensor([[[ 1., 11.],
726
                       [ 2., 12.],
727
                       [ 3., 13.],
728
                       [ 4., 14.]],
729

730
                      [[ 2., 12.],
731
                       [ 3., 13.],
732
                       [ 4., 14.],
733
                       [ 5., 15.]],
734

735
                      [[ 3., 13.],
736
                       [ 4., 14.],
737
                       [ 5., 15.],
738
                       [ 6., 16.]],
739

740
                      [[ 4., 14.],
741
                       [ 5., 15.],
742
                       [ 6., 16.],
743
                       [ 7., 17.]],
744

745
                      [[ 5., 15.],
746
                       [ 6., 16.],
747
                       [ 7., 17.],
748
                       [ 8., 18.]],
749

750
                      [[ 6., 16.],
751
                       [ 7., 17.],
752
                       [ 8., 18.],
753
                       [ 9., 19.]],
754

755
                      [[ 7., 17.],
756
                       [ 8., 18.],
757
                       [ 9., 19.],
758
                       [10., 20.]],
759

760
                      [[ 8., 18.],
761
                       [ 9., 19.],
762
                       [10., 20.],
763
                       [11., 21.]],
764

765
                      [[ 9., 19.],
766
                       [10., 20.],
767
                       [11., 21.],
768
                       [12., 22.]],
769

770
                      [[10., 20.],
771
                       [11., 21.],
772
                       [12., 22.],
773
                       [13., 23.]],
774

775
                      [[11., 21.],
776
                       [12., 22.],
777
                       [13., 23.],
778
                       [14., 24.]],
779

780
                      [[12., 22.],
781
                       [13., 23.],
782
                       [14., 24.],
783
                       [15., 25.]],
784

785
                      [[13., 23.],
786
                       [14., 24.],
787
                       [15., 25.],
788
                       [16., 26.]],
789

790
                      [[14., 24.],
791
                       [15., 25.],
792
                       [16., 26.],
793
                       [17., 27.]],
794

795
                      [[15., 25.],
796
                       [16., 26.],
797
                       [17., 27.],
798
                       [18., 28.]],
799

800
                      [[16., 26.],
801
                       [17., 27.],
802
                       [18., 28.],
803
                       [19., 29.]],
804

805
                      [[17., 27.],
806
                       [18., 28.],
807
                       [19., 29.],
808
                       [20., 30.]],
809

810
                      [[18., 28.],
811
                       [19., 29.],
812
                       [20., 30.],
813
                       [21., 31.]],
814

815
                      [[19., 29.],
816
                       [20., 30.],
817
                       [21., 31.],
818
                       [22., 32.]],
819

820
                      [[20., 30.],
821
                       [21., 31.],
822
                       [22., 32.],
823
                       [23., 33.]],
824

825
                      [[21., 31.],
826
                       [22., 32.],
827
                       [23., 33.],
828
                       [24., 34.]],
829

830
                      [[22., 32.],
831
                       [23., 33.],
832
                       [24., 34.],
833
                       [25., 35.]],
834

835
                      [[23., 33.],
836
                       [24., 34.],
837
                       [25., 35.],
838
                       [26., 36.]],
839

840
                      [[24., 34.],
841
                       [25., 35.],
842
                       [26., 36.],
843
                       [27., 37.]]]), device='cuda:0', size=(8, 6, 4, 2),
844
       nnz=24, dtype=torch.float64, layout=torch.sparse_csr)
845
# _crow_indices
846
tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24], device='cuda:0',
847
       dtype=torch.int32)
848
# _col_indices
849
tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4, 5, 0, 1, 2, 4, 5],
850
       device='cuda:0', dtype=torch.int32)
851
# _values
852
tensor([[[ 1., 11.],
853
         [ 2., 12.],
854
         [ 3., 13.],
855
         [ 4., 14.]],
856

857
        [[ 2., 12.],
858
         [ 3., 13.],
859
         [ 4., 14.],
860
         [ 5., 15.]],
861

862
        [[ 3., 13.],
863
         [ 4., 14.],
864
         [ 5., 15.],
865
         [ 6., 16.]],
866

867
        [[ 4., 14.],
868
         [ 5., 15.],
869
         [ 6., 16.],
870
         [ 7., 17.]],
871

872
        [[ 5., 15.],
873
         [ 6., 16.],
874
         [ 7., 17.],
875
         [ 8., 18.]],
876

877
        [[ 6., 16.],
878
         [ 7., 17.],
879
         [ 8., 18.],
880
         [ 9., 19.]],
881

882
        [[ 7., 17.],
883
         [ 8., 18.],
884
         [ 9., 19.],
885
         [10., 20.]],
886

887
        [[ 8., 18.],
888
         [ 9., 19.],
889
         [10., 20.],
890
         [11., 21.]],
891

892
        [[ 9., 19.],
893
         [10., 20.],
894
         [11., 21.],
895
         [12., 22.]],
896

897
        [[10., 20.],
898
         [11., 21.],
899
         [12., 22.],
900
         [13., 23.]],
901

902
        [[11., 21.],
903
         [12., 22.],
904
         [13., 23.],
905
         [14., 24.]],
906

907
        [[12., 22.],
908
         [13., 23.],
909
         [14., 24.],
910
         [15., 25.]],
911

912
        [[13., 23.],
913
         [14., 24.],
914
         [15., 25.],
915
         [16., 26.]],
916

917
        [[14., 24.],
918
         [15., 25.],
919
         [16., 26.],
920
         [17., 27.]],
921

922
        [[15., 25.],
923
         [16., 26.],
924
         [17., 27.],
925
         [18., 28.]],
926

927
        [[16., 26.],
928
         [17., 27.],
929
         [18., 28.],
930
         [19., 29.]],
931

932
        [[17., 27.],
933
         [18., 28.],
934
         [19., 29.],
935
         [20., 30.]],
936

937
        [[18., 28.],
938
         [19., 29.],
939
         [20., 30.],
940
         [21., 31.]],
941

942
        [[19., 29.],
943
         [20., 30.],
944
         [21., 31.],
945
         [22., 32.]],
946

947
        [[20., 30.],
948
         [21., 31.],
949
         [22., 32.],
950
         [23., 33.]],
951

952
        [[21., 31.],
953
         [22., 32.],
954
         [23., 33.],
955
         [24., 34.]],
956

957
        [[22., 32.],
958
         [23., 33.],
959
         [24., 34.],
960
         [25., 35.]],
961

962
        [[23., 33.],
963
         [24., 34.],
964
         [25., 35.],
965
         [26., 36.]],
966

967
        [[24., 34.],
968
         [25., 35.],
969
         [26., 36.],
970
         [27., 37.]]], device='cuda:0', dtype=torch.float64)
971

972

973
########## torch.float32/torch.int64/size=(2, 3)+(2, 3)+(4,) ##########
974
# sparse tensor
975
tensor(crow_indices=tensor([[[0, 2, 4],
976
                             [0, 3, 4],
977
                             [0, 1, 4]],
978

979
                            [[0, 1, 4],
980
                             [0, 2, 4],
981
                             [0, 3, 4]]]),
982
       col_indices=tensor([[[0, 1, 0, 2],
983
                            [0, 1, 2, 0],
984
                            [0, 0, 1, 2]],
985

986
                           [[1, 0, 1, 2],
987
                            [0, 2, 0, 1],
988
                            [0, 1, 2, 1]]]),
989
       values=tensor([[[[1., 2., 3., 4.],
990
                        [2., 3., 4., 5.],
991
                        [3., 4., 5., 6.],
992
                        [4., 5., 6., 7.]],
993

994
                       [[1., 2., 3., 4.],
995
                        [2., 3., 4., 5.],
996
                        [3., 4., 5., 6.],
997
                        [4., 5., 6., 7.]],
998

999
                       [[1., 2., 3., 4.],
1000
                        [2., 3., 4., 5.],
1001
                        [3., 4., 5., 6.],
1002
                        [4., 5., 6., 7.]]],
1003

1004

1005
                      [[[1., 2., 3., 4.],
1006
                        [2., 3., 4., 5.],
1007
                        [3., 4., 5., 6.],
1008
                        [4., 5., 6., 7.]],
1009

1010
                       [[1., 2., 3., 4.],
1011
                        [2., 3., 4., 5.],
1012
                        [3., 4., 5., 6.],
1013
                        [4., 5., 6., 7.]],
1014

1015
                       [[1., 2., 3., 4.],
1016
                        [2., 3., 4., 5.],
1017
                        [3., 4., 5., 6.],
1018
                        [4., 5., 6., 7.]]]]), device='cuda:0',
1019
       size=(2, 3, 2, 3, 4), nnz=4, layout=torch.sparse_csr)
1020
# _crow_indices
1021
tensor([[[0, 2, 4],
1022
         [0, 3, 4],
1023
         [0, 1, 4]],
1024

1025
        [[0, 1, 4],
1026
         [0, 2, 4],
1027
         [0, 3, 4]]], device='cuda:0')
1028
# _col_indices
1029
tensor([[[0, 1, 0, 2],
1030
         [0, 1, 2, 0],
1031
         [0, 0, 1, 2]],
1032

1033
        [[1, 0, 1, 2],
1034
         [0, 2, 0, 1],
1035
         [0, 1, 2, 1]]], device='cuda:0')
1036
# _values
1037
tensor([[[[1., 2., 3., 4.],
1038
          [2., 3., 4., 5.],
1039
          [3., 4., 5., 6.],
1040
          [4., 5., 6., 7.]],
1041

1042
         [[1., 2., 3., 4.],
1043
          [2., 3., 4., 5.],
1044
          [3., 4., 5., 6.],
1045
          [4., 5., 6., 7.]],
1046

1047
         [[1., 2., 3., 4.],
1048
          [2., 3., 4., 5.],
1049
          [3., 4., 5., 6.],
1050
          [4., 5., 6., 7.]]],
1051

1052

1053
        [[[1., 2., 3., 4.],
1054
          [2., 3., 4., 5.],
1055
          [3., 4., 5., 6.],
1056
          [4., 5., 6., 7.]],
1057

1058
         [[1., 2., 3., 4.],
1059
          [2., 3., 4., 5.],
1060
          [3., 4., 5., 6.],
1061
          [4., 5., 6., 7.]],
1062

1063
         [[1., 2., 3., 4.],
1064
          [2., 3., 4., 5.],
1065
          [3., 4., 5., 6.],
1066
          [4., 5., 6., 7.]]]], device='cuda:0')
1067

1068
########## torch.float32/torch.int64/size=()+(8, 6)+(4, 2) ##########
1069
# sparse tensor
1070
tensor(crow_indices=tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24]),
1071
       col_indices=tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4,
1072
                           5, 0, 1, 2, 4, 5]),
1073
       values=tensor([[[ 1., 11.],
1074
                       [ 2., 12.],
1075
                       [ 3., 13.],
1076
                       [ 4., 14.]],
1077

1078
                      [[ 2., 12.],
1079
                       [ 3., 13.],
1080
                       [ 4., 14.],
1081
                       [ 5., 15.]],
1082

1083
                      [[ 3., 13.],
1084
                       [ 4., 14.],
1085
                       [ 5., 15.],
1086
                       [ 6., 16.]],
1087

1088
                      [[ 4., 14.],
1089
                       [ 5., 15.],
1090
                       [ 6., 16.],
1091
                       [ 7., 17.]],
1092

1093
                      [[ 5., 15.],
1094
                       [ 6., 16.],
1095
                       [ 7., 17.],
1096
                       [ 8., 18.]],
1097

1098
                      [[ 6., 16.],
1099
                       [ 7., 17.],
1100
                       [ 8., 18.],
1101
                       [ 9., 19.]],
1102

1103
                      [[ 7., 17.],
1104
                       [ 8., 18.],
1105
                       [ 9., 19.],
1106
                       [10., 20.]],
1107

1108
                      [[ 8., 18.],
1109
                       [ 9., 19.],
1110
                       [10., 20.],
1111
                       [11., 21.]],
1112

1113
                      [[ 9., 19.],
1114
                       [10., 20.],
1115
                       [11., 21.],
1116
                       [12., 22.]],
1117

1118
                      [[10., 20.],
1119
                       [11., 21.],
1120
                       [12., 22.],
1121
                       [13., 23.]],
1122

1123
                      [[11., 21.],
1124
                       [12., 22.],
1125
                       [13., 23.],
1126
                       [14., 24.]],
1127

1128
                      [[12., 22.],
1129
                       [13., 23.],
1130
                       [14., 24.],
1131
                       [15., 25.]],
1132

1133
                      [[13., 23.],
1134
                       [14., 24.],
1135
                       [15., 25.],
1136
                       [16., 26.]],
1137

1138
                      [[14., 24.],
1139
                       [15., 25.],
1140
                       [16., 26.],
1141
                       [17., 27.]],
1142

1143
                      [[15., 25.],
1144
                       [16., 26.],
1145
                       [17., 27.],
1146
                       [18., 28.]],
1147

1148
                      [[16., 26.],
1149
                       [17., 27.],
1150
                       [18., 28.],
1151
                       [19., 29.]],
1152

1153
                      [[17., 27.],
1154
                       [18., 28.],
1155
                       [19., 29.],
1156
                       [20., 30.]],
1157

1158
                      [[18., 28.],
1159
                       [19., 29.],
1160
                       [20., 30.],
1161
                       [21., 31.]],
1162

1163
                      [[19., 29.],
1164
                       [20., 30.],
1165
                       [21., 31.],
1166
                       [22., 32.]],
1167

1168
                      [[20., 30.],
1169
                       [21., 31.],
1170
                       [22., 32.],
1171
                       [23., 33.]],
1172

1173
                      [[21., 31.],
1174
                       [22., 32.],
1175
                       [23., 33.],
1176
                       [24., 34.]],
1177

1178
                      [[22., 32.],
1179
                       [23., 33.],
1180
                       [24., 34.],
1181
                       [25., 35.]],
1182

1183
                      [[23., 33.],
1184
                       [24., 34.],
1185
                       [25., 35.],
1186
                       [26., 36.]],
1187

1188
                      [[24., 34.],
1189
                       [25., 35.],
1190
                       [26., 36.],
1191
                       [27., 37.]]]), device='cuda:0', size=(8, 6, 4, 2),
1192
       nnz=24, layout=torch.sparse_csr)
1193
# _crow_indices
1194
tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24], device='cuda:0')
1195
# _col_indices
1196
tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4, 5, 0, 1, 2, 4, 5],
1197
       device='cuda:0')
1198
# _values
1199
tensor([[[ 1., 11.],
1200
         [ 2., 12.],
1201
         [ 3., 13.],
1202
         [ 4., 14.]],
1203

1204
        [[ 2., 12.],
1205
         [ 3., 13.],
1206
         [ 4., 14.],
1207
         [ 5., 15.]],
1208

1209
        [[ 3., 13.],
1210
         [ 4., 14.],
1211
         [ 5., 15.],
1212
         [ 6., 16.]],
1213

1214
        [[ 4., 14.],
1215
         [ 5., 15.],
1216
         [ 6., 16.],
1217
         [ 7., 17.]],
1218

1219
        [[ 5., 15.],
1220
         [ 6., 16.],
1221
         [ 7., 17.],
1222
         [ 8., 18.]],
1223

1224
        [[ 6., 16.],
1225
         [ 7., 17.],
1226
         [ 8., 18.],
1227
         [ 9., 19.]],
1228

1229
        [[ 7., 17.],
1230
         [ 8., 18.],
1231
         [ 9., 19.],
1232
         [10., 20.]],
1233

1234
        [[ 8., 18.],
1235
         [ 9., 19.],
1236
         [10., 20.],
1237
         [11., 21.]],
1238

1239
        [[ 9., 19.],
1240
         [10., 20.],
1241
         [11., 21.],
1242
         [12., 22.]],
1243

1244
        [[10., 20.],
1245
         [11., 21.],
1246
         [12., 22.],
1247
         [13., 23.]],
1248

1249
        [[11., 21.],
1250
         [12., 22.],
1251
         [13., 23.],
1252
         [14., 24.]],
1253

1254
        [[12., 22.],
1255
         [13., 23.],
1256
         [14., 24.],
1257
         [15., 25.]],
1258

1259
        [[13., 23.],
1260
         [14., 24.],
1261
         [15., 25.],
1262
         [16., 26.]],
1263

1264
        [[14., 24.],
1265
         [15., 25.],
1266
         [16., 26.],
1267
         [17., 27.]],
1268

1269
        [[15., 25.],
1270
         [16., 26.],
1271
         [17., 27.],
1272
         [18., 28.]],
1273

1274
        [[16., 26.],
1275
         [17., 27.],
1276
         [18., 28.],
1277
         [19., 29.]],
1278

1279
        [[17., 27.],
1280
         [18., 28.],
1281
         [19., 29.],
1282
         [20., 30.]],
1283

1284
        [[18., 28.],
1285
         [19., 29.],
1286
         [20., 30.],
1287
         [21., 31.]],
1288

1289
        [[19., 29.],
1290
         [20., 30.],
1291
         [21., 31.],
1292
         [22., 32.]],
1293

1294
        [[20., 30.],
1295
         [21., 31.],
1296
         [22., 32.],
1297
         [23., 33.]],
1298

1299
        [[21., 31.],
1300
         [22., 32.],
1301
         [23., 33.],
1302
         [24., 34.]],
1303

1304
        [[22., 32.],
1305
         [23., 33.],
1306
         [24., 34.],
1307
         [25., 35.]],
1308

1309
        [[23., 33.],
1310
         [24., 34.],
1311
         [25., 35.],
1312
         [26., 36.]],
1313

1314
        [[24., 34.],
1315
         [25., 35.],
1316
         [26., 36.],
1317
         [27., 37.]]], device='cuda:0')
1318

1319

1320
########## torch.float64/torch.int64/size=(2, 3)+(2, 3)+(4,) ##########
1321
# sparse tensor
1322
tensor(crow_indices=tensor([[[0, 2, 4],
1323
                             [0, 3, 4],
1324
                             [0, 1, 4]],
1325

1326
                            [[0, 1, 4],
1327
                             [0, 2, 4],
1328
                             [0, 3, 4]]]),
1329
       col_indices=tensor([[[0, 1, 0, 2],
1330
                            [0, 1, 2, 0],
1331
                            [0, 0, 1, 2]],
1332

1333
                           [[1, 0, 1, 2],
1334
                            [0, 2, 0, 1],
1335
                            [0, 1, 2, 1]]]),
1336
       values=tensor([[[[1., 2., 3., 4.],
1337
                        [2., 3., 4., 5.],
1338
                        [3., 4., 5., 6.],
1339
                        [4., 5., 6., 7.]],
1340

1341
                       [[1., 2., 3., 4.],
1342
                        [2., 3., 4., 5.],
1343
                        [3., 4., 5., 6.],
1344
                        [4., 5., 6., 7.]],
1345

1346
                       [[1., 2., 3., 4.],
1347
                        [2., 3., 4., 5.],
1348
                        [3., 4., 5., 6.],
1349
                        [4., 5., 6., 7.]]],
1350

1351

1352
                      [[[1., 2., 3., 4.],
1353
                        [2., 3., 4., 5.],
1354
                        [3., 4., 5., 6.],
1355
                        [4., 5., 6., 7.]],
1356

1357
                       [[1., 2., 3., 4.],
1358
                        [2., 3., 4., 5.],
1359
                        [3., 4., 5., 6.],
1360
                        [4., 5., 6., 7.]],
1361

1362
                       [[1., 2., 3., 4.],
1363
                        [2., 3., 4., 5.],
1364
                        [3., 4., 5., 6.],
1365
                        [4., 5., 6., 7.]]]]), device='cuda:0',
1366
       size=(2, 3, 2, 3, 4), nnz=4, dtype=torch.float64, layout=torch.sparse_csr)
1367
# _crow_indices
1368
tensor([[[0, 2, 4],
1369
         [0, 3, 4],
1370
         [0, 1, 4]],
1371

1372
        [[0, 1, 4],
1373
         [0, 2, 4],
1374
         [0, 3, 4]]], device='cuda:0')
1375
# _col_indices
1376
tensor([[[0, 1, 0, 2],
1377
         [0, 1, 2, 0],
1378
         [0, 0, 1, 2]],
1379

1380
        [[1, 0, 1, 2],
1381
         [0, 2, 0, 1],
1382
         [0, 1, 2, 1]]], device='cuda:0')
1383
# _values
1384
tensor([[[[1., 2., 3., 4.],
1385
          [2., 3., 4., 5.],
1386
          [3., 4., 5., 6.],
1387
          [4., 5., 6., 7.]],
1388

1389
         [[1., 2., 3., 4.],
1390
          [2., 3., 4., 5.],
1391
          [3., 4., 5., 6.],
1392
          [4., 5., 6., 7.]],
1393

1394
         [[1., 2., 3., 4.],
1395
          [2., 3., 4., 5.],
1396
          [3., 4., 5., 6.],
1397
          [4., 5., 6., 7.]]],
1398

1399

1400
        [[[1., 2., 3., 4.],
1401
          [2., 3., 4., 5.],
1402
          [3., 4., 5., 6.],
1403
          [4., 5., 6., 7.]],
1404

1405
         [[1., 2., 3., 4.],
1406
          [2., 3., 4., 5.],
1407
          [3., 4., 5., 6.],
1408
          [4., 5., 6., 7.]],
1409

1410
         [[1., 2., 3., 4.],
1411
          [2., 3., 4., 5.],
1412
          [3., 4., 5., 6.],
1413
          [4., 5., 6., 7.]]]], device='cuda:0', dtype=torch.float64)
1414

1415
########## torch.float64/torch.int64/size=()+(8, 6)+(4, 2) ##########
1416
# sparse tensor
1417
tensor(crow_indices=tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24]),
1418
       col_indices=tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4,
1419
                           5, 0, 1, 2, 4, 5]),
1420
       values=tensor([[[ 1., 11.],
1421
                       [ 2., 12.],
1422
                       [ 3., 13.],
1423
                       [ 4., 14.]],
1424

1425
                      [[ 2., 12.],
1426
                       [ 3., 13.],
1427
                       [ 4., 14.],
1428
                       [ 5., 15.]],
1429

1430
                      [[ 3., 13.],
1431
                       [ 4., 14.],
1432
                       [ 5., 15.],
1433
                       [ 6., 16.]],
1434

1435
                      [[ 4., 14.],
1436
                       [ 5., 15.],
1437
                       [ 6., 16.],
1438
                       [ 7., 17.]],
1439

1440
                      [[ 5., 15.],
1441
                       [ 6., 16.],
1442
                       [ 7., 17.],
1443
                       [ 8., 18.]],
1444

1445
                      [[ 6., 16.],
1446
                       [ 7., 17.],
1447
                       [ 8., 18.],
1448
                       [ 9., 19.]],
1449

1450
                      [[ 7., 17.],
1451
                       [ 8., 18.],
1452
                       [ 9., 19.],
1453
                       [10., 20.]],
1454

1455
                      [[ 8., 18.],
1456
                       [ 9., 19.],
1457
                       [10., 20.],
1458
                       [11., 21.]],
1459

1460
                      [[ 9., 19.],
1461
                       [10., 20.],
1462
                       [11., 21.],
1463
                       [12., 22.]],
1464

1465
                      [[10., 20.],
1466
                       [11., 21.],
1467
                       [12., 22.],
1468
                       [13., 23.]],
1469

1470
                      [[11., 21.],
1471
                       [12., 22.],
1472
                       [13., 23.],
1473
                       [14., 24.]],
1474

1475
                      [[12., 22.],
1476
                       [13., 23.],
1477
                       [14., 24.],
1478
                       [15., 25.]],
1479

1480
                      [[13., 23.],
1481
                       [14., 24.],
1482
                       [15., 25.],
1483
                       [16., 26.]],
1484

1485
                      [[14., 24.],
1486
                       [15., 25.],
1487
                       [16., 26.],
1488
                       [17., 27.]],
1489

1490
                      [[15., 25.],
1491
                       [16., 26.],
1492
                       [17., 27.],
1493
                       [18., 28.]],
1494

1495
                      [[16., 26.],
1496
                       [17., 27.],
1497
                       [18., 28.],
1498
                       [19., 29.]],
1499

1500
                      [[17., 27.],
1501
                       [18., 28.],
1502
                       [19., 29.],
1503
                       [20., 30.]],
1504

1505
                      [[18., 28.],
1506
                       [19., 29.],
1507
                       [20., 30.],
1508
                       [21., 31.]],
1509

1510
                      [[19., 29.],
1511
                       [20., 30.],
1512
                       [21., 31.],
1513
                       [22., 32.]],
1514

1515
                      [[20., 30.],
1516
                       [21., 31.],
1517
                       [22., 32.],
1518
                       [23., 33.]],
1519

1520
                      [[21., 31.],
1521
                       [22., 32.],
1522
                       [23., 33.],
1523
                       [24., 34.]],
1524

1525
                      [[22., 32.],
1526
                       [23., 33.],
1527
                       [24., 34.],
1528
                       [25., 35.]],
1529

1530
                      [[23., 33.],
1531
                       [24., 34.],
1532
                       [25., 35.],
1533
                       [26., 36.]],
1534

1535
                      [[24., 34.],
1536
                       [25., 35.],
1537
                       [26., 36.],
1538
                       [27., 37.]]]), device='cuda:0', size=(8, 6, 4, 2),
1539
       nnz=24, dtype=torch.float64, layout=torch.sparse_csr)
1540
# _crow_indices
1541
tensor([ 0,  3,  5,  8,  8, 12, 17, 19, 24], device='cuda:0')
1542
# _col_indices
1543
tensor([1, 3, 5, 1, 4, 0, 1, 2, 1, 3, 4, 5, 0, 2, 3, 4, 5, 4, 5, 0, 1, 2, 4, 5],
1544
       device='cuda:0')
1545
# _values
1546
tensor([[[ 1., 11.],
1547
         [ 2., 12.],
1548
         [ 3., 13.],
1549
         [ 4., 14.]],
1550

1551
        [[ 2., 12.],
1552
         [ 3., 13.],
1553
         [ 4., 14.],
1554
         [ 5., 15.]],
1555

1556
        [[ 3., 13.],
1557
         [ 4., 14.],
1558
         [ 5., 15.],
1559
         [ 6., 16.]],
1560

1561
        [[ 4., 14.],
1562
         [ 5., 15.],
1563
         [ 6., 16.],
1564
         [ 7., 17.]],
1565

1566
        [[ 5., 15.],
1567
         [ 6., 16.],
1568
         [ 7., 17.],
1569
         [ 8., 18.]],
1570

1571
        [[ 6., 16.],
1572
         [ 7., 17.],
1573
         [ 8., 18.],
1574
         [ 9., 19.]],
1575

1576
        [[ 7., 17.],
1577
         [ 8., 18.],
1578
         [ 9., 19.],
1579
         [10., 20.]],
1580

1581
        [[ 8., 18.],
1582
         [ 9., 19.],
1583
         [10., 20.],
1584
         [11., 21.]],
1585

1586
        [[ 9., 19.],
1587
         [10., 20.],
1588
         [11., 21.],
1589
         [12., 22.]],
1590

1591
        [[10., 20.],
1592
         [11., 21.],
1593
         [12., 22.],
1594
         [13., 23.]],
1595

1596
        [[11., 21.],
1597
         [12., 22.],
1598
         [13., 23.],
1599
         [14., 24.]],
1600

1601
        [[12., 22.],
1602
         [13., 23.],
1603
         [14., 24.],
1604
         [15., 25.]],
1605

1606
        [[13., 23.],
1607
         [14., 24.],
1608
         [15., 25.],
1609
         [16., 26.]],
1610

1611
        [[14., 24.],
1612
         [15., 25.],
1613
         [16., 26.],
1614
         [17., 27.]],
1615

1616
        [[15., 25.],
1617
         [16., 26.],
1618
         [17., 27.],
1619
         [18., 28.]],
1620

1621
        [[16., 26.],
1622
         [17., 27.],
1623
         [18., 28.],
1624
         [19., 29.]],
1625

1626
        [[17., 27.],
1627
         [18., 28.],
1628
         [19., 29.],
1629
         [20., 30.]],
1630

1631
        [[18., 28.],
1632
         [19., 29.],
1633
         [20., 30.],
1634
         [21., 31.]],
1635

1636
        [[19., 29.],
1637
         [20., 30.],
1638
         [21., 31.],
1639
         [22., 32.]],
1640

1641
        [[20., 30.],
1642
         [21., 31.],
1643
         [22., 32.],
1644
         [23., 33.]],
1645

1646
        [[21., 31.],
1647
         [22., 32.],
1648
         [23., 33.],
1649
         [24., 34.]],
1650

1651
        [[22., 32.],
1652
         [23., 33.],
1653
         [24., 34.],
1654
         [25., 35.]],
1655

1656
        [[23., 33.],
1657
         [24., 34.],
1658
         [25., 35.],
1659
         [26., 36.]],
1660

1661
        [[24., 34.],
1662
         [25., 35.],
1663
         [26., 36.],
1664
         [27., 37.]]], device='cuda:0', dtype=torch.float64)
1665

1666