Message-ID: <677b4c4f-4e15-ec88-5059-53ae2be50414@itcare.pl>
Date:   Thu, 1 Feb 2018 09:25:10 +0100
From:   Paweł Staszewski <pstaszewski@...are.pl>
To:     Gal Pressman <galp@...lanox.com>
Cc:     Linux Kernel Network Developers <netdev@...r.kernel.org>
Subject: Re: after adding > 200vlans to mlx nic no traffic



W dniu 31.01.2018 o 13:19, Gal Pressman pisze:
> On 30-Jan-18 17:57, Paweł Staszewski wrote:
>>
>> W dniu 30.01.2018 o 15:57, Gal Pressman pisze:
>>> On 30-Jan-18 02:29, Paweł Staszewski wrote:
>>>> Weird thing with mellanox mlx5 (connectx-4) kernel 4.15-rc9 - from net-next davem tree
>>>>
>>>>
>>>>
>>>> after:
>>>>
>>>> ip link add link enp175s0f1 name vlan1538 type vlan id 1538
>>>>
>>>> ip link set up dev vlan1538
>>>>
>>>>
>>>> traffic on vlan is working
>>>>
>>>>
>>>> But after
>>>>
>>>> VID="1160 1450 1451 1452 1453 1454 1455 1456 1457 1458 1459 1460 1461 1462 1463 1464 1465 1466 1467 1468 1469 1470 1471 1472 1473 1474 1475 1476 1477 1478 1479 1480 1481 1482 1483 1484 1485 1486 1487 1488 1489 1490 1491 1492 1493 1494 1495 1496 1497 1498 1499 150
>>>> 0 1501 1502 1503 1504 1505 1506 1507 1508 1509 1510 1511 1512 1513 1514 1515 1516 1517 1518 1519 1520 1521 1522 1523 1524 1525 1526 1527 1528 1529 1530 1531 1532 1534 1535 1394 1393 1550 1500 1526 1536 1537 1538 1539 1540 1542 1541 1543 1544 1801 1546 1547 1548 1
>>>> 549 1735 3132 3143 3104 3125 3103 3115 3134 3105 3113 3141 4009 3144 3130 1803 3146 3148 3109 1551 1552 1553 1554 1555 1556 1558 1559 1560 1561 1562 1563 1564 1565 1567 1568 1569 1570 1571 1572 1573 1574 1575 1576 1577 1578 1579 1580 1581 1582 1583 1584 1585 1586
>>>>    1587 1588 1589 1591 1592 1593 1594 1595 1596 1597 1598 1599 1557 1545 2001 250 4043 1806 1600 1602 1603 1604 1605 1606 1607 1608 1609 1610 1611 1612 1613 1614 1615 1616 1617 1618 1619 1620 1621 1625 1626 1627 1628 1629 1630 1631 1632 1634 1635 1636 1640 1641 164
>>>> 2 1643 1644 1645 1646 1647 1648 1649 1650 1651 1652 1653 1654 1655 1656 1657 1658 1659 1660 1661 1662 1663 1664 1665 1601 1666 1667 1668 1669 1670 1671 1672 1673 1674 1676 1677 1678 1680 1681 1682 1683 1684 1685 1686 1687 1688 1689 1690 1691 1692 1693 1694 1696 1
>>>> 697 1698 1712 1817 1869 1810 1814 1818 1855 1856 1857 1858 1859 1860 1861 1862 1863 1864 1865 1866 1867 1868 1870 1871 1872 1873 1874 1875 1876 1877 1878 1879 1880 1885 1890 1891 1892 1893 1894 1895 1898 1881 2190 2191 2192 2193 2194 2195 2196 2197 2198 2199 2541
>>>>    2542 2543 2544 2545 2546 2547 2548 2549 2550 2290"
>>>> for i in $VID
>>>> do
>>>>           ip link add link enp175s0f1 name vlan$i type vlan id $i
>>>> done
>>>>
>>>>
>>>> And setting vlan 1538 up - there is no received traffic on this vlan.
>>>>
>>>>
>>>>
>>>> So searching for broken things (last time same problem was with ixgbe)
>>>>
>>>> ethtool -K enp175s0f1 rx-vlan-filter off
>>>>
>>>>
>>>> And all vlans attached to this device start working
>>>>
>>>>
>>>>
>>> Hi Pawel,
>>> I tried to reproduce the issue in our local setups without success.
>>> Can you please provide more information? are there any errors in dmesg? did you configure anything else that might be relevant to this issue?
>>> Do you know if this is a new degradation to 4.15-rc9?
>> previous kernel used was 4.13.2 - without this problem.
>>
>> current kernel is net-next 4.15.0-rc9+
>> https://git.kernel.org/pub/scm/linux/kernel/git/davem/net-next.git
>>
>>> Try to send traffic over the vlans and sample the ethtool counters (ethtool -S enp175s0f1) of the receiver mlx5 interface over time,
>>> this might help us trace where the packets drop.
>> Yes traffic is going out from interface - bot there is nothing on RX - tcpdump shows no packets arriving to interface
>>
> I am running 4.15.0-rc9+ from Dave's tree, currently on commit 91e6dd828425 ("ipmr: Fix ptrdiff_t print formatting").
> Tested with the commands you provided and same configuration, the issue does not reproduce on our setups.
>
> Did you see any errors in dmesg? anything coming from mlx5 driver?
No errors in dmesg
> Which firmware version are you using?

> Please provide your .config file, perhaps it is making the difference.
Ok maybee I will add also ethtool configuration that is started before 
ip link vlan is added:
ifc='enp175s0f0 enp175s0f1'
for i in $ifc
         do
         ip link set up dev $i
         ethtool -A $i autoneg off rx off tx off
         ethtool -G $i rx 4096 tx 4096
         ip link set $i txqueuelen 1000
         ethtool -L $i combined 28
         ethtool -N $i rx-flow-hash udp4 sdfn
         ethtool -C $i adaptive-rx off rx-usecs 256 rx-frames 128
         done

There are two interfaces
enp175s0f0 enp175s0f1

First one have also some vlans:
Below full list:
cat /proc/net/vlan/config
VLAN Dev name    | VLAN ID
Name-Type: VLAN_NAME_TYPE_RAW_PLUS_VID_NO_PAD
vlan1538       | 1538  | enp175s0f1
vlan1160       | 1160  | enp175s0f1
vlan1450       | 1450  | enp175s0f1
vlan1451       | 1451  | enp175s0f1
vlan1452       | 1452  | enp175s0f1
vlan1453       | 1453  | enp175s0f1
vlan1454       | 1454  | enp175s0f1
vlan1455       | 1455  | enp175s0f1
vlan1456       | 1456  | enp175s0f1
vlan1457       | 1457  | enp175s0f1
vlan1458       | 1458  | enp175s0f1
vlan1459       | 1459  | enp175s0f1
vlan1460       | 1460  | enp175s0f1
vlan1461       | 1461  | enp175s0f1
vlan1462       | 1462  | enp175s0f1
vlan1463       | 1463  | enp175s0f1
vlan1464       | 1464  | enp175s0f1
vlan1465       | 1465  | enp175s0f1
vlan1466       | 1466  | enp175s0f1
vlan1467       | 1467  | enp175s0f1
vlan1468       | 1468  | enp175s0f1
vlan1469       | 1469  | enp175s0f1
vlan1470       | 1470  | enp175s0f1
vlan1471       | 1471  | enp175s0f1
vlan1472       | 1472  | enp175s0f1
vlan1473       | 1473  | enp175s0f1
vlan1474       | 1474  | enp175s0f1
vlan1475       | 1475  | enp175s0f1
vlan1476       | 1476  | enp175s0f1
vlan1477       | 1477  | enp175s0f1
vlan1478       | 1478  | enp175s0f1
vlan1479       | 1479  | enp175s0f1
vlan1480       | 1480  | enp175s0f1
vlan1481       | 1481  | enp175s0f1
vlan1482       | 1482  | enp175s0f1
vlan1483       | 1483  | enp175s0f1
vlan1484       | 1484  | enp175s0f1
vlan1485       | 1485  | enp175s0f1
vlan1486       | 1486  | enp175s0f1
vlan1487       | 1487  | enp175s0f1
vlan1488       | 1488  | enp175s0f1
vlan1489       | 1489  | enp175s0f1
vlan1490       | 1490  | enp175s0f1
vlan1491       | 1491  | enp175s0f1
vlan1492       | 1492  | enp175s0f1
vlan1493       | 1493  | enp175s0f1
vlan1494       | 1494  | enp175s0f1
vlan1495       | 1495  | enp175s0f1
vlan1496       | 1496  | enp175s0f1
vlan1497       | 1497  | enp175s0f1
vlan1498       | 1498  | enp175s0f1
vlan1499       | 1499  | enp175s0f1
vlan1500       | 1500  | enp175s0f1
vlan1501       | 1501  | enp175s0f1
vlan1502       | 1502  | enp175s0f1
vlan1503       | 1503  | enp175s0f1
vlan1504       | 1504  | enp175s0f1
vlan1505       | 1505  | enp175s0f1
vlan1506       | 1506  | enp175s0f1
vlan1507       | 1507  | enp175s0f1
vlan1508       | 1508  | enp175s0f1
vlan1509       | 1509  | enp175s0f1
vlan1510       | 1510  | enp175s0f1
vlan1511       | 1511  | enp175s0f1
vlan1512       | 1512  | enp175s0f1
vlan1513       | 1513  | enp175s0f1
vlan1514       | 1514  | enp175s0f1
vlan1515       | 1515  | enp175s0f1
vlan1516       | 1516  | enp175s0f1
vlan1517       | 1517  | enp175s0f1
vlan1518       | 1518  | enp175s0f1
vlan1519       | 1519  | enp175s0f1
vlan1520       | 1520  | enp175s0f1
vlan1521       | 1521  | enp175s0f1
vlan1522       | 1522  | enp175s0f1
vlan1523       | 1523  | enp175s0f1
vlan1524       | 1524  | enp175s0f1
vlan1525       | 1525  | enp175s0f1
vlan1526       | 1526  | enp175s0f1
vlan1527       | 1527  | enp175s0f1
vlan1528       | 1528  | enp175s0f1
vlan1529       | 1529  | enp175s0f1
vlan1530       | 1530  | enp175s0f1
vlan1531       | 1531  | enp175s0f1
vlan1532       | 1532  | enp175s0f1
vlan1534       | 1534  | enp175s0f1
vlan1535       | 1535  | enp175s0f1
vlan1394       | 1394  | enp175s0f1
vlan1393       | 1393  | enp175s0f1
vlan1550       | 1550  | enp175s0f1
vlan1536       | 1536  | enp175s0f1
vlan1537       | 1537  | enp175s0f1
vlan1539       | 1539  | enp175s0f1
vlan1540       | 1540  | enp175s0f1
vlan1542       | 1542  | enp175s0f1
vlan1541       | 1541  | enp175s0f1
vlan1543       | 1543  | enp175s0f1
vlan1544       | 1544  | enp175s0f1
vlan1801       | 1801  | enp175s0f1
vlan1546       | 1546  | enp175s0f1
vlan1547       | 1547  | enp175s0f1
vlan1548       | 1548  | enp175s0f1
vlan1549       | 1549  | enp175s0f1
vlan1735       | 1735  | enp175s0f1
vlan3132       | 3132  | enp175s0f1
vlan3143       | 3143  | enp175s0f1
vlan3104       | 3104  | enp175s0f1
vlan3125       | 3125  | enp175s0f1
vlan3103       | 3103  | enp175s0f1
vlan3115       | 3115  | enp175s0f1
vlan3134       | 3134  | enp175s0f1
vlan3105       | 3105  | enp175s0f1
vlan3113       | 3113  | enp175s0f1
vlan3141       | 3141  | enp175s0f1
vlan4009       | 4009  | enp175s0f1
vlan3144       | 3144  | enp175s0f1
vlan3130       | 3130  | enp175s0f1
vlan1803       | 1803  | enp175s0f1
vlan3146       | 3146  | enp175s0f1
vlan3148       | 3148  | enp175s0f1
vlan3109       | 3109  | enp175s0f1
vlan1551       | 1551  | enp175s0f1
vlan1552       | 1552  | enp175s0f1
vlan1553       | 1553  | enp175s0f1
vlan1554       | 1554  | enp175s0f1
vlan1555       | 1555  | enp175s0f1
vlan1556       | 1556  | enp175s0f1
vlan1558       | 1558  | enp175s0f1
vlan1559       | 1559  | enp175s0f1
vlan1560       | 1560  | enp175s0f1
vlan1561       | 1561  | enp175s0f1
vlan1562       | 1562  | enp175s0f1
vlan1563       | 1563  | enp175s0f1
vlan1564       | 1564  | enp175s0f1
vlan1565       | 1565  | enp175s0f1
vlan1567       | 1567  | enp175s0f1
vlan1568       | 1568  | enp175s0f1
vlan1569       | 1569  | enp175s0f1
vlan1570       | 1570  | enp175s0f1
vlan1571       | 1571  | enp175s0f1
vlan1572       | 1572  | enp175s0f1
vlan1573       | 1573  | enp175s0f1
vlan1574       | 1574  | enp175s0f1
vlan1575       | 1575  | enp175s0f1
vlan1576       | 1576  | enp175s0f1
vlan1577       | 1577  | enp175s0f1
vlan1578       | 1578  | enp175s0f1
vlan1579       | 1579  | enp175s0f1
vlan1580       | 1580  | enp175s0f1
vlan1581       | 1581  | enp175s0f1
vlan1582       | 1582  | enp175s0f1
vlan1583       | 1583  | enp175s0f1
vlan1584       | 1584  | enp175s0f1
vlan1585       | 1585  | enp175s0f1
vlan1586       | 1586  | enp175s0f1
vlan1587       | 1587  | enp175s0f1
vlan1588       | 1588  | enp175s0f1
vlan1589       | 1589  | enp175s0f1
vlan1591       | 1591  | enp175s0f1
vlan1592       | 1592  | enp175s0f1
vlan1593       | 1593  | enp175s0f1
vlan1594       | 1594  | enp175s0f1
vlan1595       | 1595  | enp175s0f1
vlan1596       | 1596  | enp175s0f1
vlan1597       | 1597  | enp175s0f1
vlan1598       | 1598  | enp175s0f1
vlan1599       | 1599  | enp175s0f1
vlan1557       | 1557  | enp175s0f1
vlan1545       | 1545  | enp175s0f1
vlan2001       | 2001  | enp175s0f1
vlan1806       | 1806  | enp175s0f1
vlan1600       | 1600  | enp175s0f1
vlan1602       | 1602  | enp175s0f1
vlan1603       | 1603  | enp175s0f1
vlan1604       | 1604  | enp175s0f1
vlan1605       | 1605  | enp175s0f1
vlan1606       | 1606  | enp175s0f1
vlan1607       | 1607  | enp175s0f1
vlan1608       | 1608  | enp175s0f1
vlan1609       | 1609  | enp175s0f1
vlan1610       | 1610  | enp175s0f1
vlan1611       | 1611  | enp175s0f1
vlan1612       | 1612  | enp175s0f1
vlan1613       | 1613  | enp175s0f1
vlan1614       | 1614  | enp175s0f1
vlan1615       | 1615  | enp175s0f1
vlan1616       | 1616  | enp175s0f1
vlan1617       | 1617  | enp175s0f1
vlan1618       | 1618  | enp175s0f1
vlan1619       | 1619  | enp175s0f1
vlan1620       | 1620  | enp175s0f1
vlan1621       | 1621  | enp175s0f1
vlan1625       | 1625  | enp175s0f1
vlan1626       | 1626  | enp175s0f1
vlan1627       | 1627  | enp175s0f1
vlan1628       | 1628  | enp175s0f1
vlan1629       | 1629  | enp175s0f1
vlan1630       | 1630  | enp175s0f1
vlan1631       | 1631  | enp175s0f1
vlan1632       | 1632  | enp175s0f1
vlan1634       | 1634  | enp175s0f1
vlan1635       | 1635  | enp175s0f1
vlan1636       | 1636  | enp175s0f1
vlan1640       | 1640  | enp175s0f1
vlan1641       | 1641  | enp175s0f1
vlan1642       | 1642  | enp175s0f1
vlan1643       | 1643  | enp175s0f1
vlan1644       | 1644  | enp175s0f1
vlan1645       | 1645  | enp175s0f1
vlan1646       | 1646  | enp175s0f1
vlan1647       | 1647  | enp175s0f1
vlan1648       | 1648  | enp175s0f1
vlan1649       | 1649  | enp175s0f1
vlan1650       | 1650  | enp175s0f1
vlan1651       | 1651  | enp175s0f1
vlan1652       | 1652  | enp175s0f1
vlan1653       | 1653  | enp175s0f1
vlan1654       | 1654  | enp175s0f1
vlan1655       | 1655  | enp175s0f1
vlan1656       | 1656  | enp175s0f1
vlan1657       | 1657  | enp175s0f1
vlan1658       | 1658  | enp175s0f1
vlan1659       | 1659  | enp175s0f1
vlan1660       | 1660  | enp175s0f1
vlan1661       | 1661  | enp175s0f1
vlan1662       | 1662  | enp175s0f1
vlan1663       | 1663  | enp175s0f1
vlan1664       | 1664  | enp175s0f1
vlan1665       | 1665  | enp175s0f1
vlan1601       | 1601  | enp175s0f1
vlan1666       | 1666  | enp175s0f1
vlan1667       | 1667  | enp175s0f1
vlan1668       | 1668  | enp175s0f1
vlan1669       | 1669  | enp175s0f1
vlan1670       | 1670  | enp175s0f1
vlan1671       | 1671  | enp175s0f1
vlan1672       | 1672  | enp175s0f1
vlan1673       | 1673  | enp175s0f1
vlan1674       | 1674  | enp175s0f1
vlan1676       | 1676  | enp175s0f1
vlan1677       | 1677  | enp175s0f1
vlan1678       | 1678  | enp175s0f1
vlan1680       | 1680  | enp175s0f1
vlan1681       | 1681  | enp175s0f1
vlan1682       | 1682  | enp175s0f1
vlan1683       | 1683  | enp175s0f1
vlan1684       | 1684  | enp175s0f1
vlan1685       | 1685  | enp175s0f1
vlan1686       | 1686  | enp175s0f1
vlan1687       | 1687  | enp175s0f1
vlan1688       | 1688  | enp175s0f1
vlan1689       | 1689  | enp175s0f1
vlan1690       | 1690  | enp175s0f1
vlan1691       | 1691  | enp175s0f1
vlan1692       | 1692  | enp175s0f1
vlan1693       | 1693  | enp175s0f1
vlan1694       | 1694  | enp175s0f1
vlan1696       | 1696  | enp175s0f1
vlan1697       | 1697  | enp175s0f1
vlan1698       | 1698  | enp175s0f1
vlan1712       | 1712  | enp175s0f1
vlan1817       | 1817  | enp175s0f1
vlan1869       | 1869  | enp175s0f1
vlan1810       | 1810  | enp175s0f1
vlan1814       | 1814  | enp175s0f1
vlan1818       | 1818  | enp175s0f1
vlan1855       | 1855  | enp175s0f1
vlan1856       | 1856  | enp175s0f1
vlan1857       | 1857  | enp175s0f1
vlan1858       | 1858  | enp175s0f1
vlan1859       | 1859  | enp175s0f1
vlan1860       | 1860  | enp175s0f1
vlan1861       | 1861  | enp175s0f1
vlan1862       | 1862  | enp175s0f1
vlan1863       | 1863  | enp175s0f1
vlan1864       | 1864  | enp175s0f1
vlan1865       | 1865  | enp175s0f1
vlan1866       | 1866  | enp175s0f1
vlan1867       | 1867  | enp175s0f1
vlan1868       | 1868  | enp175s0f1
vlan1870       | 1870  | enp175s0f1
vlan1871       | 1871  | enp175s0f1
vlan1872       | 1872  | enp175s0f1
vlan1873       | 1873  | enp175s0f1
vlan1874       | 1874  | enp175s0f1
vlan1875       | 1875  | enp175s0f1
vlan1876       | 1876  | enp175s0f1
vlan1877       | 1877  | enp175s0f1
vlan1878       | 1878  | enp175s0f1
vlan1879       | 1879  | enp175s0f1
vlan1880       | 1880  | enp175s0f1
vlan1885       | 1885  | enp175s0f1
vlan1890       | 1890  | enp175s0f1
vlan1891       | 1891  | enp175s0f1
vlan1892       | 1892  | enp175s0f1
vlan1893       | 1893  | enp175s0f1
vlan1894       | 1894  | enp175s0f1
vlan1895       | 1895  | enp175s0f1
vlan1898       | 1898  | enp175s0f1
vlan1881       | 1881  | enp175s0f1
vlan2190       | 2190  | enp175s0f1
vlan2191       | 2191  | enp175s0f1
vlan2192       | 2192  | enp175s0f1
vlan2193       | 2193  | enp175s0f1
vlan2194       | 2194  | enp175s0f1
vlan2195       | 2195  | enp175s0f1
vlan2196       | 2196  | enp175s0f1
vlan2197       | 2197  | enp175s0f1
vlan2198       | 2198  | enp175s0f1
vlan2199       | 2199  | enp175s0f1
vlan2541       | 2541  | enp175s0f1
vlan2542       | 2542  | enp175s0f1
vlan2543       | 2543  | enp175s0f1
vlan2544       | 2544  | enp175s0f1
vlan2545       | 2545  | enp175s0f1
vlan2546       | 2546  | enp175s0f1
vlan2547       | 2547  | enp175s0f1
vlan2548       | 2548  | enp175s0f1
vlan2549       | 2549  | enp175s0f1
vlan2550       | 2550  | enp175s0f1
vlan2290       | 2290  | enp175s0f1
vlan616        | 616  | enp175s0f0
vlan617        | 617  | enp175s0f0
vlan627        | 627  | enp175s0f0
vlan979        | 979  | enp175s0f0
vlan250        | 250  | enp175s0f0
vlan4032       | 4032  | enp175s0f0
vlan4043       | 4043  | enp175s0f0

Firmware:
ethtool -i enp175s0f0
driver: mlx5_core
version: 5.0-0
firmware-version: 12.18.2000 (SM_2001000001033)
expansion-rom-version:
bus-info: 0000:af:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: no
supports-register-dump: no
supports-priv-flags: yes

ethtool -i enp175s0f1
driver: mlx5_core
version: 5.0-0
firmware-version: 12.18.2000 (SM_2001000001033)
expansion-rom-version:
bus-info: 0000:af:00.1
supports-statistics: yes
supports-test: yes
supports-eeprom-access: no
supports-register-dump: no
supports-priv-flags: yes



.config
https://pastebin.com/ENZU95ix

>
> Attaching the output of mlxdump would help a lot in this case, please also attach the output of the following command (replace 0000:00:08.0 with the device pci):
> mlxdump -d 0000:00:08.0 fsdump --type FT --no_zero=true
mlxdump:
https://pastebin.com/DRxp9Rcc
>
> In case mlxdump is not installed, you can get it from http://www.mellanox.com/page/management_tools.
>
> Thanks,
> Gal
>

Powered by blists - more mailing lists