Роздуми

Цей допис відкриває чернетки роботи над книгою про пошук. Викладатиму сюди робочий матеріал (в чорну написані глави), може кому буде цікаво. Коли завершу роботу, все це буде сховано, а в книга продаватиметься окремо.

Книга пишеться одразу англійською, український переклад, можливо, буде пізніше, якщо буде сенс та потреба. Поки що їх не спостерігаю - "умерла так умерла" (с) анекдот.


When you look for your car or house keys, you generally know that you are performing a search. But how exactly do you search for a lost key? Have you considered different ways to conduct the look-up? I am sure you have, but every time the key is lost, you still get anxious. And it’s no wonder, as keys are rarely needed when you comfortably reside on the couch and are in no hurry. However, by using some methodology, the anxiety can be greatly reduced.

The above example is a canonical illustration of referring to a search (and for a reason). Yet, a plethora of activities of living creatures, including humans, constitutes a search without us realizing this plain fact. An amoeba, while crawling around, also performs a search, this time for food. Similarly, as fungi extend their mycelium, they embark on a quest to identify optimal directions for growth, maximizing resource acquisition. Or, consider an industrious squirrel, diligently sifting through fallen leaves; it is unmistakably engaged in a purposeful search for something of value.

Speaking about the human species, we can find search and discovery everywhere - from daily chores to scientific, industrial, or cultural activities. A student searching for information for their homework, an engineer investigating how to optimize the process, an artist in a quest for new original ideas, or an explorer traveling in an unknown area — all of them are doing something that is a subject of our curiosity.

One may say that an example of an amoeba or fungi is not applicable, and discovery is not search. Maybe, and this is what we are going to figure out. In this book, we also search and investigate — this time, the nature of search itself, its methods and algorithms, and their applicability to all aspects of human life and beyond.

Why is this topic worth the whole book (and probably a dedicated science)? Search as phenomena is an integral property and manifestation of life. While we have humans at the top of the pyramid of life (although, one may say that the author is far too human-centric here), we can’t study humans in their entirety if we omit such an important activity.

Different sciences and practical activities pay some attention to search, either in a form of an occasional study or as an attempt to offer new approaches to solving practical problems. However, there’s no systematic approach to studying search

To set a stage for our study and expose a ubiquity of search in various aspects of human life, let us list some examples:

* In our daily lives, we constantly search for information to make decisions, solve problems, and satisfy our curiosity. This could include looking up facts, finding directions, or researching products before making a purchase.
* In business activities, individuals perform search to gather data, conduct market research, and stay updated on industry trends. This is crucial for decision-making, innovation, and staying competitive.
* Education is largely based on search. Formal education requires students to search for information in textbooks, journals, and online resources to deepen their understanding of various subjects. Self-learning and individual studies include searching for information to acquire new skills or expand knowledge on specific topics.
* Scientific and technological advancements and innovation would be impossible without search. The methodology of most sciences includes the topics of how to conduct the research properly as one of the cornerstones.
* In communications and social interactions as well as in art, individuals search for better ways (whatever “better” means to them) to convey their thoughts, ideas, or emotions to recipients.
* Entertainment and leisure expose both active and passive forms of search: people like adventure movies, mystery and investigation books, crime stories and alike. Or, they can choose to play quests and role-playing games both in the real world and in virtual environments.

In the following chapters, we will study the mentioned aspects in depth, as well as define common and area-specific approaches and instruments of search. We will then try to apply them in original ways in order to improve search procedures in various human activities.


Before we delve into our study, let’s agree on terms. Yes, those words that make the language and which make it look more scientific, so to say. We will get to search in languages later in this book, and for now, let us look at what the English dictionary can offer us (sorry, foreign readers, we would be happy to cover all your languages, yet this is a topic for a separate book). The below terms will be used throughout the book when talking about different aspects of the topic, so you may skip them now and get back to them should the need arise.

- “To search” is defined by the Merriam-Webster dictionary [ “search,” Merriam-Webster.com Dictionary, https://www.merriam-webster.com/dictionary/search. Accessed 11/26/2023. ] as “to look into or over carefully or thoroughly in an effort to find or discover something”. This is probably the most basic definition one can offer, and the most applicable for the purposes of this book. Yet we have a pack of other, more specific words, worth mentioning with their definitions. The main synonyms to “Search” are:

- “To seek”, according to the Cambridge dictionary [ https://dictionary.cambridge.org/dictionary/english/seek ], is “to try to find or get something, especially something that is not a physical object”. An interesting aspect here is an emphasis on not physical objects. The second meaning of this word, though, is “to try or attempt”, which is rather far from the meaning we are looking for.
- “To look something up” is defined in the Cambridge dictionary [ https://dictionary.cambridge.org/dictionary/english/look-up ] as “to try to find a piece of information by looking in a book or on a computer”. This is quite close to what we are interested in, but with a more narrow connotation of “to search”.
- “To investigate” is “to examine a crime, problem, statement, etc. carefully, especially to discover the truth” [ Cambridge, https://dictionary.cambridge.org/dictionary/english/investigate ]. This is a good synonym to “search” and “seek” when the goal is to discover the truth, proof, or evidence.
- “To locate” is defined by Merriam-Webster [ “locate,” Merriam-Webster.com Dictionary, https://www.merriam-webster.com/dictionary/locate. Accessed 11/26/2023. ] as “to seek out and determine the location of”. I.e., here, we would be talking about a search for a location of a certain object or a living being.
- “To inspect” as per [ Cambridge ] is “to look at something or someone carefully in order to discover information, especially about their quality or condition”. Here, we see the goal to find information about quality or condition, i.e., search for flaws or errors. Close synonyms to “inspect” are “to check”, “to examine” and “to probe”.

Other words which may prove useful are

- “To explore” is “to think about, talk about, or study something, or to experience it, in order to find out more about it” [ Cambridge, https://dictionary.cambridge.org/dictionary/english/explore?q=explore ]. Exploration leads to discovery. We will cover the “search vs discovery” topic later in this chapter.
- “To research” is defined in [ Cambridge, https://dictionary.cambridge.org/dictionary/english/research?q=research ] as “to study a subject in detail, especially in order to discover new information or reach a new understanding”. Here, we also encounter discovery as an outcome.  
- “To look out for” (“to try to notice someone or something” as per the Cambridge dictionary, [ https://dictionary.cambridge.org/dictionary/english/look-out-for ])
- “To browse” is defined by the Collins dictionary [ https://www.collinsdictionary.com/dictionary/english/browse ] as follows: “If you browse in a shop, you look at things in a fairly casual way, in the hope that you might find something you like.”, which is an intriguing term for us as it may convey the meaning of “lazy search”. I.e., browsing is definitely a form of a search (which fact we will make use of later).

Overall, we have found several dozens of common and phrasal verbs directly related to search and its facets. Most of them will be mentioned further, but without definitions, so that  we avoid the risk of turning this book into a dictionary (the author can hardly compete with Cambridge or Merriam-Webster).

The Search vs Discovery debate

"Search" and "discovery" are related concepts but refer to different stages in the process of finding or uncovering something.

Seth Godin in his blog [ https://seths.blog/2014/04/search-vs-discovery/ ] gets to the point:

“Search is what we call the action of knowing what you want and questing until you ultimately find it. … Discovery, on the other hand, is what happens when the universe (or an organization, or a friend) helps you encounter something you didn't even know you were looking for.”

Mr.Godin made this note about marketing, but it is way broader than just one practical application.

Discovery can be defined as the act of finding or learning something for the first time, often unexpectedly or unintentionally

Let’s review what we know about search and discovery besides their definitions.

Both search and discovery include a set of criteria — conditions according to which the action may be considered as successful and the outcome may be treated as a positive result.

For search, these criteria are rather strict and define just one or a limited group of objects or piece(s) of information. When people search for something, they often mean an exact object, which was known to them or possessed by them before the search (e.g., the lost car keys). We can state that “there exists the object; we need to find it”. At other times, they have a very specific knowledge about an object or knowledge that is believed to exist (the search for a phoenix bird or for a philosopher's stone in alchemy). We can say “there should exist some object or objects, we need to find any of them”.

In the case of discovery, it can happen that the only criteria of fitness is that the information or the object were not known beforehand — either to an individual who makes a discovery or for humankind as a whole.

In science, where research is done most frequently, the criteria besides novelty are that the obtained result belongs to the field of research and has at least a grain of usability either for practical life or for science. As said, “travelling without a destination is just wandering”; research without criteria is meaningless.

The presence of criteria is an interesting aspect: oftentimes, it happens that when achieving the goal becomes impossible or infeasible, the actor claims already achieved results to be the final goal. Thus, the goal of the search or discovery should be articulated beforehand.

The second aspect is that both search and discovery may be proactive and aim to achieve the result according to the criteria. Often, it is research and study that lead to a discovery; at other times, a discovery is a result of mere observations. However, for discovery, even this is not mandatory; as Mr.Godin noticed, “discovery happens”.

Discovery implies a sense of surprise, novelty, or revelation. It can result from a deliberate exploration or investigation, but the key aspect is the revelation of something not previously known or understood.

If we stick to the above definition and properties of discovery, we can notice that discoveries occur to any living being quite frequently. Our sensory organs and external data sources (newspapers, internet, TV) provide us with new information related to objects and events about which we had no clue before. This would be our personal discovery, but most likely, what is new for us is not new for others or, even if it is, such a “discovery” has no usability at all, neither for us nor for others. Such daily life discoveries are of little interest to us besides the need to mention their existence.

Real discoveries are closely related to search. Occasionally, the search process leads to an unexpected discovery. For example, biologists may search for representatives of a certain species in the forest, and while doing so, discover a completely unknown species. At other times, the discovery leads to a more specific search. A common example is an investigation of a crime — a discovery of a criminal accident leads to the search for evidence and specific information about objects and subjects of this crime. Another similar example may be an accidental discovery of some buried building in the jungle; it leads to a focused search of a settlement or traces of human activity nearby.

Search and discovery differ in the overall outcome of the activity.

Search results are usually limited or bounded and have immediate practical applicability. This can be a specific object that is found (car keys, anyone?), or a location of an object that belongs to a particular group or class (a good pasture with fresh grass) that is figured out.

A discovery includes a result that has broad or undefined scope and may, possibly, be useful in the future. A scientific discovery may have no practical applicability at all and describe effects on the edge of the Universe. Higgs’ boson was first discovered theoretically, and even its experimental discovery in years 2010-2020 didn’t make it practically usable (so far?).

Often, there’s a separate search required to find applications of a discovery to practical needs.
(Навіяло новинами з руїни, в продовження цього допису)

Є події-Події, а є події-маркери (happenings та markers). І в тих і інших є причина, але ці події мають різне коріння.

Happenings стаються як наслідок збігу певної кількості обставин чи свідомих зусиль  тих чи інших людей та груп. Достатньо прибрати один чи два чинники, і від Події не лишиться й сліду. Ймовірність такої події досить низька (про ймовірності одноразових подій говорити невірно, але в побуті згодиться).

А є події-маркери. Самі по собі вони можуть бути значущими, можуть здаватися випадковими, але насправді є лише індикатором поточної ситуації. Події-маркери не є унікальними - якщо прибрати якісь чинники, то аналогічна подія-маркер відбудеться трохи по-іншому; але вона матиме схоже вираження і схожі наслідки. Ймовірність події-маркеру або її аналога є практично стовідсотковою.


Коли ми дивимося на якусь подію, ми маємо поставити питання, чи є вона happening чи є маркером. Події-маркери мають розглядатися саме як індикатори стану суспільства, не більше. В точці такої події не може виникнути історично значущих альтернатив.

Такий спосіб дозволяє не витрачати час та зусилля на аналіз неможливих альтернатив, а сфокусуватися на дійсно значущих happening'ах.  
Кілька років тому було проведено дослідження, за яким слідували якісь "оргвисновки" щодо Instagram. Приводом було те, як цей сервіс впливає на підлітків. Виявилося, що погано (хто б міг подумати). Але ось, чому: підлітки підписувалися на осіб, що постили, часто-густо оброблені, фото себе. Порівнюючи себе з такими фото, підлітки отримували знижену самооцінку та депресії; йшлося навіть про самогубства.

Так от LinkedIn - це Instagram для доросліших.  
(музикою навіяло)

В Android Auto оновилося розташування елементів на екрані. Якщо раніше, якщо плеєр запущено, під мапою були кнопки керування музикою, і нею можна було керувати в одне натиснення (пауза/програвання та вперед/назад), то тепер кнопки зникли, а натомість з'явилася кнопка музичного додатку лівіше від мапи. Тобто замість одного кліку, щоб зробити паузу, тепер потрібно три.

Тут можна згадати про основи копроекономіки, але мені здається, що проблема дещо глибше.

Якщо на вас в савані напав леопард, то найкраще рішення - зарядити йому батогом проміж очей. Перевантажений потоком інформації та загальним стресом людський мозок намагається позбавитися подразників в той самий спосіб - батогом світові проміж очей. Даючи опір, мозок намагається зруйнувати "агресора". Але на жаль, агресором є навколишній світ. І куди людина може дотягнутися, те вона й руйнує. Але оскільки в людини є ще й прошарок свідомості, то далі відбувається раціоналізація.

Так, якщо спитати в тих людей, що прибирали кнопки, навіщо вони це зробили, то вони вигадають десяток причин. Якщо спитати їх завтра знову, буде названо ще якісь причини (нові). Але це не причини, а лише раціоналізація свого психологічного потягу до руйнування.  
Scene 1.

"Людина з чітким мисленням чітко й говорить, та навпаки, в людини з хаотичними думками й мовлення буде хаотичним" (джерело - канал в Telegram)

Scene 2.

"Кожна істота формує в середині себе набір уявлень про об'єкти та сутності; надалі ж істоти узгоджують між собою символічні назви сутностей". (джерело - https://agieng.substack.com/p/agi-concept-grounding )

Коментар:

Істота може мати в середині себе чудово структуровану систему концепцій і надзвичайно ефективне мислення, але при цьому, з огляду чи на вади комунікаційного апарату, чи просто на недосконалість символічної системи, її мовлення буде схибленим.

До цього ж і мій попередній допис
Люди ніколи не зрозуміють один одного - потік об'єктів (а кожен має сотні зв'язків з іншими) неможливо перекласти та висловити як потік слів. Уявіть собі багатокольоровий чотиривимірний светр. А тепер витягніть нитку та попросіть співбесідника зв'язати такий самий, як у вас був.  
Останніми днями думав про воза і кобилу і правильний спосіб їх впорядковувати. А тут Аркадій Бабченко висловився, зокрема, про те, що якби 30 років тому обрали Чорновола, історія би пішла по-іншому. Враховуючи, що початком моїх роздумів про кобилу були вибори трирічної давнини (в 91-му я ще не голосував), що я маю сказати за воза і віслюка: і Бабченко і я спочатку переплутали їх місцями.

Вибір того чи іншого кандидата не є причиною того, що Україна знаходиться на іншому кінці від гострих і хижих зубів, а населення отримало поважний титул "зебілів". Річ у тім, що іншого й бути не могло. Ну ніяким чином радянське населення не могло проголосувати за Чорновола, і те саме пострадянське населення - за будь-кого, виставленого проти клоуна. Населення en masse страждає на шизофренію і хоче дружити з хорошими русскімі, населення розбиває лоби в церквах московського патріархату, і воно ж зі своїх рядів висуває тих депутатів, які приймають закони, що краще пасували би в столітті 19-му, аніж 21-му.

Тому не "Україна пропустила вікно можливостей", а населення не змогло відірватися від багнюки достатньо, щоб в те вікно хоч зазирнути.
Люди масово дивуються, як в населення західномонголії в головах вміщуються протилежні тези. Між тим, знаючи загальну "механіку" мислення, можна зрозуміти, що все дуже просто - протилежними тези є лише в результаті аналізу (внутрішнього або зовнішнього).

Спершу погляньмо, звідки беруться начебто протилежні тези. Кожну з них пропаганда записує в мозок без прив'язки до фактів чи інших тез. Записується, умовно кажучи, "правило", наприклад "якщо особа - українець, то вона погана". Для закріплення тези-правила використовуються лише емоції. Що яскравіше нісенітниця - то краще записується теза на емоційному рівні. Неважливо, що ані сама теза, ані її підкріплення не пов'язані зі здоровим глуздом аж ніяк. Головне - щоб теза закріпилася в мозку.


Далі ці прості правила використовуються без зв'язку між собою. Вони як правила в Outlook'у - правило виконалося, обробляння закінчилося. І якщо в outlook'у можна налаштувати правило так, щоб воно не зупинило обробляння, людський мозок націлений на енергоефективність і тому зупиняє обробляння так швидко як може. Ба більше, що й пропаганда розрахована здебільшого на людей, в котрих мозок "лінивий" і не буде добровільно виконувати внутрішній аналіз і перевіряти правила на дійсність та відсутність суперечливостей.

Як раз ми й дісталися аналізу. Зовнішній аналіз - це або аналіз іншою особою або підведення такою іншої особою "оператора правил" до потреби у внутрішньому аналізі.  І тут ми майже завжди спостерігаємо цікавий ефект - коли особа виявляє суперечливість власних правил, вона зависає або вибухає з "коротким замиканням" (лайка, конфлікт тощо). Але не скасовує жодне з правил, що суперечать одне одному. Для скасування немає підстав - кожне з правил має імпринтинг (закарбування) однаковий за силою і сильніший, ніж якісь факти, що могли би похитнути чи навіть скасувати ці правила. А до того ж всі правила додатково підтримуються базовими правилами (установками) "ми найкрутіші", "путін - наш рульовий" і подібними.
Чи є спосіб випалити всі ці правила? В індивідуальному порядку - є приклади (не всі!), коли людина, втративши на війні дитину, усвідомлює свою неправоту в ставленні до неї. Такий шок для декого виявляється достатнім. В масі - Невзоров каже, що немає способу. Я думаю, що якщо розвернути пропаганду на 180%, то досягти результату можна досить швидко. Але саме таке розвернення - це з розряду фантастики.  
Поточна війна Росії проти України, а по факту, проти всього Заходу та західного способу мислення й життя, показує цьому колективному Заходу річ, яку той не хоче визнавати (і, відповідно, тому не хоче визнавати й інші очевидні факти): західний спосіб життя й мислення (демократія, права людини, оце от усе) не є безперечним, від природи, взірцем або бажаним світоглядом для представника хомо сапієнс. Вони стають такими лише внаслідок виховання. Іншми словами - свині рідна брудна калюжа набагато приємніше, ніж чужі досягнення. І за це не варто звинувачувати свиню - це її генетична пам'ять, її притаманна від природи свобода вибирати багнюку. Просто західна філософія раз за разом, вже декілька століть, робить одну й ту ж помилку - вважає людину від природи "хорошою", яку чомусь якісь обставини псують. В той час як людина - істота від природи "погана", а хорошою її роблять правильна освіта і виховання. Гадаю, цю помилку згадує й Булгаков в діалозі Пілата з Єшуа -

========
– А вот, например, кентурион Марк, его прозвали Крысобоем, – он – добрый?
– Да, – ответил арестант, – он, правда, несчастливый человек. С тех пор как добрые люди изуродовали его, он стал жесток и черств. Интересно бы знать, кто его искалечил.
– Охотно могу сообщить это, – отозвался Пилат, – ибо я был свидетелем этого. Добрые люди бросались на него, как собаки на медведя. Германцы вцепились ему в шею, в руки, в ноги.
========

Наївний та інфантильний "мудрий нарід" України раз за разом думав, що мешканці західномонголії - добрі люди. Непогано би було, щоб решта людей виявилася далекоглядніша.
Багато хто чув про численні дослідження, що показують вельми цікавий факт - тварини досить швидко стають розумнішими і опановують задачі, про які не можна було думати навіть пару-трійку десятиліть тому. Так, лише вчора я дивився відео, де видри (той же тхір, але водяний) відкручували кришку в PET-пляшки. А тільки що на YouTube натрапив на відео, де схожі речі роблять бджоли (!).

А це наводить на дуже цікаву думку -- якщо розвиток розумових здібностей тварин йде лінійно, то почали вони явно дуже нещодавно (наприкінці 60-их?). Якщо ж розвиток відбувається нелінійно (ближче до експоненціального розвитку), то ми маємо вже за кілька десятиліть масово спостерігати тварин з рівнем розумового розвитку як в людських дітей.  
While studying AI (both ML and AGI), I've made the following notes, which, possibly, will be of interest to others.

1. By "AI," we'll mark what is currently called "artificial intellect," but that's not intellect. This is just automation of solving certain tasks using specific machine decision-making algorithms - decision trees, neural networks, and some other mechanics. All those algorithms are based on data and require vast amounts of homogenous data for their operations and enhancements. It would be more appropriate to call this Data Science, yet the talk is not about science but about applications of this science. Hence AI. BUT this is not intellect as understood by humans.

2. Why is Python so popular in AI? The answer is quite unexpected. Python as a programming language for large products is not suitable. But its benefit is a fairly rapid mastery. BASIC of modernity of a kind. So, ML is not for programmers but for data scientists who may or may not be able to program. For them, Python is easier to master. The fact that everyone says "Python has more libraries" is not a problem because .NET also has ML.NET and wrappers for TensorFlow, Keras, etc. That is, if someone needs to implement ML in .NET - no problems. Is it possible to access Python from .NET? You can try using IronPython or approach the task via pythonnet. Thus, if you want libraries in Python, then there are solutions.

3. Various ML courses still teach primitive algorithms, "bricks." The nuance is that all these bricks have long been implemented in the above-mentioned libraries, and it is not algorithms that should be studied but when to use which algorithms. A modern data scientist will not write their own regression or some other primitive function - it's not just extra work (everything has already been written for us), but you are not able to use the implementation with ready-made bricks. It's like writing your SHA256 or AES128 - well, you wrote it, but then where to apply it, as all encryption libraries have and use their own implementations.

4. A consequence of (3) - a modern data scientist doesn't do programming at all but performs composition of blocks (low-code and no-code technologies) as well as builds and optimizes data pipelines. That's what is called MLOps now.

There exist two directions of operations and development of an AI specialist and AI business. The first one is the building of data pipelines, described in (4). That's a great job, well-paid and required by the market. But that is not programming. If you love "data" as an entity, then you'd like this job too. So, this work and this business are about data: the more data, the better. There are no genius ideas, disruptive technologies, sophisticated inventions, and similar breakthroughs. The foundations of ML are not rocket science: they have simple math and trivial data transformations. You will succeed in building a business here if you see data and know how to collect them and apply them to optimize certain business processes. To re-iterate, you need to possess huge amounts of data; only this gets you ahead of the competition.

The second direction of action is the application of the ideas and capabilities of ML in solving vertical market tasks and problems. AI activities and AI businesses in this direction grow from narrow and specific scientific and technological needs. Here, you may have little data (or no data at all). But you may make a breakthrough when solving a scientific or technological problem. For this direction, you first of all need to be a specialist in some subject - chemistry, physics, biology (or you should have such a specialist), and then you'd look for ideas and principles of ML and AI that you can apply in this specialist's work.

Everything between those two directions ("we can write code and we want to apply this knowledge in AI";) most often doesn't have practical applications and a business benefit. Consequently, the risks of such a business are not justified by the possible commercial results.

5. Could one use ML and AI for solving tasks X, Y, Z? Most likely, no. Modern AI, based on large datasets and data streams, is hardly applicable when you have little or no data. For this, you need other technologies like AGI. Those are, unfortunately, put behind because they don't bring quick money to large players capable of investing in those technologies.  
В процесі вивчення AI (як ML, так і AGI) зробив такі спостереження, які, можливо, будуть цікаві й іншим.

0. Абревіатурою AI далі позначатимемо те, що зараз називають штучним інтелектом, але це не є інтелект. Це просто автоматизація розв'язання певних задач за допомогою певних машинних алгоритмів прийняття рішень — дерева рішень, нейронні мережі та деякі інші алгоритми. Всі ці алгоритми побудовані на даних та вимагають для своєї роботи та розвитку великого обсягу однотипних даних. Правильніше було б це назвати Data Science, але йтиметься не про science, а про її практичне застосування. Тому AI. АЛЕ це ніяк не є інтелектом в людському розумінні.

1. Чому Python такий популярний в AI? Відповідь досить несподівана. Python як мова програмування для великих продуктів не годиться. Але його вигодою є досить швидке опанування. Такий собі BASIC сучасності. Так от, ML'ем займаються не програмісти, а data scientists, які можуть вміти, а можуть і не вміти програмувати. Для них Python зручніший в опануванні. Те, що всі говорять "на Python бібліотек більше" - це не є проблемою, оскільки в тому ж .NET є і ML.NET, і обгортки для TensorFlow, Keras тощо. Тобто, якщо комусь потрібно реалізувати ML в .NET - проблем жодних. Чи можна звертатися з .NET до Python? Можна спробувати використати IronPython або через pythonnet. Тобто, якщо хочеться бібліотек на Python, то рішення існують.

2. Курси, що вчать ML'у, викладають примітивні алгоритми, "цеглинки". Нюанс полягає в тому, що всі ці цеглинки вже давно реалізовано у вищезгаданих бібліотеках, і вчити(ся) слід не алгоритмам, а тому, коли які алгоритми застосовувати. Ну не буде сучасний data scientist писати свою регресію чи ще якийсь примітив — це не лише зайва робота (все вже написано до нас), але таку функцію потім не використаєш разом з готовими цеглинками. Це як написати свій SHA256 чи там AES128 - ну написав, але куди його потім, якщо всі бібліотеки з шифрування мають і використовують своє.

3. Наслідок з п.2: сучасний Data Scientist —  це вже не програмування взагалі, а складання кубиків (low code та no code технології) і побудова та оптимізація data pipelines. Це те ж, що називається MLOps.

4. Існує два напрямки роботи (і розвитку) AI-спеціаліста та AI-бізнесу. Перший — це описане в п.3 будівництво data pipelines. Це чудова високооплачувана і потрібна ринку робота. Але це не програмування. Якщо вам подобаються "дані" як сутність, то вам сподобається і така робота. Ця робота і цей бізнес — про дані. Що більше даних, то краще. Тут немає якихось геніальних ідей, новітніх технологій (те, на чому базується ML, —  це не rocket science, там проста математика і прості перетворення даних), хитрих винаходів і подібних проривів. Побудувати бізнес тут можна, якщо ви бачите дані і бачите, як їх зібрати і застосувати для оптимізації якогось бізнес-процесу. Повторюся, даних має бути дуже-дуже багато; лише це дає відрив від конкурентів.

Другий напрямок роботи — це застосування ідей та можливостей ML в розв'язанні вузькогалузевих задач. AI-роботи та AI-бізнеси в цьому напрямку виростають з вузьких наукових та технологічних потреб. Тут даних може не бути багато (або взагалі не бути). Але тут можливі прориви при розв'язанні науково-технологічних задач. Для цього напрямку слід спершу бути спеціалістом в предметній області — хімії, фізиці, біології (або мати такого спеціаліста), а тоді шукати, які ідеї та принципи ML та AI можна застосувати в роботі цього спеціаліста.

Те, що між цими напрямками ("ми вміємо програмувати і хочемо це вміння застосувати в AI";), найчастіше є натягуванням сови на глобус та не несе якоїсь практичної бізнес-вигоди. Відповідно, ризики ведення бізнесу не перекриваються можливим економічним ефектом.

5. Чи можна ML та AI використати для задач X, Y, Z? Швидше за все, ні. Сучасний AI, побудований на великих потоках даних, не застосовується в умовах малої кількості даних або їхньої відсутності. Для цього потрібні інші науки (зокрема, AGI), які зараз, на жаль, відсунуто на задній план тому, що вони здебільшого не приносять прибутку в короткостроковому періоді (2-3 роки).
Деякі справи схожі на яйця - їх слід висидіти.

AI

Люди - лише нейронні мережі, що тренуються на цій реальності.
Кожна людина починає життя з певних "налаштувань", які корегуються в процесі дорослішання. Спершу дід мороз - це тато (або сусід), потім земля кругла, люди вмирають, бога не існує, і далі за переліком.

Ригідність визначає поведінку людини, коли вона подибує факт, що не збігається з її налаштуваннями в будь-який спосіб. Спектр проявів дуже великий - від здивування у випадку позитивної "несподіванки" до істерик чи створення альтернативної реальності в мозку (а то й навкруги, як у чубчика) при небажанні сприймати цей факт. Рівень "дорослості" людини визначається зокрема і тим, як людина може "cope" (впоратися, опанувати - англ.) зі своєю ригідністю, тобто інертністю нервової системи.

Ригідність є органічною властивістю нервової системи. Згруба, це висота порогу збудження, що його має перестрибнути нервовий сигнал, щоб дістатися наступної клітини. І в таких випадках палиця чи морквина (спереду чи ззаду) досить добре допомагають імпульсам бігати.

Загалом, ступінь інертності є природженою властивістю. Але великою мірою цей аспект тренується і виправляється. Іноді великими зусиллями (а що робити...). І що більша ригідність, то більші зусилля. Поламані об спину палиці - це ще не межа.

Але водночас є ще така штука як свідомість. Людина, яка усвідомлює мету, здатна цю ригідність перестрибувати як кінь на іподоромі. Тут ми маємо показати морквину на правильній відстані - не надто далеко, щоб людина пішла, але й не занадто близько, щоб моркву було з'їдено раніше, ніж ми дісталися цілі.

Є ще один спосіб боротися з ригідністю. Як сказано, ригідність - це бар'єри. Якщо ми знизимо їхній рівень, стрибати буде простіше. Як знизити? Тут є кілька способів. Один з них - усвідомленість, а другий - абстрагування. В обох випадках ми маємо вимкнути вбудовану в кожну людину систему оцінювання.

В першому способі, ми маємо відкинути всі заперечення, а натомість рухатися вперед, усвідомлюючи мету. Це має відбуватися на хімічному рівні, і це те, що викликає найбільшу складність у тих, хто страждає на депресію (але це окрема історія).

Другий спосіб вимагає тренування. Кажуть, в армії це досить добре закріплюють. Але нелюдськими методами. Є простіший метод - абсолютна довіра до людини, котра каже, що робити. Наприклад, в дітей закладено з певного віку (підлітковість) почати опиратися батькам. Але згодом, років в 16-17, *якщо* дитина довіряє батькам, то їй стає порівняно легко "вимкнути мозок" і просто діяти. В обох випадках висота бар'єру зменшується. Що таке "вимкнути мозок"? Насамперед - це вимкнути оцінкову систему. Ця система існує в усіх істотах і є зовнішнім периметром безпеки для окремого індивіда. Вона змушує кожного оцінювати будь-що (факт, подію, поведінку тощо) на предмет безпечності. І майже завжди знайоме і відоме є або здається безпечнішим за нове. А це й є інший бік ригідності. Кажуть, що звірі в лісі бігають одними й тими ж (до сантиметра) стежками просто тому, що вони колись тут пробігли і тут було безпечно. Звідти ж правила "працює - не чіпай", консерватизм в політиці і житті і подібні "реакційні" прояви.

І ще один аспект, вельми пов'язаний зі сказаним. Як сказано, є два способи проживати життя - дивуватися всьому і не дивуватися нічому. Дивуватися - це реакція тієї ж ригідної нервової системи на невідповідність нової інформації вже зафіксованій [в нервових клітинах]. Відповідно, можна або бути ригідним і дивуватися всьому, або тренуватися не дивуватися нічому, і цим знижувати рівень ригідності. "Не дивуватися" є альтернативою вимиканню мозку. "Не дивуватися" примушує мозок зупинити оцінювання всього і вся на предмет безпечності. Врешті решт, ми не печерні люди і за дверима нас не очікує шаблезубий тигр. А від шаблезубого клоуна нас стара система оцінки не врятує, бо коли її будували, клоунами обідали шаблезубі тигри.